数年おきに話題にのぼり、特に2017年はニュースの多かった「ゲームAI」の世界。「AI people」5回目は、この世界に魅入られてAIエンジニアになった大渡勝己（おおと・かつき）氏にお話を聞いてきました。
東大在学中にゲームAIの面白さに目覚め、没頭。卒業後も１年間ニート状態でコードをひたすら書く時代を経て、自身の「大貧民AI」を作り、 UECdaコンピュータ大貧民大会で優勝。
UECda-2016 コンピュータ大貧民大会 結果発表ページより引用。2017年11月25日の同大会で大渡氏はなんと4連覇の快挙を成し遂げました。
その後東京大学大学院に入学し、ゲームAI研究を経て、卒業後の現在はHEROZ株式会社でエンジニアとしてご活躍されています。一方、今年9月には『速習 強化学習 ―基礎理論とアルゴリズム―』（共立出版）という書籍を共同で翻訳・出版されました。前編では、この書籍の出版にまつわるエピソードと、ゲームAIとの出会いについて伺ってきました。
＊2017年11月取材
将棋プログラム×ディープラーニングの世界
ー はじめに、現在どういったお仕事をされているか教えていただけますか。
大渡 今はHEROZ株式会社で将棋プログラム『Ponanza』のプログラムを書いてます。今年春名人を破ったログラムなんですが、今はディープラーニングなどの新しい技術を使ってさらに強くしていくことを目指しています。
将棋プログラムってものすごく多くの局面を読むんです。それこそ1秒間に500万局面とか読むんですよ、先読みだけで。先読みしていろいろ考えるのは大人の知能だと思うんですよ。
それはそれですごいんですが、それに対して直感が鋭いと言われているのがディープラーニング。ディープラーニングはものすごく「遅い」んですよね。と言っても1秒間に多分、今、1万5000ぐらいの局面を見ていますが、この特徴の違う2つのプログラムが果たして合わさるのか、ということを考えています。わかりやすく言うと大人がいろいろと計画を立てている中に子どもが入ってくるってどういう形なんだろう？ って。そういう感じで今、プログラムを書いています。
－ 面白い！
大渡 私が今手掛けているのは将棋という狭い世界ですが、新しい技術を既存のプログラムに取り入れてさらに精度向上できれば、エンジニアリングの世界はもっと広がると思っています。そういう意味でも、今の取り組みを成功させたいというのはあるんですよね。
－ なるほど。ありがとうございます。ちなみにHEROZさんは何の会社なんですか。
大渡 人工知能の開発がメインですね。人工知能革命で世界を驚かすサービスを創出するということを目指しています。現在はゲームAIで培ったAI技術を「HEROZ Kishin」AIとして、各種産業にも展開しています。
他にも弊社ではいろいろなゲームAIを手掛けています。他にはAIを搭載した囲碁のアプリも。囲碁は、Googleの『AlphaGo』に勝つのはむちゃくちゃ厳しいんですが、まずは日本最強になりたいなと思って、やってます。
大渡さんが現在活躍中のHEROZ株式会社のオフィスでお話を伺ってきました！
勉強会を兼ねて始まった翻訳プロジェクト
－ 本日お伺いしたきっかけになったのが、この『速習 強化学習 ―基礎理論とアルゴリズム― 』という書籍。大渡さんはこの本の翻訳プロジェクトに参加されていたとのこと。まずはこちらからお伺いしていければと思うんですけど、簡単にご紹介いただいていいですか。
大渡 そうですね。これ、なかなか難しい本なので……（笑）。
－ そうなんです。私、目次読んだだけで、ちょっと。
大渡 読んでいただいたんでしょうか。実際これは私が見ても、うっとなるぐらいの本です（笑）。
－ 良かったです（笑）。
大渡 私自身、強化学習の専門家ではないんです。ゲームAIにまつわる周辺の技術を少しずつ掘っていくという形で研究をしていて、強化学習の技術自体を使ってはいるんですが専門家ではありません。なので正直なところ、この本の内容を自分自身が全て理解できているかというと怪しいところはあります。
その前提をふまえてご紹介すると、2010年に出版されたチョバ・サパシバリ氏による強化学習の教科書の日本語訳、というのがこの本のメインの内容です。強化学習で使われるアルゴリズムを、ある程度数学的なバックグラウンドの上で基礎的な所から議論・紹介していくというものですね。少しずつ数学的な証明なども入れながら解説しており、かなり教科書的な本だと言えると思います。実践というよりは勉強する人向けの本ですね。
私たちは英語で出版された原著を翻訳し、それとは別に最近の研究成果についても一部、付録としてまとめました。この分野はここ数年非常に進歩しているので、研究成果の流れを、ある程度古典的な研究から最近のものまで俯瞰できるような構成にしたつもりです。
－ どのようなきっかけでこの本の翻訳プロジェクトに携わったんですか。
大渡 訳者代表の小山田創哲さんを中心に数人で始めたプロジェクトなんですが、勉強会からスタートしているんです。強化学習を勉強して、せっかくなら翻訳して本を出そうという狙いが最初の頃からあって。勉強会の開始時点には私はいなかったんですが、途中で私も入りまして、全員で翻訳をしていきながら勉強していきました。どちらかというと自分たちの勉強のために読んでいた感じですね。
－ なるほど。
大渡 その副産物として出版をしようということで。なぜこの本を選んだかは小山田さんじゃないと分からないですけど、私は専門じゃないので勉強になるなと思って参加しました。
勉強会のコンテンツとして進めて、短い箇所を分担して翻訳していきました。ただ、勉強会のときに全員で確認して文章を吟味したので、そういう意味では全ての箇所に全員が関わっているといえると思います。
－ 期間はどのくらいかかったんですか？
結構かかりましたね。結果的にちょうど出版まで2年弱。勉強会という形でやっていたので、なかなかパッと一気に進むみたいなことはなくて、1週間で数ページ進むとか、それぐらいのスピードで……。翻訳して読み直すという作業を3周やりましたね。翻訳だけをやっていたらもっとすぐ終わってたと思うんですけど。翻訳してみるとやっぱりいろいろ怪しい所もあって、著者の方に確認したい箇所も、だんだん見えてくるようになるので。
－ 大変だったことはありますか。
大渡 私自身はあまりないのですが、誰よりも小山田さんが一番大変だったと思います。そんなに長い本ではないんですが、複数人で分担して翻訳したことによって生じるマイナスの側面として、同じ単語を別の言葉に訳してしまうという問題があって。統一が必要な用語のリストは大量に挙がっていて、それはものすごく大変な作業だったんじゃないかと思います。
－ 強化学習・深層学習などの新しい技術に関しては、世の中に出回っている情報の中で日本語に訳されているものは本当にごく一部じゃないかなと思っていて。最先端の技術やソースを求めていくと、英語のものが多いという印象があります。
そこで英語の文献を取りに行くというのは、エンジニアの方としては普通なのでしょうか。
大渡 そうありたいものだと常々思っています。ただ、やはり日本語である程度、理論や基礎を学べる書籍を私自身も求めていますね。
「こういうエラーが出たらこうしましょう」みたいなレベルの情報であれば英語でもそこまで難しくはないんです。同じプログラムを書いている人間なのでおおよそ理解できるんですが、この本に書いてある内容のように理論の部分を深く理解しようと思うと、難しいですね。
－ この本が出版されて、周囲からのフィードバックなどはありましたか。
大渡 私自身は直接何かがあったということはないんですが、今回このインタビューにお越しいただいたきっかけにもなっていますし、ありがたいなと思っています。
先日『AlphaGo Zero』が発表されて、強化学習への期待が改めて高まってきていると思うので、出版された時期としてはタイミング的にありがたかったですね。
ただ、冒頭にもお伝えした通り結構難しい内容なので、「速習」というタイトルには、いろいろ議論はありました。結果として「速習」というタイトルに落ち着きましたが、これを速習できる人は、世界で戦っていける人ですね（笑）。
タイトルを見て買った人の中には驚く方もいらっしゃると思いますが、、でもそこで、こういう世界もあるんだなと思っていただければ、というふうに思っています。
「ゲームAI」との出会い
ー ここからは、大渡さんの得意領域についてのお話を伺っていきたいと思います。まず、ゲームAIとの出会いについて教えてください。
大渡 はい。東大卒業後にゲームAIに没頭し、1年間は家で、いわゆるニートという形で、AIを勉強しながらコードを書くっていうことをひたすらやってまして。
ー へえ。大学で専攻されてたのは？
大渡 大学では認知科学、脳科学みたいなことをやってました。
ー そこから、AIに興味を持ったきっかけは、何かあったんですか。
大渡 東大には「進振り」というシステムがあって、進む学科が主に成績によって決まるんです。脳科学も非常に面白かったんですが、自分自身は数学やプログラミングが好きだったということもあって。それでAI、特にゲームAIの世界に出会って、勉強してみようかなと思ったのがそもそものきっかけですかね。プログラミング自体は、小学生のときからやっていたので。
－ 大学をご卒業されてから、就職をせずにゲームAIを作っていた、とのことなんですが。
大渡 正確にいうと、就職してない期間は1年で、下働きみたいな形でちょっと社会復帰したのが半年。で、大学院に戻りました。
－ その間に、ゲームAIを作ってらしたと。どんな種類のものを？
大渡 大貧民、将棋、カーリング。囲碁もその時期にやりましたね。
－ ゲームに搭載するAIを作るのではなく、戦うAIですね。
大渡 そう、AI対AIで戦わせるんです。例えば「大貧民AI」。大貧民AIの大会では、5000試合をAI同士で戦わせて、平均通算得点でランク付けを行います。試合はAI同士が裏で戦っていて、人間は最後に誰の平均順位が高かったかだけを見る、みたいな。そういう世界です。
画像提供：大渡勝己さん
－ ちょっとまだイメージがわかないんですが、AIに教える教師データをそれぞれの人が開発するっていうことなんですか。どう戦わせるんですか。
大渡 そこも本当に、自分で決められまして。例えば、自分の大貧民の仕方をそのまま、こういう条件ならこれを出すみたいに教えるという方法で大会に出ることもできます。私はもっと機械学習とかを使って自分自身では制御できないようなアルゴリズムを組んでいますし。幅はすごく広いです。
－ そうなると何を競うんでしょうか。勝ち抜き制？
大渡 大貧民の結果の平均順位ですね。大貧民って、すごく「手札の運」があるじゃないですか。なので、1試合だけで勝負を決められないので、数千試合やって、平均で一番強かったプログラムが一番強いプログラムだというふうに定義するんです。
試合自体は普通の大貧民のゲーム。グラフィック上で見ることはできるんですが、人間は数千試合も見ていられないので。
－ AIの中でも特にゲームAIに興味を持った理由は何かあったんですか。
大渡 自分は勝ち負けにこだわることが好きなので、ただ人の役に立つだけじゃなくて、勝ってその結果何か周りに伝えられる、そういうものがあるといいなと思っていました。当時は、今ほどじゃないですけどAIが注目され始めてきたときで、そこでゲームAIというものを知って。人間をはるかに超えるようなものができれば、それって面白いんじゃないかなと感じて……その両方ですね。自分が勝負してみたいという興味と、メッセージ性。この二つがモチベーションになりました。
－ それから大学院に戻られて、そこからまたゲームAIを研究された。大学院の研究室の中にも、ゲームAIの研究をしている所があるんですか。
大渡 そうですね。ゲームAIだけという研究室は少なくなってきているかもしれませんが、研究テーマとしてゲームAIがオプションとしてある研究室は、結構たくさんありました。自分が入ったのは田中哲朗先生というゲームAI界隈で有名な先生の研究室です。「ゲームプログラミング」と研究テーマにも書いてあって、研究室のウェブサイトは「ゲームを研究する」というタイトルになっているぐらい。
－ なぜ大学院に入ろうと思われたんですか。
大渡 そうですね。一つはそもそも、それまで情報系専門ですらなかったので、ゲームAIの大会に出ても「門外漢がAI大会に出ている」みたいな気持ちもあって。本場でちゃんと勉強したら見えてくるものがあるんじゃないかなと思ったところが大きかったです。あとは「研究してます」って言えるじゃないですか、学生になると。それも大きかったですね。人と話すときに「ゲームAIの研究をしてます」と言える。
それから、自分は大学を卒業してから実家のある大分県に戻ったんですけど、大分でこういう議論をする人とは出会えなくて。東京にいるっていうことは、すごく意味があると改めて思いましたね。
ー ありがとうございました。後編では、大渡さんの学習法や、エンジニアとしてのお考えを少し深掘りしていきたいと思います。
後編はこちら：（大渡勝己氏：後編）独学でゲームAI優勝までたどり着いたエンジニアが語る、プログラミング上達の近道とは？【AI people：vol.5】
Team AIでは渋谷で無料勉強会を実施中です。詳細は以下からご確認ください。
Team AI Careerはデータ分析・機械学習系に特化した仕事紹介エージェントです。
最新深層学習案件等に参画しキャリアアップしませんか？
正社員・業務委託の方も是非ご登録下さい。
