ポケモンバトルに特化したAI"ポケモンバトルスコープ"開発陣インタビュー。"ポケモン竜王戦2024"のゲーム部門で初導入されたAIの評価法や今後の展望について訊いた

　2024年2月25日に開催された“ポケモン竜王戦2024”において、『ポケットモンスター スカーレット・バイオレット』を用いたゲーム部門では、ポケモンバトルに特化したAI“Pokémon Battle Scope（ポケモンバトルスコープ）”（以下、PBS）が初導入されて話題となった。

　株式会社ポケモンと共同で開発を行ったのは、AIを搭載した日本将棋連盟公認の将棋ゲームアプリ『将棋ウォーズ』で知られるHEROZ。将棋AIのノウハウは誰もが認めるところだが、ポケモンバトルは将棋や囲碁のような完全情報ゲームではない。技の命中率や急所の当たりやすさ、追加効果がでるかどうかなど、多くの不確定要素があるのが特徴でもある。

　それゆえに情報発表当時はPBSに懐疑的な声も少なくなかった。しかし、大会当日に配信でお披露目されたAIの精度は、多くの視聴者の想像を超えるものだった。

　そこで、ファミ通.comではHEROZの開発陣にインタビューを敢行。PBS開発の経緯、AIがポケモンバトルの形勢や候補手を評価する仕組み、今後の展開などについて詳しく訊いた。

HEROZ株式会社とは？

　株式会社ポケモンと共同で、PBSの開発を担当。同社が開発・運営する日本将棋連盟公認の将棋ゲームアプリ『将棋ウォーズ』は、歴史上初めてプロ棋士に勝利した将棋AIが指し手をサポートしてくれたり、対局後の棋譜解析をしてくれたりする点が大きな特徴となっている。

　そうした将棋AIの研究開発から生まれた独自AIを軸に、ディープラーニング（深層学習）などの機械学習の研究開発や、生成AIを活用したAIアシスタント“HEROZ ASK”の開発など、ビジネスでの実戦的なAI活用を続けている。

独自のシミュレーターを使った数億回（!?）の対戦データを用いて学習

――PBSの開発経緯を教えてください。

大井ポケモンさんからお話をいただいたのがスタートです。その内容というのが、ポケモンバトルの配信に関する課題についてでした。『ポケットモンスター』シリーズは大多数の人がなじみあるものですが、レベルの高いプレイヤーどうしの対戦となると、視聴者からは理解が追い付かないことも多いです。

　もちろん実況・解説の方が解りやすく伝えてくれますが、時間に限りもありますから、ある程度の知識はあることを前提に話しますよね。

――そうですね。まったくの初心者に対して実況・解説がすべてのフォローを入れるのは現実的でないと思います。

大井ではどうすればより多くの方にポケモンバトルを少しでも理解して、楽しんでもらえるか。そのアプローチのひとつとして、弊社のAI技術を頼っていただいたのだと思っています。

　じつは、いま挙げたような課題というのは将棋でも同じでした。それを改善したのが、AIによる形勢判断や候補手の表示です。弊社からもさまざまな媒体に技術提供をしておりますが、いわゆる“観る将（※）”と呼ばれるような人たちが増えたのはAIの普及によるところが大きいと思いますし、ポケモンでも同じことができないかと考えた次第です。

――PBSの仕組みについてお伺いする前に、まず将棋AIがどうやって形勢判断や候補手の推測をしているのか教えてもらえますか？

大井大きなポイントとして、機械学習というAIの技術があります。この技術が取り入れられる以前と以降では将棋AIの性能がまったく違っていて、それ以前のAIはプログラマーが将棋にかなり精通していないとそもそも作れないものでした。こういう場面ではこういう手を指すというのをプログラマーが指定するわけですから、そのプログラマー以上に強いAIは基本的に作れなかったんです。

　一方で、機械学習導入以降のAIは将棋のロジックではなく、盤面を図として捉えてその配置関係で評価を行うんです。

大井膨大なデータを学習することで、駒がどういった位置関係をしていると優勢になりやすいかを導き出し、その位置関係を作り出すにはどのように指していけばいいかを計算しているわけです。

――AIってそんな考えかたをしているんですね……。PBSも、同じようにポケモンバトルを図として捉えているんですか？

清田PBSに関しては、図というより数値としてみています。ポケモンたちのステータスに加えて、晴れていたり雨が降っていたりといった場の状況なども含めてバトルがすべて数値で表されています。ただ、AIはその数値ひとつひとつの意味は理解していなくて、数値の並びの特徴を捉えることで状況の優劣を判断しているというのは将棋AIと同じですね。

大井人間だったら、ピカチュウを見ればでんきタイプのポケモンで、だいたいこういう技を覚えているっていうのがパっと思い浮かぶと思うんですけど、PBSにはそういった前提知識はないです。

――機械学習には膨大なデータが必要とのことですが、ポケモンバトルのデータはどれくらい集められたのでしょうか。

大井約数億回分の対戦データを使用しました。

――数億!?　どうやってそんなに集めたのですか？

大井データ収集用に独自のポケモンバトルシミュレーターを作ったんです。実機での対戦だと、プレイヤーが入力して、待機時間があって、画面が移って技の演出があって……と、結構な時間がかかりますよね。もちろん、ゲームを楽しむうえでは必要な要素なのですが、今回はAIの学習に特化させるため、それらを省略して数値だけでバトルを疑似的に再現するシミュレーターを用意しました。

　AIの学習にはユーザーデータが必要という話がよくあるのですが、今回は使用していません。シミュレーターによる自己対戦という形でどんどん数をこなしていき、こういうポケモンと技の組み合わせでこういう数値が並んでいるときはこの技を選択した方がいい、というような形で少しずつ学習して強くなる手法を用いました。

――個人的にめちゃくちゃやり込んだときで月に1000戦とかなんですが、それを1年続けても12000戦。仮に100年続けても億には届きません。数億回の対戦データというのがいかに膨大か理解できます。ちなみに、それだけのデータを得るのにどれくらいの期間がかかったのでしょうか。

大井数ヵ月ですね。弊社では自社のデータセンターに積極的な投資をしていまして、それ相応のマシン規模を持つGPUサーバーを抱えています。数億もの対戦数を数ヵ月でこなせるのはその設備があるからこそで、弊社の大きな強みだと思っています。

――ポケモン歴で言うとたった数ヵ月なんだ……。AIの成長速度には敵わないですね。将棋AIのノウハウをもとに開発を進められていく中で、将棋とは異なるポケモンならではの特徴や違いなどを感じたところはありましたか？

大井将棋はお互いがまったく同じ駒を使って対局しますが、ポケモンはプレイヤーによってチームに入れるポケモンも、その育てかたもまったく異なるというのが大きな違いですよね。シングルバトルの場合は6匹から3匹を選んで戦うというのも相まって、1ターン目の選択をする前から戦局がすでに五分五分ではないというのもおもしろいです。

　また、必ずしも行動する順番が同じわけではないというのも違うところですね。将棋は先手と後手が1手ずつ交互に指しますが、ポケモンは素早さの関係や選んだ技などで行動する順番が変わります。そういう見えない情報が存在するところが、完全情報ゲームである将棋とは異なる点で、ポケモンならではのおもしろさだと感じます。

清田同じ行動をしたとしても、毎回結果が同じとは限らないというのもポケモンならではの特徴ですよね。技が外れることもあれば、急所に当たることもあり、そうでなくてもダメージに幅があって、同じポケモンが同じ技を使っても同じ相手を倒せるときと倒せないときがある。同じ選択をしたのに結果が大きくずれることがあるというのは、将棋にはない側面だと思います。

――将棋では一定の確率で相手の駒を取り損なうなんてことはないですからね。そうした違いによって苦労されたことはありましたか？

清田やはり、同じ選択でも結果にズレが出るのは難しかったですね。予測されるすべての結果に対して、ひとつひとつ計算し直しているとあまりにも時間が足りなくなってしまうので、ある程度低い確率の事象は除いて判断するようにしています。

清田たとえば、攻撃が急所に当たる確率は約4%ですが、これは考慮しないようにしています。また、かえんほうしゃでやけどになる確率は10%ですが、これも考慮しません。プレイヤー視点で考えたとき、相手をやけど状態にすること前提でかえんほうしゃを選択するなんてことはまぁないですよね。そうやって人間の考えかたを真似するようにしている部分もあります。

――人間を代表してお伺いさせていただきますと、ねっとうにはやけどを期待してしまうのですがどうでしょうか？

清田ねっとうのように、追加効果の確率が30%となると考慮しますね。

――おお、気が合いますね。AIとも友だちになれる気がしてきました。ポケモン界隈の確率事情はかなり複雑で、体感によるところが大きいですが、ねっとうのやけど（30%）には期待できても、きあいだまの命中70にはまったく期待できないんですよ。「3割というのは、ポケモンでは7割を超える確率である」という名言も巷ではあるくらいです。これも理解してもらえますかね？

清田個人的にはよくわかるのですが、AIはただ客観的に数値を見ているので、3割が7割を超えることはないです。

――AIと人類の共存はまだ遠そうですね、残念です。

実際の対戦を振り返りながらAIの思考を読み解こうとしてみる

――PBSがどのように形勢判断や候補手の評価値を出しているのかを教えてもらえますか？

大井シミュレーターを使って学習したモデルというものがあります。PBSに実際の対戦における盤面の情報を与えるとこのモデルを使って、この後どういう手を取る可能性がどれくらいあるかというのをひとつひとつ数値化して評価するんです。そこから上位の3つを画面では候補手として表示していますが、実際にはもっと多くの手を細かく評価しています。

　形勢判断としては、数ターン後の状態を予想して、その状態の優勢劣勢を評価モデルで推定して出した値を100%基準として表示しています。なので、厳密にいうと確率の100%とは異なるのですが、直感的にはイメージしやすくなっているのかなと。

――ここからは“ポケモン竜王戦2024”で行われた実際の対戦をもとに、どうしてこういう形勢判断になっているのかとか、候補手が選ばれている理由などをお聞きできればと思います。

大井・清田はい、わかりました。

――お願いしておいてなんなのですが、開発者だからといってわかるものですかね？

清田正直に言うと、完全にはわからないです。あくまでも推測の域は出ませんが、開発の視点からどういう理由が考えられるかというのはお答えできると思います。

――無茶ぶりですみません……！　それではよろしくお願いします。

ガオガエン対サーフゴー （動画10:05:16～）

――まずは上図の場面。対戦の1ターン目、ガオガエンとサーフゴーが対面した場面です。注目したいのは形勢判断で、ガオガエン側が47%で不利、サーフゴー側が53％で有利となっています。シンプルに考えると、ほのお・あくタイプのガオガエンははがね・ゴーストタイプのサーフゴーに対して相性上有利だと思うのですが、なぜサーフゴー側が有利と判断されていると思われますか？

清田サーフゴー側の候補手としてもっとも有力と出ているのがウーラオス（れんげきのかた）への交代で、これが成立するとサーフゴー側が大きく有利になるからではないかと考えます。

――なるほど……そう言われるとそうですね。でも僕がガオガエン側なら、「よし、幸先のいいスタートを切れた」って思っちゃうだろうなぁ。まさか形勢不利だとは思わなさそう。

大井将棋界におけるAI研究というのは、まさしくそういうことなんだと思います。不利だと思っていなかったところが不利だと評価されていて、そこに着目して研究を深めるとよりいい手が見つかる。それをくり返していくことで、隙がなくなっていくというか。

――たしかに、この形勢判断や候補手を見ながらバトルの振り返りができれば、ポケモンバトルの実力がグングン伸びそうです。

大井今回は対戦中の評価だけを行っていましたが、たとえば6匹からどの3匹をバトルに出すかを選ぶ際の組み合わせを評価して、3匹の選出候補なんかも表示できるとおもしろそうかなと思いました。

清田やろうと思えばできますね。

――それよさそうですね！　後ほど今後の展望についてもお聞かせください。

オーガポン（かまどのめん）対ウーラオス（れんげきのかた）（動画3:26:12～）

――続いてこの場面。オーガポン（かまどのめん）側が先に動いてウッドホーンで攻撃、これをウーラオス（れんげきのかた）がきあいのタスキで耐え、すいりゅうれんだで返した後のターンです。ウーラオス（れんげきのかた）側はアクアジェットが49％となっていますが、アクアジェットでは急所に当たらないとオーガポン（かまどのめん）を倒しきれません。個人的にはここで交代が候補手に挙がらない理由が気になるところです。

清田オーガポン（かまどのめん）の攻撃を安定して受けられるポケモンがいないという判断なのではないかと思います。実際にはこの後カイリューに交代されますが、カイリューが控えにいるのは予想していなかったのかもしれません。

――そのカイリューもじゃれつくで弱点を突かれる可能性は一応ありますね。候補手でも28%と出ていました。ちなみに、PBSはお互いが選出した3匹のポケモンや覚えている技、基礎ポイントなどについてどこまで事前に知っているのですか？

清田今回は“ポケモン竜王戦2024”のルールとして、選手は事前にバトルチームを登録していますので、そこから持ち物や基礎ポイント、覚えている技などについてはデータを追加しています。それ以外は、基本的に視聴者と同じ視点で情報を得ていると思ってもらえるとわかりやすいと思います。お互いの選手がどの3匹を選んだかは、そのポケモンが実際に場に出てくるまでAIもわかっていません。

――なるほど。では上の場面だとアクアジェットで倒せないことは理解しつつも、交代のリスクをケアした判断をAIは取ったということですね。でも実際は、わとり選手が「ここでじゃれつくは来ない」という読みを決めてカイリューへの交代を成功させたと。

大井必ずしもAIの候補手通りに試合が進むわけではないというのは、将棋でも同じです。AIが示す候補手に対して、選手がどのような手を選ぶのかといった視点で楽しんでいただけるとよいのかなと思います。

ラティアス対カイリュー（動画10:10:50～、10:11:57～）

――最後にこちらの場面。決勝戦の第1試合、サーフゴーからパオジアンへの交代を読んだたなけー選手が、ラティアスのはどうだんでパオジアンを倒した印象的なシーンの直後です。カイリュー側はアンコールが38%と出ています。たなけー選手は1度ラティアスをガオガエンに下げ、すぐにラティアスを出し直しました。するとカイリュー側の候補手からアンコールが消え、しんそくの評価が上がりました。カイリューにいかくが1度入った以外は状況に変化はなかったと思いますが、なぜ候補手の評価が大きく変わったのでしょう。

大井うーん……これはなんでだろう。対戦の残り時間は考慮されているんだっけ。

清田いえ、していないです。

大井アンコールで時間をかけられないということかと思ったけど違うか……。もしかすると、1度交代されたことで判断が変わったのかもしれません。直前のアンコールが交代で不発になったために、また同じように無駄撃ちになる可能性があるということで評価を下げたのかなと。

――なるほど、それは納得感がありますね。直前の行動も考慮されるということですか。

清田そこまで重く見ているわけではないのですが、参照していないわけではないです。

――先の展開についてはどうですか？　何手先くらいまで読んでいるのでしょうか。

清田だいたい2ターンから4ターン先まで読んで評価しています。試合序盤などは取れ得る選択肢が多いので幅広い手を読んでいて、終盤になると手が限られてくるので深くまで読めるようになるという感じです。

今後の公式大会でPBSが活用される可能性は!?

――PBSの情報が初めて公開されたとき、ポケモンバトルに自信がある人ほど「いやいや、ポケモンバトルはまだAIには難しいんじゃない？（笑）」という反応だった気がします。というか、たいへん失礼ながら、僕がそうでした。ですが、いざお披露目されると「想像以上に精度が高い！」という声が多く見受けられました。視聴者の反応を受けて、率直にいかがでしたか？

大井ホッとしたというのが正直な感想です。我々としても初めての試みでドキドキしていたのですが、「子どもといっしょに見られるようになった」といったような開発のきっかけとなった課題の改善を確認できてうれしかったですね。また、AIが少し変な手を候補に出したときも温かく見守っていただくようなコメントが多くて、ありがたいなと思って見ていました。

――たしかに「それは違うのでは？」と思うような候補手が挙がることもありましたが、それはつまりAIがとっくに人間を追い越していて、人間がそこまで読み切れていないだけなのかもしれないとも思いながら見ていました。開発陣から見てAIの信頼度はどのくらいなのでしょうか。

大井先ほども少し触れましたが、将棋でもAIが出した候補手や解説のプロ棋士が予想した通りの手を対局中の棋士が必ずしも指すわけではないです。手の読みかたというのはいろいろあるのだと思います。ただ、AIは現状を客観的に評価して候補手を出しているので、ある程度的を射たものであるとは思っています。

――将棋AIも研究を重ねてより強くなってきた歴史があります。PBSは今回が初導入でしたし、今後にもまだまだ期待したいところです。近いところだと、“ポケモンジャパンチャンピオンシップス”や“ポケモンワールドチャンピオンシップス”で見られるかどうかも気になります。ずばり、これからの展開についてお話しいただけますでしょうか？

大井我々としては、せっかく開発したからにはぜひともいろいろな場面で活用していただきたいと思っています。ただ、いまのところつぎをお約束することはできないというのが正直なところです。

――“ポケモン竜王戦2024”自体もたいへんな盛り上がりでした。ゲーム部門に関して言えば、シングルバトルを採用した公式大会が珍しいことに加えて、ランクバトルの歴代最終1位のプレイヤーが招待されたことについてもポジティブな反応が多かったように思います。今後も公式大会の開催に対する期待が高まりますね。それでは最後に、PBSに注目・期待する皆さんに向けてメッセージをお願いします。

清田多くの方に楽しんでいただき、そして今後の期待もいただきまして、ありがたい限りです。これからもポケモンバトルの配信をより楽しめるようなAIにしていきたいと考えていますので、つぎの機会をお待ちいただければと思います。

大井AI技術は日進月歩で成長していて、新しい技術が日々出てきています。先ほど話に出たような選出する3匹の予想だけでなく、AIを用いてバトルチームを組むなど、AIを適用でき得る箇所はまだまだあると思っています。

　私や清田もポケモンが大好きなファンのひとりでもあります。PBSという形であるかはわかりませんが、今後もより多くの人たちにポケモンの魅力を届けられるようなAIを作り続けたいと考えていますので、どうかご期待いただけますと幸いです。