CRI・ミドルウェアは、2019年9月4日~6日にパシフィコ横浜で開催される日本最大のゲーム開発者向けカンファレンスCEDEC 2019で音声データから自然な口の動きを自動生成する音声解析リップシンクミドルウェア“CRI ADX LipSync”についてセッションを行うと発表した。

以下、リリースを引用

CRI、音声データから自然な口の動きを自動生成する音声解析ミドルウェア「CRI ADX LipSync」をCEDECセッションで紹介 ディープラーニングを活用し、あらゆる言語に対応

 ゲーム開発向けに音声・映像のミドルウェアブランドCRIWAREを展開する株式会社CRI・ミドルウェア(本社:東京都渋谷区、代表取締役社長:押見正雄、東証マザーズ:証券コード3698、以下「CRI」)は、2019年9月4日(水)~9月6日(金)にパシフィコ横浜で開催される日本最大のゲーム開発者向けカンファレンス「CEDEC 2019」で、音声データから自然な口の動き(口パターン)を自動生成する音声解析リップシンクミドルウェア「CRI ADX LipSync (以下、「ADX LipSync」)」についてのセッションを行います。

 ADX LipSyncはディープラーニングによる音声解析技術を活用し、キャラクターの発話に合わせて最適な口の動きを自動生成する、今秋リリース予定のミドルウェアです。

 通常、口の動きを作成する際には、セリフの一音一音に対して手作業で口の形を設定する方法や、セリフの音量に合わせて口の大きさを変化させるなどの方法がとられていますが、ADXLipSyncではこれらの方法よりもさらに効率的で自然な口パターンを生成します。

 セッションでは口パターンの作成の基礎知識や実装手法の比較、ADX LipSyncの特長を紹介するほか、展示ブースではゲーム内の会話シーンを想定した、セリフに合わせた自然な口パターン生成デモや、ボイスチャットを想定した、マイク入力した音声データからのリアルタイム口パターン生成デモを披露いたします。ぜひご参加ください。

CEDEC 2019にて音声解析ミドルウェア“CRI ADX LipSync”のセッションが実施。音声データから自然な口の動きを自動生成する音声解析ミドルウェアをレクチャー_01

ADX LipSyncについて

【音声データの入力から自然な口の動きを自動で生成】

 ADX LipSyncは入力された音声データの波形を解析し自動で適切な口の動きを生成します。

 また、口の形だけでなくマ行・バ行・パ行などの両唇音を発音する際はいったん唇を閉じるなどの口の開閉まで、実際の発音に即した口パターンを再現することができます。

 生成した口パターンは様々なモデルデータに組み込みやすい形式で出力され、2D/3Dモデルの両方に活用することができます。

【マルチリンガル対応】

 ADX LipSyncは日本語のみならず、あらゆる言語で口パターンを生成することができます。

 日本語、英語、中国語などの複数言語でワールドワイド展開するタイトルの開発を大幅に効率化します。

【サウンドミドルウェア「CRI ADX2」と連携】

 CRIの統合型サウンドミドルウェア「CRI ADX2」と連携し、口パターンとサウンドを同一のツールで編集することができます。

 音声波形データを見ながら口の形やタイミングなどを調整することができるため、スピーディな開発に貢献します。

CEDEC2019出展概要

  • 会期:2019年9月4日(水)~6日(金)
  • 場所:パシフィコ横浜
  • セッション:9月4日(水)13:30~14:30
    「キャラクターをより魅力的に!ゲーム向けリップシンクミドルウェア」
  • セッション詳細

【出展概要】

 累計5,000タイトル以上に採用されているオーディオミドルウェア「CRI ADX2」、および今秋リリースの音声解析リップシンクミドルウェアの最新技術展示を行います。

 ADX2ではUnreal Engine4向けの「サウンド空間デザイン機能」やワークフロー改善に貢献する新機能などを紹介します。

 新リップシンクミドルウェアでは実際のモデルデータを使用したリアルタイム音声解析技術のデモを中心にご紹介します。

【株式会社CRI・ミドルウェアについて】

 「音と映像で社会を豊かに」を企業理念として、主に音声・映像関連の研究開発を行い、その成果をミドルウェア製品ブランド「CRIWARE」として、ゲーム分野や組込み分野を中心にさまざまな分野に展開しています。

 CRIは、「CRIWARE」を通じて、ユーザビリティの向上、クオリティ向上のための技術やソリューションを提供し、開発者の皆様の課題解決をサポートするとともに、エンドユーザーのユーザビリティの向上をサポートしてまいります。