人と接した時の安心感をデジタルヒューマンに
——TeamQは2023年のイベントで、メッセージを読む日立幹部のデジタルアバターを登場させましたが、最終的にめざすのは、自律的に会話できるデジタルヒューマンなのですね。
黒木
はい。まず、最新の技術リサーチに基づいてTeamQがつくるデジタルヒューマンの要件を改めて整理しました。具体的には、「入力認識」と「リアクション生成」、「リアクション出力」の3つの処理フローで構成され、「入力認識」の要件としては、話者の音声から、話の内容と感情を認識すること。「リアクション生成」は、自身の役割・状況・文脈を踏まえて、期待に沿う適切なリアクションを生成すること。「リアクション出力」は、期待に沿う適切なリアクションを、音声と表情で感情豊かに表現することです。
日立が開発するデジタルヒューマンは、人間とコミュニケーションした時のような安心感まで提供したいと考えました。
——例えば相手が困った声で質問してきたら、安心させるように優しく微笑んで答えるということですか。
黒木
そうですね、仕組みとしては、まず相手がどういう感情で話しかけているのか、現在は音声の内容から判断しています。デジタルヒューマン側では、AIが相手の話す内容と感情を受け止めて、どういう答えを返すのかと同時にどういう感情表現をするべきか、例えば、喜びなのか、驚きなのか、安心なのかを判断し、表情を生成しながら答えを返します。
ただ、人の感情をデジタル化するわけですからとても難易度が高く、一歩前進するたびに勉強すべきことがどんどん増えて一筋縄ではいかないのですが、日立のデジタルヒューマンにおいて大事にしたいポイントなのです。
発言傾向を再現するデジタルヒューマンのプロトタイプ化
——デジタルヒューマンのプロトタイプ化はどのように進んだのですか。
黒木
まず、私を模したデジタルヒューマンの作成に取り組み、その試作デモを日立のGenerative AIセンター センター長の吉田順に見てもらったところ、吉田さんから自分をモデルにしたデジタルヒューマンもつくって欲しいという依頼を受けました。講演やセミナーで是非紹介したいということでした。
早速、吉田さんの顔の360度写真を撮影してゲームエンジンに取り込み、吉田さんの見た目を持つフォトリアルな3Dモデルを作成。さらに相手の質問に対して過去の吉田さんの発言傾向に基づいた答えを生成する機能も実装し、表情もリアルタイムに変わります。もちろん話す声は、ボイスクローニングにより吉田さんの声を再現しています。
この吉田さんがモデルのデジタルヒューマンは2024年の夏から、講演やセミナー、テレビの情報番組など、さまざまな場で多くの方にご覧いただく機会を得ました。最初のデジタルヒューマンの時と同様、社内外からの大きな反響がありましたが、自律的な会話が可能になったこともあり、施設のチェックインで活用したい、ビジネスの現場でコーチングの役割を担えないか、など、より具体的なお問い合わせがありました。
日立製作所Generative AIセンター センター長の吉田順をモデルにしたデジタルヒューマン。本人の発言傾向も再現。
——黒木さんがめざすデジタルヒューマンは実現できたのでしょうか。
黒木
実現しつつありますが、まだ通過点なのです。特に、感情の微妙なニュアンスを表現するための表情やイントネーションのチューニングは難しく、現在も引き続き試行錯誤を続けている最中です。また、今は相手の声で感情を判断していますが、将来的には相手の表情も読み取れるよう開発を進めています。ここはデジタルヒューマンの安心感につながる大切な部分です。
人とのコミュニケーションの再現が求められる
——黒木さんのデジタルヒューマンに安心感は不可欠なのですね。
黒木
将来、デジタルヒューマンが社会のさまざまなシーンに実装されます。
例えば、公共機関などの窓口でデジタルヒューマンが、高齢者が落ち着いて手続きができるようやさしくサポートする。あるいは製造現場の新入社員に対して、熟練者のノウハウを持つ頼もしいデジタルヒューマンが作業をアドバイスする。また、家庭教師としてのデジタルヒューマンが、子供のやる気を引き出しながら勉強を教える、というようなユースケースでは、正確な情報提供に加えて人とのコミュニケーションの再現が求められます。
さらには、高齢者の見守りサービスや、子供のバーチャルな友だちのように、デジタルヒューマンとの会話体験自体が目的になるようなユースケースも想定されます。そう考えると、接した時に安心感や喜びを提供することは、デジタルヒューマンに必要不可欠な要素になるのではないでしょうか。
——言葉を交わした時に誰もが安心できる、そんなデジタルヒューマンに街で出会ってWow！となることを期待しています。
黒木
TeamQには、デザイナー、プロトタイプエンジニア、データサイエンティストなど多様な人財が集まっています。これからもチームの知見を融合させて、未来のより良い社会においてデジタルヒューマンは、誰に、どんなシーンで、どんなサポートを行うのか、考察を続けながらデジタルヒューマンをブラッシュアップしていきます。
- YouTube
www.youtube.com
黒木洋平（くろき ようへい）
株式会社日立製作所 デジタルエンジニアリングビジネスユニット
デジタル事業開発統括本部 Data & Design Design Studio
Creative Technologist
2008年、日立製作所入社。コラボレーションソフトウェアの開発や導入支援、クラウド設計、IoTシステムの開発などを経験した後、AIを活用した組織活性度分析、物流配達員の行動分析をはじめとするさまざまなデータ分析に従事。2022年よりTeamQに参加。生成AI、IoT、クラウド、ゲームエンジンなどの知見を生かし、デジタルヒューマンなどさまざまな体験型デモの実現に携わる。
関連サイト
PDF形式のファイルをご覧になるには、Adobe Systems Incorporated （アドビシステムズ社）のAdobe Acrobat Readerが必要です。
