人工知能技術が急速に発展する中、Tavus AI は次世代の会話型ビデオインターフェース (Conversational Video Interface, CVI) を発表しました。これは情動知能 (Emotional Intelligence) を備えた AI インタラクションシステムで、ユーザーとのリアルタイムな視覚、音声、情動の交流を自然に行うことができます。AI インタラクション分野に新的な突破をもたらしています。
コアテクノロジー：3つの AI モデルの協働駆動
Tavus CVI の強大な機能は、Phoenix-3、Raven-0、Sparrow-0 という3つの全新な人工知能モデルの協働作業に依存しています。それぞれが独自の役割を果たし、AI システムに非凡なインタラクション能力を与えています。
Phoenix-3：超リアルな AI 面部アニメーションレンダリングモデル
Phoenix-3 は Tavus CVI の視覚コアであり、超リアルな AI 面部アニメーションを生成し、全身の表情コントロールを実現し、AI のインタラクションをより生き生きと自然なものにしています。伝統的な AI ビデオが口の同期にのみ注目するのとは異なり、Phoenix-3 は眉毛、目、頬、口など部位の微表情を細かくコントロールでき、AI キャラクターが話すだけでなく、豊かな情動の変化を伝えることができます。例えば、ユーザーが楽しい話をしているとき、AI は微笑みます。悲しい話題に対しては、表情を真剣なものです。この動的情動コントロールと超現実的な顔のディテールにより、AI が生成する顔の表情がより連続的で自然になり、機械的な口の同期を避け、ユーザーの没入感を大幅に向上させています。
Raven-0：AI 視覚パーセプションモデル
Raven-0 は AI に視覚パーセプション能力を与え、ユーザーの動き、視線、表情などを見ることができ、リアルタイムで反応することができます。持続的な視覚処理をサポートし、ユーザーの視線、肢体言語、顔の表情をリアルタイムでトラッキングできます。単なる静止画像の認識にとどまりません。また、Raven-0 は情動知能を備え、ユーザーの情動の変化を識別できます。例えば、ユーザーが微笑むと、AI も適切に表情を調整します。ユーザーが眉をひそめると、AI は心配そうなトーンで反応するかもしれません。さらに、動的なインタラクションも可能で、ユーザーの肢体の動きや環境をトラッキングし、ジェスチャー制御や背景認識をサポートし、未来にはマルチユーザーインタラクションにも対応し、多人数の会議や教育の場面などに適応します。
Sparrow-0：AI ダイアログターンモデル
Sparrow-0 により、AI は自然な会話のリズムを持ち、機械的な応答や、気まずい中断や長時間の沈黙を避け、AI のインタラクションをよりスムーズにしています。機械学習を用いて会話のリズムを智能的に検出し、会話中の間やトーン、話す速度を識別し、適切なタイミングで AI が応答できるようにします。Sparrow-0 はまた、異なる話すスタイルを区別し、動的に応答時間を調整します。ゆっくり話す人に対しては、AI は適切に応答時間を遅らせます。速い会話の場合には、AI はタイムリーにリズムに追従し、反応が鈍く感じさせません。そのサブミリ秒級の応答速度は600ミリ秒以内に最適化され、人間のリアルタイム会話に近い自然な音声の交流体験を提供します。
アプリケーションシナリオ：多分野で AI インタラクションの可能性を拡大
Tavus CVI の適用範囲は広く、多種多様な業界に適応し、AI インタラクションに全新的な可能性をもたらしています：
- バーチャルキャスター：ブランドイメージに完全に合致するバーチャルキャスターを生成し、自動化されたビデオ録画を行ない、ビデオコンテンツ制作の効率的な解決策を提供します。
- メンタルヘルスコンサルティング：AI がユーザーの情動の変化を感知し、ユーザーの情動に応じて適切な慰めやアドバイスを提供し、ユーザーの情緒サポートの力強いアシスタントとなります。
- 採用 AI：HR を模倣して面接を行い、応募者の肢体の動きを分析し、企業の採用に知能化されたサポートを提供します。
- スマートカスタマーサポート：顧客の情動を識別し、サービス体験を最適化し、カスタマーサービスの質と効率を向上させます。
- 教育 AI：AI 教師は学生の表情から授業内容の理解度を判断し、パーソナライズされた教育を実現します。
さらに、Tavus CVI は AI テレフォンサポート、AI インタビュアー、AI 音声アシスタントなど多くのシナリオにも適用され、異なる分野のユーザーによりリアルで、自然で、情動豊かな AI インタラクション体験を提供します。
実体験：AI キャラクター「Charlie」
より多くのユーザーが CVI システムのリアルなインタラクション能力を体験できるよう、Tavus は AI キャラクター「Charlie」を発表しました。Charlie は AI アシスタントにとどまらず、コンテキストや情動を理解し、ユーザーと「思考し、協力する」ことができます。深いインタラクション性を持ち、ユーザーとオープンな会話を交わし、スクリーン上のコンテンツ（コード、デザイン作品など）を分析し、アドバイスを提供し、AI ビジュアルコンテンツを動的に生成し、インタラクション体験を強化します。ユーザーは Tavus の公式ウェブサイトで Charlie を体験し、その強大なインタラクション能力を感じることができます。
Tavus AI の使い方
開発者にとって、Tavus API を通じてこれらの AI モデルを迅速に統合し、高品質な AI ビデオインタラクションを実現することは比較的簡単です。まず Tavus プラットフォームに登録し、API アクセス権を取得し、API を呼び出して AI インタラクションキャラクターを作成し、異なるアプリケーションシナリオに応じて Phoenix-3、Raven-0、Sparrow-0 を調整して最適な結果を得ます。
Tavus AI の登場は、AI インタラクションシステムが新しい時代に入ったことを示しています。技術的な革新と突破を実現するだけでなく、ユーザーによりリアルで、自然で、情動豊かなインタラクション体験を提供しています。Tavus CVI が様々な分野で幅広く応用されるにつれて、私たちは人工知能が人間社会をより良くサービスし、私たちの生活と仕事にさらなる利便性と驚きをもたらすことを確信できます。
会社名：株式会社Dolphin AI
事業内容：
Dolphin SOE 英語発音評価サービスの開発＆販売
Dolphin Voice 音声対話SaaS Platformの開発＆販売
ドルフィンAIは自社開発のAI技術を持つ研究開発型のハイテク企業です。
独自技術の音声対話意図理解モデル(Dolphin Large Language Models)に基づき、音声認識、音声生成、意味理解、テキスト生成、機械翻訳、声紋認識、その他音声対話のフルチェーン技術を開発し、日本語、英語、中国語、韓国語、フランス語、スペイン語、ロシア語、ドイツ語、チベット語、タイ語、ベトナム語など20以上の言語に対応しています。
また、SaaSやオンプレミスのサービス形態を通じて、教育、医療、金融、その他の分野のお客様に基礎となるAI技術と業界ソリューションを提供しています。
アクセス情報：〒170-0013
東京都豊島区東池袋1-18-1 Hareza Tower 20F
JR山手線・埼京線 池袋駅東口（30番出口）より徒歩4分
東京メトロ丸の内線・副都心線・有楽町線 池袋駅東口（30番出口）より徒歩4分
西武池袋線 池袋駅東口（30番出口）より徒歩4分
東武東上線 池袋駅東口（30番出口）より徒歩4分
電話番号：(+81) 03-6775-4523
メールアドレス：contact@dolphin-ai.jp
