近年ではAIの急速な発展によって、業種業界を問わず大きな変化が起きています。なかでも生成AIは、テキスト・画像・音楽など、多様なコンテンツを自動で生成できることから、ビジネスでの活用が期待されています。実際に帝国データバンクの調査によれば、生成AIを活用する企業は17.3%、うち9割近くの企業が一定の効果を実感しているようです。
とくに「マルチモーダル」という概念を取り入れた生成AIは、テキストと画像、音声と動画など、複数のデータを同時に処理し、より高精度なアウトプットを生成することが可能です。この技術はクリエイティブな分野にとどまらず、医療・製造・自動車など、幅広い業界で革新をもたらすポテンシャルを秘めています。
本記事では、マルチモーダルな生成AIの現状や代表的なサービス、実際に活用や実験が進んでいる業界について解説します。生成AIをビジネスに活用したいと考えている経営者やご担当者の方はぜひ参考にしてください。
マルチモーダルAIとは
人工知能（AI）の進化は目覚ましく、その範囲はテキスト処理や画像認識、音声認識など多岐にわたります。これら一つひとつの技術は、これまで長らく単一のデータ形式に特化した「シングルモーダルAI」として開発されてきました。しかし、ここ数年の間で、複数のデータ形式（テキスト・画像・音声・動画など）を同時に処理・統合する能力を持つ「マルチモーダルAI」が急速な発展を遂げています。
マルチモーダルAIは、人間が五感を通じて情報を取得し、統合的に判断するプロセスに近い動きを実現します。たとえば、視覚と聴覚の情報を同時に処理することで、単一の情報では得られない深い洞察を得ることができます。このような特性が、シングルモーダルAIとの差別化を生み出しており、AI技術の新たな可能性を切り開いているのです。
シングルモーダルAIとの違い
シングルモーダルAIは、特定のデータ形式に特化して設計されたAIです。人間が「視覚だけ」もしくは「聴覚だけ」のように、特定の情報だけで状況を分析するのに似ています。特定のタスクにおいては高い精度を発揮しますが、多角的な情報分析が求められる場面ではあまり適していません。
そのため、異なるデータ形式を同時に扱えるという点では、マルチモーダルAIのほうが高精度で幅広いタスクに対応できるといえます。たとえば画像生成を例にした場合、シングルAIでは画像、もしくはテキストのいずれかしか条件として与えられないのに対して、マルチモーダルAIではサンプルとなる画像と説明文（テキスト）の両方を与えることができます。その結果、AIが総合的に学習を行い、より高精度なアウトプットの出力が期待できます。
マルチモーダルAIが注目を集める理由
マルチモーダルAIが注目を集める理由として、下記のポイントが挙げられます。
・タスクの処理精度が高い
・さまざまな出力形式に対応できる
・判断能力が人間に近い
タスクの処理精度が高い
マルチモーダルAIが持つ最大の強みは、複数のデータを統合することで、タスクの処理精度を飛躍的に向上させられる点です。たとえば、病院での診断支援では患者の医療画像（X線やMRI）とテキストデータ（診断記録や症状）を組み合わせて分析することで、従来のシングルモーダルAIでは見逃されていた異常を検出することができます。このような多角的な分析は医療業界にとどまらず、製造業・金融業・小売業など、幅広いビジネスの現場で日々新たな導入が検討されています。
さまざまな出力形式に対応できる
もう一つの特徴として、マルチモーダルAIは入力形式の多様性だけでなく、出力形式の多様性にも長けている点が挙げられます。たとえば、テキストデータを入力すると画像や動画を生成したり、画像を入力すると音声や説明文（テキスト）を出力することが可能です。この機能により、高精度なコンテンツの生成が実現し、マーケティングやエンターテインメントなどの業界でも新しい表現手法が生まれつつあります。
判断能力が人間に近い
マルチモーダルAIは、複数の情報を同時に処理できるという特徴から、人間の五感に近い判断能力を持つといわれています。人間が視覚や聴覚から得た情報を統合して物事を理解するように、マルチモーダルAIも異なる形式のデータを組み合わせることで、より適切な判断を下すことができます。複雑な環境での意思決定や予測において、人間に近い柔軟性が発揮できることから、ビジネスでの活用が進んでいるのです。
代表的なマルチモーダルAI
さまざまな企業がマルチモーダルAIの開発に注力していますが、代表的なものとしては下記の3つが挙げられます。
・ChatGPT
・Gemini
・Copilot
ChatGPT
OpenAI社が開発した「ChatGPT」は、生成AIを代表するサービスです。2022年11月にリリースされて以降、わずか5日でユーザー数が100万人を突破し、2ヶ月後には1億人まで到達。日本国内でも利用数は急速に増加し、直近では導入を進める企業も増えてきました。大和証券株式会社では全社員約9,000人を対象にした利用開始を発表。その他にもNTTグループの日本情報通信株式会社では、社内のGoogle チャットからAPIを利用することでChatGPTの利用を開始するなど、大手企業の間でも導入が進んでいます。
なかでも2023年3月に公開された「ChatGPT-4」は、マルチモーダル型の大規模言語モデルとして注目を集めています。従来まではマルチモーダルな入出力を行うにはプラグインの使用が必要でしたが、本モデルからはプラグインを使わずに直接マルチモーダルな利用が可能になります。たとえば、YouTube動画をアップロードして要約文をテキストで生成したり、画像データのなかにあるテキストを識別できるようになったりなど、高精度なタスク処理を実行することができます。
参照：大和証券、対話型AIの「ChatGPT」を導入し全社員約9,000人を対象に利用を開始 - 日本経済新聞
参照：日本情報通信 ChatGPTで業務効率化とハピネス経営を推進 ～ 全社展開と多彩な取り組みで新時代の働き方を創出 ～｜ニュース｜日本情報通信株式会社
Gemini
2023年12月にGoogle社によって公開された「Gemini（旧:Bard）」は、世界有数のテクノロジー企業が開発したAI技術として注目を集めています。リサーチに強みがあるのは、検索エンジンを持つGoogle社ならではの特徴だといえます。テキスト・画像・音声などの複数データを同時に処理できるマルチモーダル型で、高度な推論能力を持つことも特徴のひとつです。
また、同社が提供する「Gemini for Google Workspace」というサービスでは、ビジネスシーンでの利用も想定されており、Gmail・ドキュメント・スプレッドシートなどのビジネスツールにAIが組み込まれています。複雑なプレゼンテーション資料の作成や、複数形式のデータを用いた市場分析などでの活用が期待できます。
Copilot
2023年2月にMicrosoft社によって公開された「Copilot（旧:BingAI）」もまた、マルチモーダル機能を持つAIとして注目されています。ウェブ検索に画像や音声を利用できるだけでなく、それらを組み合わせた検索ができることが特徴です。ユーザーは検索の際に複数のデータ形式を活用することで、より高い精度の情報を得られます。
マルチモーダルAIの実用シーンや事例
マルチモーダルAIが持つ能力は人間に近い、もしくはそれ以上のポテンシャルを秘めています。さまざまな業種業界での活躍が期待されており、実際に実証実験や試験導入が行われたり、実運用まで行われている業界もあります。ここでは、マルチモーダルAIの導入を本格的に進めている業界をピックアップしてご紹介します。
医療業界
マルチモーダルAIの活用は、正確性とスピードが重要視される医療業界でも大きな期待がされています。実際に、米Microsoft社と米医療機関大手のProvidence（プロビデンス）、米ワシントン大学は、医療向けのAI「Prov-GigaPath」を開発しました。本システムでは、約17万枚に含まれる10億以上の病理画像をもとに、AIが病気の兆候である「マーカー」を識別します。従来まで人間の目では判別できなかった洞察まで行えるため、精密医療の新たな可能性として注目が集められています。
参照：Microsoftが医療特化のAIモデル発表、マルチモーダルをがん診断に応用へ | 日経クロステック（xTECH）
自動車業界
自動運転の普及が徐々に進んでいる自動車業界でも、マルチモーダルAIの活用が進んでいます。実際に、ソフトバンク株式会社は遅延の少ないAIサーバーで動く「交通理解マルチモーダルAI」を開発しました。本システムでは、ドライブレコーダーで映した前方映像と、現在の交通状況を問うプロンプトを入力することで、走行状況やリスクを推測し、推奨アクションを生成します。リアルタイムで言語化された情報を送信するため、自動運転車がリスクを判断できない状況でも、自動運転を遠隔サポートして安全な走行を継続できます。そのため、将来的にはマルチモーダルAIから直接指示を行うことで、自動運転車の完全無人化を目指しているようです。
製造業界
生産工程を持つ製造業界でも、マルチモーダルAIの活用が実運用レベルで進んでいます。とくに異常検知や組み立て作業の工程で導入されており、画像や音声データなどと掛け合わせて活用する事例が増えてきました。これにより、従来までの検査方法では見逃されていた異常を早期の段階で発見し、安全性や生産効率の向上を実現しています。
また、本田技研工業株式会社では日本アイ・ビー・エム株式会社の協力のもと、社内に散在していたPowerPoint資料から、マルチモーダルAIを利用してグラフや図のコンテンツをテキストに変換し、業務ナレッジの蓄積に取り組んでいます。この取り組みによって、ドキュメントのモデリング時間は67%削減、開発や企画業務の工数は30〜50%削減されることが見込まれているようです。
参照：製造業における生成AI：最新動向と成功・試行事例 | IBM Smarter Business
セキュリティ業界
セキュリティ業界でもマルチモーダルAIを活用する流れが進んでいます。たとえば生体認証の分野では、指紋認証と静脈認証を組み合わせて本人確認を行う「マルチモーダル生体認証」が導入されています。また、マルチモーダルAIを防犯カメラに応用することで、映像データと音声データを組み合わせて不審な行為を特定し、アラートを発することも可能です。
マルチモーダルAIの課題
マルチモーダルAIにはさまざまなメリットがある一方で、下記のような課題も存在します。
・タスク処理に時間がかかる
・厳重なセキュリティが必要になる
タスク処理に時間がかかる
マルチモーダルAIでは、異なる種類のデータを統合的に処理するため、通常のAIよりも計算量が増加し、処理速度が低下する場合があります。この課題を解決するためには、計算用データの効率化や新しいアルゴリズムの開発が必要です。また、サーバーやデバイスなどにも大きな負荷がかかるため、処理レベルに耐えられる環境の構築が求められます。
厳重なセキュリティが必要になる
マルチモーダルAIは大量のデータを扱うため、その分だけデータの漏洩や悪用のリスクが高まります。外部からの攻撃を防ぐためにセキュリティ対策を強化したり、社内でのインシデントを防ぐためにルールやマニュアルを整備したりなど、事前の対策が重要です。社員が生成AIに機密情報を送信して外部にデータが流れてしまうといったトラブルも考えられるため、オプトアウトを設定し、AIが学習しないようにすることも対策のひとつです。
マルチモーダルAIの可能性
マルチモーダルAIは、今後の産業界に大きな影響を与えるものです。一方で、先述したように「タスク処理に時間がかかる」「強固なセキュリティが必要になる」といった課題も存在します。しかし、盤石な計算基盤とモデルの強化・軽量化さえ進めば、現在よりも莫大なタスク処理が可能になり、その活用シーンは瞬く間に広がることが予想されます。
また、自己教師あり学習やゼロショット学習などの学習手法が加わることで、少ない学習データでも高精度なアウトプットの出力ができる未来もそう遠くはありません。人間の五感に近いマルチモーダルAIの実用化が進むことで、人手不足の解消につながるだけでなく、ビジネスの成長スピードも加速度的なものになることが予想されます。
まとめ
マルチモーダルAIは、シングルモーダルAIでは実現できなかった高精度なタスク処理ができるため、さまざまな分野で革新をもたらす可能性を秘めています。とくに医療業界・製造業界・自動車業界など、日本国内を支える業界での活用が期待されています。PwC Japanグループの調査によれば、日本国内における生成AIの活用は米国に比べて低く、社内での推進度合いは、米国では91%以上が「推進中」以上と、日本よりも24pt高い結果となりました。これは、裏を返せば日本国内での活用余地はまだ大きく残されているともいえます。
その一方で、マルチモーダルAIにはいくつかの課題も残ります。これらは技術の発展と、それを扱う人間側の倫理観、及びルール整備などで解決していく必要があります。大きな効果が期待できる技術だからこそ、闇雲に利用するのではなく、解決したい課題から逆算して適切な手段としての利用を進めたいものです。
また、実際に導入を進める際には高度なITスキルが求められます。開発を行う過程はもちろんのこと、その事前のプロジェクトを企画する段階から、実際に管理を行うプロジェクトマネジメントの段階でも、専門のエンジニアとのコミュニケーションが不可欠になるためです。とくに生成AIの分野はトレンドの変化が早く、社内メンバーだけでキャッチアップを行うのはハードルが高い取り組みになります。そのため、スピード感を持って実装まで運ぶには専門の支援会社に依頼をするのがおすすめです。
株式会社オルツでは、パーソナル人工知能を中心としたAI活用やDX推進を支援しています。課題のヒアリングからコンサルティング、実証実験まで一気通貫で行うほか、実際の開発や運用などの技術的な支援も可能です。少しでもご興味のある方は、下記のお問い合わせフォームからお気軽にご連絡ください。
