自然言語処理（NLP）とは、人間が日常的に使っている自然言語をコンピュータが理解し処理する技術のことで、AIの中でも特に言語の理解と生成に焦点を当てた分野のことをいいます。AIの進化によって活用範囲が広がっており、今後も注目される技術です。
本記事では、自然言語処理の種類や仕組み、活用事例などをご紹介します。ぜひ参考にしてください。
Table of Contents
自然言語とは？
自然言語処理を理解する前に「自然言語」についてふれておきましょう。
自然言語とは、「こんにちは」「ありがとう」など、人間が日常的に使用する言語のことで、特定のルールや規則にしたがって構造化されているものの、自然発生的に進化、変化するものを指します。コミュニケーションを支える大事な手段で、音声と文字の両方を含みます。
自然言語は自然発生的に変化するため、曖昧性や多様性があり、意味を正確に捉えることは難しいのが特徴です。また、時代を経るうちに使われなくなった言葉のように、変化や進化もします。
自然言語と対照的な存在が人工言語です。人工言語は人間が作った言葉で、プログラミング言語のように、曖昧さのない一定のルールにしたがって記述が行われます。
自然言語処理（NLP）とは？
自然言語処理とは、人間が日常的に使っている自然言語をコンピュータが理解し、処理する技術です。AIの中の一分野であり、特に言語の理解と生成に焦点を当てています。
大量のテキストデータを処理できるようになったのも、自然言語処理の技術によるもので、テキストの生成や音声の認識、翻訳など幅広い分野で近年、盛り上がりをみせています。
自然言語処理の種類
自然言語処理には「自然言語理解（NLU）」と「自然言語生成（NLG）」の2種類があります。それぞれ解説します。
自然言語理解（NLU）
自然言語理解（NLU）は、テキストや音声の構文、意味解析を使用し、文の意味を判別していく技術です。自然言語理解の目的は、テキストや音声データを分析して、その意味や意図を正確に理解すること。これにより、コンピュータがユーザーの要求に対して適切な応答ができるようになります。
自然言語理解（NLU）の特徴として、関連するオントロジーを構築できることが挙げられます。オントロジーの構築とは、概念や単語同士に何らかの関係性を持たせて表現することです。人間は日常会話において自然にオントロジーを行っていますが、コンピュータに構築させるには分析を組み合わせる必要があります。
自然言語生成（NLG）
自然言語生成（NLG）は、あるデータ入力に基づき、コンピュータが人間の言語でテキストを生成していくプロセスのことです。テキスト要約、音声での出力も可能になり、人間にわかりやすい形で情報を伝えられるようになりました。
テキストの要約は、情報の整合性を保ちながら、要約する仕組みが必要となるため、AIの革新的な技術とされています。
自然言語処理が注目を集める理由
自然言語処理が注目を集める理由として、以下の3つが挙げられます。
- 大量のテキストデータの活用に役立つから
- 「汎用言語モデル」の技術革新が進んでいるから
- 自動化と効率化の推進が求められているから
大量のテキストデータの活用に役立つから
1つ目の理由は、大量のテキストデータの活用に役立つからです。
デジタル化に伴い、従来の紙媒体でのやりとりが減少し、SNSやビジネス、書籍などさまざまな場面で大量のテキストデータが生み出されています。今後はこの大量のテキストデータの活用方法が求められており、自然言語処理の有効性が期待されています。
「汎用言語モデル」の技術革新が進んでいるから
2つ目の理由は、「汎用言語モデル」の技術革新が進んでいるからです。
汎用言語モデルとは、従来では不可能だった自然言語を理解し、解析できる技術をいいます。この技術はChatGPTなどで使用されており、着々と技術革新が進んでいるため期待が高まっているのです。
自動化と効率化の推進が求められているから
3つ目の理由は、自動化と効率化の推進が求められているからです。
これからの日本は、労働人口の減少の問題や社会の複雑化に伴い、解決すべき多様な問題が出てくると予想されています。そのなかでも、人手不足や後継者不足は大きな問題になると考えられ、自然言語処理を用いたAIの技術革新によって自動化と効率化が進めば、問題の低減につながるのではないかと期待されています。
自然言語処理の仕組み
ここからは自然言語処理の技術がどのような仕組みで動いているのかをご紹介します。自然言語は複雑であるため、以下のような手順で進みます。
- 準備段階として「機械可読目録（辞書）」と「コーパス」を構築する
- 「形態素解析」「構文解析」「意味解析」「文脈解析」4つの解析を行う
順番に解説します。
機械可読目録（辞書）
「機械可読目録（辞書）」は、図書館や資料館に貯蔵されている情報を処理するために設計されたデータフォーマットのことです。たとえば、大学などで使用されている「OPAC」などがあります。機械可読目録は、コンピュータが人間の言葉を理解する手助けとなる目録（辞書）として使われます。
コーパス（言語全集）
コーパスとは、文章の使用方法を構造化して大量に蓄積、記録しデータベース化したもののことです。動詞や形容詞などの識別方法などが記載されており、コンピュータはコーパスをもとに理解を進めていきます。コーパスの分析を行うことで、状況に適した言葉の意味や使い方を理解できるようになるわけです。
年々、コンピュータ自体の処理性能や記憶容量が増えているため、より大規模なコーパスを利用して処理を行うことができつつあります。
機械可読目録とコーパスの準備が整ったら、次の4つの解析を行います。
形態素解析
形態素は文章の最小単位のことであり、「形態素解析」は文章を最小単位に分ける作業をいいます。形態素は文章や単語よりも細かな情報であり、意味を抽出し、それぞれに品詞などの各種情報を振り分ける必要があります。
たとえば、「私は辛いカレーとご飯を食べた」という文章に形態素解析を行うと次のようになります。
|
私（名詞）／は（助詞）／辛い（形容詞）／カレー（名詞）／と（助詞）／ご飯（名詞）／を（助詞）／食べた（動詞） |
構文解析
「構文解析」は、形態素解析で分割された単語同士の関係性を解析し、文節間などの係り受け構造を検出して図式化する作業のことをいいます。構文解析によって機械が単語同士の関係性を理解するのです。
構文解析にも「依存構造解析」や「句構造解析」など手法がいくつかあります。「依存構造解析」は、文章中の単語の係り受け関係を解析し、どの単語とどの単語がかかるか解析すること、「句構造解析」はどこの文からどこの文までが部分構造を成し、句となるのかを推測することです。
そこで、先ほどの例文を構文解析すると、3種類の解析結果が出ます。
|
①私は／辛い／カレーとご飯／を食べた」 ②私は／辛いカレー／と／ご飯／を食べた」 ③私は辛いカレーと／ご飯を食べた」 |
意味解析
意味解析は、構文解析した情報を使って、文章の意味を解析することです。先ほどの例文を構文解析した際に3種類の結果が出ました。これを意味解析すると以下になります。
|
①私は／辛い／カレーとご飯／を食べた →私はカレーとご飯を食べた。カレーもご飯も両方辛い。 ②私は／辛いカレー／と／ご飯／を食べた →私は辛いカレーとご飯を食べた。カレーは辛いが、ご飯が辛いかどうかは分からない。 ③私は辛いカレーと／ご飯を食べた →私は辛いカレーと一緒に、ご飯を食べた。私と辛いカレーがご飯を食べたことになる。 |
このように一つの文章でも複数の解釈ができてしまうため、意味を理解することは難易度が高い作業といえます。
意味解析には「グラウンディング」や「アノテーション」があります。「グラウンディング」は自然言語で表された文章の概念を、自然言語以外と結びつけることで、より正しい解釈に近づけられます。「アノテーション」は、AIモデルを訓練するための教師データを作成する作業のことをいい、アノテーションによって学習させたAIを使用して文章の意味を解析できるのです。アノテーションには「意味的アノテーション」と「言語的アノテーション」があり、前者は単語の意味に対してタグづけし、後者は文章の内容に対してタグづけします。
文脈解析
「文脈解析」は、文と文とのつながりを解析し、文章同士の関係性を把握することです。単語同士の関係だけでなく、文章と文章との間に隠された複雑な情報が必要になるので、意味解析よりもさらに難易度が高いと言われています。
近年「機械学習」や「ニューラルネットワーク」の技術進歩によって、実用的なシステムの構築に向けて研究が進められています。
自然言語処理の歴史
近年、加速度的に研究が進んでいる自然言語処理ですが、今日に至るまでの歴史を遡ってみましょう。
黎明期
自然言語処理の歴史は、1946年のコンピュータ誕生までさかのぼります。当初は軍事利用がおもな目的でしたが、1952年にロシア語から英語への自動翻訳を行う実験が、ジョージタウン大学とIBMが共同で行われました。これが自然言語処理のはじまりです。
当時は東西冷戦下だったため、アメリカはソ連の実態をつかむために膨大な予算を投入したため、機械翻訳は進展していきました。
忍耐期
1960年〜1990年頃は忍耐期と呼ばれており、費用をかけたものの、さまざまな課題がみつかった時期でもあります。
この時期には、ジョセフ・ワイゼンバウムによって対話型プログラム「ELIZA（イライザ）」が開発されました。ELIZAは心理カウンセラーのように振る舞う対話型プログラムで、あらかじめ用意しておいた回答文を表示する形で、対話できるというものです。また、1967年には、初の100万語規模のコーパスが発表されました。
発展期
1990年〜現在は発展期と呼ばれています。
インターネットが世界的に普及したことの影響は大きく、2010年代にIBMが人工知能「ワトソン」を開発したほか、日本の「東ロボくん」、Amazonの「Amazon Alexa」も登場。そして2020年代になると、ChatGPTの公開を皮切りにAIが注目を集めるようになり、今に至ります。
自然言語処理が発展した背景には、AIやディープラーニングの技術の発展があります。そして、今後はますます自然言語処理技術の活用が活性化していくことでしょう。
自然言語処理でできること・活用事例
今日、AI技術を使った自然言語処理はさまざまな分野で活用されています。
ここでは、自然言語処理の活用事例やツールを挙げ、どのようなことができるのかご紹介します。
対話型 AI・チャットボット
代表的な活用事例に「対話型AI」がありますが、対話型AIにも種類があります。
対話型AIのなかでも「チャットボット」と呼ばれるのは、テキストベースでユーザーと対話するAIで、ウェブサイトのチャットウィンドウなどで活用されています。チャットボットは、自然言語処理（NLP）の技術を駆使することで、人間のような自然な会話をリアルタイムで行えるようになってきました。
チャットボットの元祖となったのは、先述した「ELIZA」。そして一般に知られるようになったのが、アメリカでiPhone4sに搭載されていた「Siri」がきっかけでした。Sirlの音声認識機能が注目を集めたためです。
ここで国内でのチャットボットの例を見てみましょう。パナソニック株式会社「WisTalk」は社内の問い合わせ向けのチャットボットで、人事や経理などのバックオフィスやヘルプデスクの問い合わせ対応業務を効率化しています。
他にもバックオフィス向けチャットボット「HiTTO」は、問い合わせ対応のほかにも、社内情報の一元管理や情報の社内共有が行える機能をもつチャットボットです。
対話型AI ・ボイスボット
対話型AIのなかでも、音声を介してユーザーと対話するものを「ボイスボット」と言います。電話応答、カスタマーサービスなどで活用されており、オペレーターの負担軽減やサービス業務の効率化、顧客満足度の向上などに役立っています。
従来の電話応対で使われていた、音声ガイダンスに従って番号を押す「IVR」というシステムでは、ガイダンスを聞く時間が長く、顧客の離脱につながっていました。しかし、ボイスボットでは自動でヒアリングしていくため、待ち時間や本人確認の手間を省けます。また問い合わせ内容によってはボイスボットのみで対応を完結できることも魅力。これらはオペレーターの負担軽減や専門知識を深めるなどの育成促進につながっているのです。
事例としては、AI電話によるオフィスや店舗の電話対応の自動化などのサービスを提供している「IVRy」、50種類以上の音声をシーンによって選べるNTTドコモ「AI電話サービス」などが挙げられます。
対話型AI ・音声アシスタント
対話型AIのなかでも、個人の生活に密着しているのが「音声アシスタント」です。スマートスピーカーやスマートフォンに搭載され、ユーザーのさまざまな要求を実行します。
たとえば「Googleアシスタント」は、「OK Google」と話しかけるだけで、スケジュールを管理したり、電話をかけたり、音楽を再生したりとさまざまなことをしてくれます。声で操作が可能なので、テキストを打つ手間が省けるのがメリットです。
他にも「Siri」や「Arexa」など、私たちの生活にはすでにお馴染みになっているAIも、音声アシスタントといえるツールです。
音声認識 AI・文字起こし
音声認識AIは、人間の声をテキストに変換（文字起こし）し、その意味を解析する技術です。音声認識を活用して、会話や会議などをテキスト化するだけでなく、要点などを抽出し記事や議事録などに変換できます。
長時間の音声データでも短時間でテキストに起こしてくれるのが魅力であり、精度も日に日に上がってきていますので、ビジネスや学習の強い味方になりつつある技術です。
AI文字起こしができるツールは数多くあります。「toruno」は様々なWeb会議に対応しており、全員の声の記録や文字起こしができるツール。「Notta」は、音声データや動画データの文字起こしができ、リアルタイム文字起こしや倍速再生機能があります。「スマート書記」という議事録自動作成ツールは、議事録の要約や話し言葉から書き言葉への変換なども行えるなど、それぞれに特徴を持っています。
文字認識 （AI-OCR）
文字認識（AI-OCR）とは、紙文書のテキストを抽出して、デジタルに出力する技術です。手書きの文字も抽出できるため、ビジネスにおける伝票や請求書などの文字を抽出する、学生が黒板を撮影してテキスト化するなど、幅広く活用されています。
OCRの仕組みを説明すると、取り込まれた画像と文字列の分離を行い、解析を行う文字列を明確にします。文字列を1行ずつ、1文字ずつと分解していき、該当する文字を1文字ずつマッチングしていくのです。もちろん、100％文字認識ができるわけではないので、その可能性も考慮した上で活用するのがよいでしょう。
AI-OCRを使えるツールは数多くありますが、「Googleドライブ」や「Microsoft OneNote」など大手が無料で提供しているものもあります。
検索 エンジン
おなじみの「検索エンジン」にも自然言語処理の技術が使われています。たとえばGoogleは検索エンジンに自然言語処理の技術を使い、使用者の傾向を判別して、検索結果を最適化しています。
Googleが検索エンジンに採用したのが「BERT」です。BERTは自然言語処理技術の一種で、これまでの検索エンジンと違い、文脈を理解できるようになったため、検索結果がユーザーが求める答えにより近づくようになりました。
機械翻訳
テキストをある言語から別の言語に自動で翻訳する「機械翻訳」にも、自然言語処理が用いられており、文字認識だけでなく音声認識も進化してきました。
機械翻訳の市場は成長傾向にあり、深層学習によるニューラルネットワークの改良が進んでいます。また、ChatGPTのような大規模言語モデルにより、翻訳だけでなく、訳文のブラッシュアップや要約なども活用できます。
機械翻訳システムの代表格「DeepL」は世界最高レベルの翻訳精度といわれており、2020年には日本語も追加されました。「DeepL」はドイツのDeepL社が2017年にリリースしたサービスで、以前より対訳検索エンジンのLingueeを提供していたため、そこで収集した対訳データとディープラーニングを組み合わせて、高精度の機械翻訳サービス提供に至ったというわけです。
もうひとつの代表格である「Google翻訳」は、130を超える対応言語の多さや使いやすいユーザーインターフェースが特徴です。また、音声翻訳や画像翻訳にも対応しています。
文章要約
文章の要約も、自然言語処理を使って実現した高度な技術で「AIによる概要生成」と呼ばれています。
AIによる概要生成の仕組みは、文章理解と概要生成で成り立っています。まずAIが自然言語処理技術を用いて、文章の意味や構造を理解し、品詞や文脈などの情報を抽出。得られた情報をもとに、重要なポイントを抽出し、概要を生成するという仕組みです。
このようにして文章要約ができるAIツールは、ビジネスや勉強などさまざまな場面で活用されています。代表的なツールとして、OpenAIの「ChatGPT」、Google AIの「BERT」や「T5」などが次々と開発、公開されてきました。「要約AI Samaru」は要約する文字数が指定できるほか、秘密保持契約（NDA）を締結し、ログを残さずに使えるプランなどがあります。
テキストマイニングによるビッグデータ活用
テキストマイニングとは、整理されていないテキストデータを抽出し、分析する手法のことです。アンケートやSNSなどのビッグデータから顧客の意見を発見し分析する、医療分野での患者さんとのコミュニケーションからニーズを分析する、などさまざまな活用の仕方が注目されています。
たとえば、テキストマイニングツール「YOSHONA」は、「誰でも分析できる」をコンセプトに、初心者でも簡単に操作できるほか、データを集めるアンケートサービスも行っています。
画像生成 ・テキスト生成
「画像生成AI」は、おもに完成形のイメージをテキストで伝えると、AIが自動で生成されるサービスのことです。
画像生成AIは入力されたテキストから学習済みのデータをもとに特徴を探し、一致する特徴から画像を生成します。「VAE（変分オートエンコーダ）」、「GAN（敵対的生成ネットワーク）」、「DALL・E」などさまざまな手法があり、たとえば「VAE」は、元の学習用の画像データの特徴を学習し、似たような画像を生成できるというものです。画像生成AIの火付け役となったのは「Stable Diffusion」と「Midjourney」であり、OpenAI社の「DALL-3」も有名です。また、テキスト生成は文章を自動生成する技術で、活用することにより、あらゆる業界や個人の業務や時間が大幅に効率化しました。テキスト生成ツールは数多くあり、無料で使えるもの、オープンソースで利用できるものも多くあります。
代表的なものにOpenAIの「ChatGPT」、Anthropic社の「Claude3」、Googleの「Bard」、株式会社デジタルレシピの「Catchy」、デザインツールで知られるCanvaの「Magic Write」、簡単な導入文を入れるだけで小説が書ける「AIのべりすと」などがあります。
まとめ
自然言語処理は、人間が日常的に使っている自然言語をコンピュータが理解し処理する技術のことで、音声認識や文字認識、検索システム、要約や翻訳などさまざまな分野で活用されています。
自然言語処理を含むAIの技術は、今後も発展していくと考えられており、今後の少子化などの社会問題解決にも役に立つことが期待されています。今後どのように進化し、活用されていくのか、目が離せない技術です。
自然言語処理分野の人工知能研究で国内最先端を誇るオルツでは、OpenAIのGPT-3技術を用いたソリューションの企画及び開発を目指すお客様のサポートを行っています。
AIによる文章の自動生成は、社会における文章のあり方を変えていくでしょう。テキスト自動生成の最先端テクノロジーの導入をはじめとして、AI活用・LLM開発・DX推進などさまざまな選択肢から、最適なAIソリューションを提案します。企画から実証実験、実装までお客様に寄り添って実施しますので、AI開発をご検討の際はぜひお気軽にお問い合わせください。
