AIにおけるアノテーションとは？ 基礎知識や種類を解説
2024.12.23
Contents
お役立ちコンテンツ
生成AIはさまざまな作業を効率化してくれる存在です。クリエイティブな作業だけでなく、ビジネスシーンでも有効活用できます。しかし、生成AIは状況によって誤った情報を発信することがあるため、情報の正誤の確認が必要です。
本記事では、生成AIが誤った情報を発信するハルシネーションやその防止につながるRAGについて解説します。
目次
生成AIのハルシネーションとは、生成AIが誤った情報や事実ではない情報を作り出してしまう現象です。生成AIが作り出す情報は、参考にしたデータが表示されないケースがあります。そのため、ユーザーはその場で正しい情報なのか、誤った情報なのかを判断できません。
新たに文章を作る大規模言語モデル（LLM）を用いた生成AIは、内在的ハルシネーションや外在的ハルシネーションを引き起こします。内在的ハルシネーションとは、学習データと異なる回答をするハルシネーションを指します。一方、外在的ハルシネーションは学習していない情報を回答するハルシネーションのことです。
ハルシネーションをそのまま放置していると、次のようなリスクにつながりかねません。
生成AIのハルシネーションによって誤った情報を拡散してしまうと、ユーザーに混乱を招いてしまいます。また、誤った情報を拡散することで企業としての信頼が低下する恐れもあります。企業の信頼が低下すると、ビジネスに大きな影響が及んでしまうでしょう。
ハルシネーションによって特定の人や組織の名誉を傷つける可能性があります。そういった情報が拡散されてしまった場合も、企業の信頼が大きく損なわれてしまいます。
生成AIのハルシネーションはビジネスの意思決定を誤らせる可能性もあるでしょう。生成AIによる間違った情報をベースに企業が重要な意思決定を下してしまうと、経済的損失につながりかねません。
ハルシネーションが発生する原因として以下が挙げられます。
それぞれの原因と対策を解説します。
ハルシネーションが発生する原因の一つが、生成AIのモデル学習データの欠陥や偏りです。例えば、バイクの写真だけを学習している生成AIに対して、自転車の写真を見せて何かを尋ねた場合、バイクと回答する可能性があります。このように学習データが偏っていると、生成AIがハルシネーションを起こす可能性があります。
また、モデルとなる学習データが古いこともハルシネーションの要因の一つです。古い情報をベースに誤った回答をしかねません。さらに、生成AI自体は参考にする情報の正誤を判断できないため、そもそも誤っている情報を参考に回答するケースもあるでしょう。
ファインチューニングし、生成AIに新たな情報や正しい情報を再度学習させることで、ハルシネーションのリスクを軽減できます。また、ユーザーのフィードバックによって生成AIの回答精度を高めることも有効です。
生成AIはユーザーから質問を受けた場合、既存の情報から推論を重ねて回答を提供します。しかし現状の技術の場合、推論には限界があり、ハルシネーションを起こす可能性がぬぐえません。ユーザーが正しい情報を学習させたとしても、生成AIそのものの推論に限界があるため、誤った情報を回答する可能性があります。
プロンプトとは生成AIに対してユーザーが入力する指示や質問などです。ユーザーが生成AIに投げかけるプロンプトが曖昧な場合、ハルシネーションを起こし、誤った情報を提供しかねません。
プロンプトによってハルシネーションが発生しているのであれば、プロンプトのマニュアルを作成して対策します。ハルシネーションの発生を抑えるプロンプトのポイントとして以下が挙げられます。
これらに注意しないと、ハルシネーションにつながりかねません。
ハルシネーションの防止に役立つのがRAG（Retrieval-Augmented Generation）です。RAGとは、大規模言語モデルでテキストを作り出す際に外部情報を検索する仕組みを指します。RAGは検索、生成という工程によって外部データを取り込み、回答を生成します。
大規模言語モデルでは外部情報までをカバーできません。一方で、RAGによる検索フェーズでは、文書やデータベースなどの外部情報を検索し、ユーザーの質問に適した情報を見つけ出します。RAGが検索する外部情報とは、自社に蓄積されている情報も含みます。
RAGは検索フェーズを終えると生成フェーズに進みます。RAGだけではユーザーの質問に回答はできないため、大規模言語モデルがRAGで収集した情報を活用して、ユーザーに質問に適した回答をします。
RAGはハルシネーションの発生を抑制する効果があります。大規模言語モデルをベースにしている生成AIの場合、ユーザーのプロンプトに対する回答の参考にするのは任意の情報だけです。そのため、ユーザーから情報にない質問をされた場合、誤った回答をしてしまいます。例えば、外部に公開されていない社内の情報を生成AIに質問した場合、参考にする情報がないため、ハルシネーションを起こす可能性があります。
一方、RAGは生成AIが参考にする情報を抽出して用意できるため、誤った回答の発生を防止可能です。例えば、社内規定や業務マニュアルなどの情報を用意しておけば、生成AIに自社に関する質問をしても、適切な回答が期待できます。
RAGの従来モデルとして、文書検索モデルが挙げられます。文書検索モデルとは外部情報を検索して、ユーザーが求めている情報を見つけ出す仕組みです。しかし、先述の通り、文書検索モデルだけではユーザーの質問に対して、スムーズな文章で回答できません。
収集した情報を適切にユーザーに返答するため、文書検索モデルと大規模言語モデルとを組み合わせているのがRAGです。
RAGを導入するメリットは、ハルシネーションの発生リスクを減少させるだけではありません。次のようなメリットも期待できます。
RAGを導入することで専門性の高い質問にも回答可能です。従来の生成AIでは知識がない情報には適切に回答できていませんでした。しかしRAGは、参照する外部データベースに専門的な情報を盛り込むことで、適切な回答ができるようになります。
RAGは導入企業だけのルールなども外部情報として参考にします。そのため、導入企業ごとに適したシステムを組むことが可能です。例えば、RAGを活用することで、社内で発生する質問に自動で回答できるようになります。
RAGはスムーズなメンテナンスができるというメリットもあります。先述の通り、一般的に大規模言語モデルの知識をアップデートするためにはファインチューニングが必要です。しかし、ファインチューニングを完了させるには一定の時間がかかります。一方、RAGであれば外部のデータベース更新だけでメンテナンスが可能です。
RAGは業務の効率化というメリットもあります。RAGを導入すると、それまで手作業で行っていた情報検索や情報の整理を自動化できるため、業務時間の短縮につながるでしょう。このような業務効率化によって、本来進めるべき業務に注力できます。また、業務の効率化だけでなく、ミスの発生確率も抑えられるでしょう。
RAGによって従業員は正確な情報に迅速にアクセスできるため、組織の意思決定もスピードアップが期待できます。
RAGはハルシネーション発生を防止するものの、効果が表れないケースもあります。先述したように、RAGは事前に与えられている外部情報を参考にユーザーの質問に回答する仕組みです。そのため、外部情報にはない質問へは回答できず、誤情報を作成する恐れがあります。
さらに、古い情報がそのままになっていると、RAGを導入したとしてもハルシネーションを起こしかねません。
ハルシネーション以外にもRAG導入時の注意点があります。RAGを導入した場合、機密性の高い情報の取り扱いに注意が必要です。外部データベースに自社の機密情報が含まれている場合、回答の参考にされる可能性があります。また、外部データベースの情報量が膨大な場合、処理に時間がかかり、ユーザーへの応答が遅くなりかねません。その結果、ユーザーの満足度を低下させる恐れがあります。
RAGはリアルタイムで外部情報を検索し、多くのデータを高速で処理するためのインフラが必要です。そのため、環境を整えるためのネットワークなどのコストがかさむ可能性があります。
RAGを導入してもハルシネーションが起きる場合、外部データのクオリティー向上と定期的な更新を行いましょう。ここではハルシネーション防止策とRAGの利用方法を解説します。
ハルシネーションの発生リスクを減らすには、参考とするデータの質向上と定期的な更新が必要です。
RAGの回答結果は外部情報に依存するため、外部情報に誤りがないかを確認して質を向上させましょう。さらに、古い情報を放置したことによるハルシネーションを防止するために、定期的に情報を更新することがポイントです。
RAGを利用するにはフィードバックループを活用しましょう。フィードバックループとはフィードバックを繰り返して結果を増強させていく取り組みです。
RAGは検索フェーズ、生成フェーズを繰り返すフィードバックループを重ねることでより回答の精度を高められます。また、フィードバックループによって生成される文章の品質向上が期待できるでしょう。
RAGの技術は日々進歩しており、利用シーンの増加も期待されています。ここではRAGの最新技術やRAGの利用シーン、今後の動向などを解説します。
RAGの技術が進歩したことで登場したのがAdvanced RAGです。従来のRAGはNaive RAGと呼ばれ、外部データの情報を収集して回答を生成するだけでした。Naive RAGを発展させたのがAdvanced RAGです。Advanced RAGでは初回に情報を検索するだけでなく、大規模言語モデルに該当データを渡した後でも再度検索を実施します。その結果、より高い品質の回答を実現できるでしょう。
RAGの技術は進歩し、AdvancedRAGに加えてFLAREも開発されました。
FLAREはForward-Looking-Active-REtrieval-augmented-generationの略で、ユーザーの求める回答精度に達するまで検索を続ける手法が採用されています。
RAGが活用されているシーンとしては、主に以下が挙げられます。
RAGはカスタマーサポートなどの顧客対応に活用可能です。生成AIを組み込んだチャットボットをホームページに設置することで、顧客からの問い合わせに自動で対応できます。しかし、生成AIによっては顧客に誤った回答をする可能性があり、顧客からの信頼低下につながりかねません。また、回答の精度が低いと結局従業員が対応しなくてはいけなくなるでしょう。
このような状況に対してRAGが効果的です。RAGを導入すれば回答の精度を高められるため、問い合わせ業務の自動化により従業員の負担を軽減できます。同時に、問い合わせ業務を自動化できれば、いつでも質問できるため、顧客の利便性を高められるでしょう。
RAGはマーケティングへも活用されています。例えば、顧客から寄せられた意見を外部情報として蓄積していき生成AIに要約してもらえば、顧客がどのようなニーズを持っているのかをすぐに判断できます。顧客のニーズをスピーディーに把握できるため、次のステップへも移りやすくなるでしょう。
また、マーケティング活動において欠かせない資料作りもRAGによって実現できます。RAGによって自動で情報を収集・分析可能です。
企業内のナレッジ検索のツールとしてもRAGは有効です。従業員によっては、業務を進めていくうちにさまざまな疑問や不明点を抱くケースがあります。疑問が発生した際、担当部署に質問をするのが一般的です。しかし、担当部署に質問が集まってしまうと担当者が本来の業務に集中できません。
生成AIを用いると従業員から寄せられる質問に自動で対応可能になります。特にRAGであれば、自社独自のルールなどをデータベースとして収集できます。
金融機関においてもRAGは活用されています。例えば、ファイナンシャル・プランニングの専門的な知識を外部情報とすることで、RAGによってファイナンシャル・プランニングの自動化が可能です。併せて、顧客に実施したヒアリング内容をデータ化すれば、RAGによって顧客の状況に応じたプランニングができます。
今後のハルシネーション改善策として期待されるのが、検索エンジン機能が備わった生成AIです。検索エンジン機能が備わった生成AIであれば、回答の参考にしたサイトを確認できるため、リアルタイムで情報の正誤を確認できます。このような生成AIであれば、なぜそのような回答に至ったのかという説明も可能です。
また、ハルシネーションの改善策として有効なRAGも、今後さらなる進歩が予想できます。
今後期待されるRAGの進歩として挙げられるのがマルチモーダルAIへの対応です。マルチモーダルAIとは、異なるさまざまな情報をまとめて扱うAIです。従来のAIはテキストや音声、画像、動画など情報に応じた生成AIが処理していました。一方、マルチモーダルAIの場合、テキストや音声、テキストや画像など、2つ以上のデータから情報を収集し、統合・処理する生成AIです。
このようなマルチモーダルAIに対応するのがマルチモーダルRAGです。マルチモーダルRAGも、通常のRAGと同じく外部情報を参考にユーザーのニーズに応えます。マルチモーダルRAGの場合、文章だけでなく画像や音声なども参考として扱えます。
生成AIは学習データの欠陥や偏りやプロンプトの問題などで、誤った情報を提供するハルシネーションを引き起こしかねません。例えば大規模言語モデルを用いた生成AIの場合、教えていない情報にもかかわらず、誤った回答を提示するケースがあります。このような生成AIのハルシネーションを防ぐには、RAGの活用がおすすめです。ただし、RAGを活用してもハルシネーションは起きる可能性があるため注意しましょう。データの質向上と定期的な更新が必要です。
これからAIによる社内業務の効率化を図ろうとしている担当者におすすめなのが、amie AIチャットボットです。
amieは生成AIを一部組み込みながら、ユーザーの質問に対して、社内のドキュメントをピックアップしてくれます。学習データをドラッグしてクリックするだけで学習ができるので、社内規程や製品情報の変更も容易です。手作業による定期的な更新作業の手間を省いて、ハルシネーションを防止しながら生成AIによる業務効率化を行いたい担当者の方はぜひご相談ください。
