チャットボットを自治体で導入するには？メリットや導入事例・注意点を紹介
2024.9.26
Contents
お役立ちコンテンツ
RAG（検索拡張生成）の精度を向上させることで、大規模言語モデル（LLM）による回答の正確性が大幅に向上することが知られています。しかしRAGの精度をどのように高めればよいのか、具体的な方法に悩んでいる方もいるでしょう。実は、RAGの精度の改善には、幾つかの重要なポイントがあります。
そこで本記事では、RAGの精度を向上させることによってもたらされるメリットと、その具体的な改善方法について詳しく解説。さらに、高い回答精度を誇る、おすすめのチャットボットツールも紹介します。
社内の業務効率化のためにRAGの実装をお考えの方は、ぜひ参考にしてください。
RAG（Retrieval Augmented Generation：検索拡張生成）とは、LLM（Large Language Models：大規模言語モデル）によるテキスト生成に外部情報の検索機能を組み合わせて、回答を最適化する技術のことです。
LLMは、大量のデータとディープラーニングによって構築された言語モデルであり、LLMの登場により生成AIの言語処理能力は格段に向上しました。そのLLMにRAGを組み合わせることで、最新情報を踏まえた内容やエビデンスが明確で高精度な内容を回答として提供できるようになります。
RAGの仕組みは大きく二つのプロセス、検索フェーズと生成フェーズに分かれます。検索フェーズは、ユーザーが入力した質問に関連する情報をデータベースから検索するプロセスです。一方生成フェーズでは、検索フェーズで得られた情報とユーザーの質問をLLMに入力し、回答となるテキストを生成します。
RAGに関する詳細はこちらの記事をご覧ください。
https://amie-ai.com/contents/rag-chatbot/
RAGの精度向上は、生成AIにおける重要な課題の一つであるハルシネーション（幻覚）の軽減に大きく貢献します。ハルシネーションとは、AIが事実と異なる情報を生成してしまう現象のことです。
従来のLLMのみを使用するアプローチでは、学習データに基づいて文脈的に適切な単語を予測し文章を生成します。しかし、この方法では情報の正確性よりも文脈の自然さが優先されるため、ハルシネーションが発生しやすいという欠点がありました。
この問題に対する効果的な解決策として、RAGの活用が注目されています。RAGは膨大なデータから関連性の高い情報を抽出し、それをAIの回答生成プロセスに組み込むことで、LLM単独の場合と比べて大幅に精度を向上できます。その結果として、より正確で信頼性の高い回答が可能となり、ハルシネーションのリスクを軽減できるのです。
ただし、ハルシネーションの発生を完全に防ぐことは困難です。回答の元になる情報が不足していたり、情報が偏っていたりする場合、誤った回答を提示する可能性もあるため注意しましょう。
以下では、RAGの精度を向上させる具体的な方法を紹介します。
RAGの情報ソースとしてドキュメントを読み込ませる場合、前もってデータを整えておくとRAGの検索精度が向上します。
元のドキュメントに古い情報と新しい情報が混在していると、どちらが最新の情報であるか判断できず、誤った情報が抽出されたり事実と異なる情報が生成されたりします。そのため、RAGに読み込ませる前には古い情報を削除するようにしましょう。
また、社内ドキュメントなどではPDFを扱うことが多々ありますが、PDFはRAGでの取り扱いが難しいファイル形式の一つです。PDFの代替となるテキストがあれば、そちらを利用した方がRAGの精度は高まります。
さらに、ドキュメントに関するデータまで読み込ませると、RAGの検索精度が高まる可能性があります。ドキュメントに関するデータとは、ドキュメントの作成日、カテゴリ、ページ番号、ファイル形式などです。これらのデータは検索結果を絞り込むフィルターとなり、日付を指定した情報検索などに役立ちます。
生成AIに入力するプロンプトを見直すことでも、RAGが誤った情報を提供する確率を下げられます。プロンプトとは、ユーザーが生成AIに入力する質問・指示文のことです。同じ質問内容でも、プロンプトの書き方が異なると違った回答が返ってくる場合があります。
プロンプトを作成する際は、役割・タスク・ルールを明確にするのがポイントです。
まず役割とは、AIに求める立場を指します。問い合わせ担当者、税理士、教育の専門家など、回答を得たい立場を明確にすると、より専門性が高い回答が返ってくるようになります。
またタスクとは、生成AIに依頼する内容です。「以下の内容を要約してください」など、生成AIにしてほしいことを具体的に入力しましょう。
そしてルールとは、回答を作成する際に守ってほしい条件です。タスクだけでは伝え切れない情報や求める回答方法などがあれば、ルールとして補足しておきましょう。
なおプロンプトでは抽象的な表現を避け、具体的に情報を与えることも大切です。質問や指示出しの内容が複雑なときは、1回の問いかけでは十分な回答を得られないことがあります。そのような場合は質問や指示出しを複数回繰り返し、求める回答に近づけていくと良いでしょう。
RAGが大量のデータから情報を抽出する際に使用する検索手法には、幾つかの種類があります。適切な検索手法を選ぶことで目的に合った情報を抽出できるようになり、回答精度が高まります。
主な検索手法は、全文検索・ベクトル検索・ハイブリッド検索の3種類です。
まず全文検索は、ユーザーの質問に含まれるキーワードに着目し、データからキーワードを含む文章を抽出する手法のことです。
次にベクトル検索とは、ユーザーの質問と検索対象となるデータをベクトル（数値表現）に直し、類似度が高い情報を探し出す検索手法を指します。ベクトル検索は計算に基づいて情報を抽出するため、大量のデータを扱う場合でも高速で処理できることがメリットです。
最後にハイブリッド検索は、全文検索とベクトル検索を組み合わせて情報を抽出します。二つの検索方法を用いることで、両者の利点を生かしながら苦手な部分を補完し合えるため、検索精度が向上します。
RAGの精度向上において、チャンクの区切り方は重要な要素の一つです。チャンクとは、意味のまとまりで分割されたテキストデータのことを指します。RAGでは、膨大なテキストデータを効率的に扱うため、これらのチャンクを検索元として使用します。
チャンクの最適な長さと前後のチャンクとの重複度合いが、RAGの精度を左右する重要な要素です。単純に文字数やトークン数で区切る方法は分かりやすいものの、文脈が途切れたり一つのチャンク内に複数の話題が混在したりする可能性があります。これは検索精度の低下につながるため、文章の構造を考慮したチャンク分割が必要となります。
またチャンク間の連続性を保つために、前後のチャンクで内容を部分的に重複させることも効果的です。これにより文脈の理解が容易になり、より適切な情報検索が可能になります。
なお最適なチャンクサイズや重複の割合は、使用するRAGシステムやテキストデータの性質によって異なるため、自社の環境で実験を重ね、最適な設定を見つけ出しましょう。
ユーザーの質問が、必ずしも効果的な検索に適していない場合があります。この課題に対処し、RAGの精度を高める有効な手法の一つが、Hyde（Hypothetical Document Embeddings）です。
Hydeの仕組み：
この方法のメリットは、ユーザーの質問をそのまま使用するよりも、求める回答に近い情報を効率的に抽出できる点です。仮の回答にハルシネーションが含まれる可能性はありますが、検索の精度向上に貢献します。
Hyde以外にも、ユーザーの質問自体を最適化する手法は存在します。RAGの精度向上のためにはこれらの手法から適切なものを選択し、実装することが重要です。
システムを構築した後も、評価やフィードバックを元に改善を重ねて、RAGの精度を高めましょう。
RAGを評価するには、あらかじめRAGの精度を判定する方法を決めておく必要があります。RAGを評価する際、Ragasと呼ばれるツールが用いられることが多々あります。
Ragasで使われる主な指標は以下の通りです。
また、ユーザーのフィードバックを分析すると、システム提供者には気付けなかった問題点や改善点を発見できます。ユーザーの声を集めるには、直接意見を聞き取る他に、「Good」「Bad」などの意見を送信できるボタンをWeb画面に設置する方法もあります。
RAG技術の精度向上は著しいものの、ハルシネーションの完全な排除には至っていません。そのため、高度な正確性が要求される業務では、RAGの精度が向上した生成AIであっても、利用することは避けるべきです。
特に注意が必要な分野として、法律と医療が挙げられます。法律に基づく契約書作成では、生成AIが提示する法的根拠に誤りがある可能性があります。また、医療における診断や治療方針の決定は人命に直結するため、生成AIのみに依存することは現時点では適切ではありません。
こうした専門性の高い領域では、生成AIを補助ツールとして活用しつつ最終判断は人間の専門家が行うべきです。100％の正確性を保証できない以上、専門知識と高度な判断力が要求される業務では、適切な人間の介入が不可欠となります。
生成AIの能力を最大限に生かしながら、その限界を理解し人間の専門性と組み合わせることで、より信頼性の高い業務遂行が可能になるでしょう。
RAGの精度を上げることでハルシネーションの発生が軽減すると、より最適化された回答を得ることができます。紹介した方法を参考にRAGの精度を高め、社内の業務効率化を図りましょう。
正確な情報を表示させるチャットボットツールを探している方にはamie AIチャットボットをおすすめします。amieは社内問い合わせに特化したチャットボットツールです。既存の社内ドキュメントを学習データとして利用できるため、導入に手間がかからないことが特徴です。
RAGでは、抽出された情報をLLMが自然な文章に作り替える段階で、ハルシネーションが発生する可能性があります。しかし、amieは学習データの中から抽出した情報をそのまま回答として提示するため、正確な情報提供が可能です。
ある薬品の研究開発・製造を行う企業では、薬品に関する情報や取り扱いマニュアルの数が多く、求める情報を探すのに時間がかかることが課題でした。そこでamieを導入したところ、検索性が向上して業務の生産性が高まりました。
このように、膨大な社内ドキュメントから必要な情報をピックアップすることにamieは役立ちます。また、amieには質問に対する回答をサムネイル画像で表示する機能があり、視覚的な理解も助けます。一つの質問に対して、幾つかの回答候補を提示することも可能です。
amieは正確性の高い質問回答により社内業務をサポートします。チャットボットの活用により業務の効率化を図りたい方は、amieの導入を検討してみてください。
