ビッグデータで業務効率化を実現！ 成功事例と導入のポイントを徹底解説
2025.5.6
Contents
お役立ちコンテンツ
大規模言語モデル（LLM）は学習した内容に基づく回答しか生成できません。しかし、RAGの活用により、最新情報や社内情報のような外部情報に基づく回答を生成できるようになります。一見するとLLMの弱点を補う万能システムのように思えるものの、RAGにも多くの課題が存在するため注意が必要です。
本記事では、RAGの問題点と課題の解決方法を紹介します。
目次
RAGとはRetrieval-Augmented Generationの略称で、日本語では検索拡張生成といいます。信頼できる外部情報を検索・参照し、大規模言語モデル（LLM）を活用した生成AIの機能を向上する仕組みです。
LLMを搭載した生成AIは、大量のデータに基づく深層学習（ディープラーニング）により、まるで人間と対話しているような自然な文章の生成や、質問への回答精度の向上を可能にしました。
一方で、LLMは学習したデータに基づく内容しか答えられないため、最新の情報に基づく回答は得られない、虚偽の回答を生成するなどの課題があります。これらの課題解決が期待できる仕組みがRAGです。
RAGはLLMの再トレーニングの必要がなく、外部の最新情報や社内ナレッジのような特定分野のデータベースを参考にして、文章を生成できます。このため、LLMの回答精度の向上につながり、社内業務に適した活用が可能となりました。
RAGには大きく分けると検索（Retrieval）と生成（Generation）の2つのフェーズがあります。回答が生成される仕組みは以下の通りです。
【検索：情報収集】
【生成：回答生成】
外部データとは、LLMのトレーニングデータに含まれないデータです。業務知見をまとめたナレッジベースやAPI、検索エンジンなど、複数のソースから情報を獲得できます。
なお、情報はテキスト・数値・ファイル・画像などさまざまな形で存在するため、目的に合った検索手法を導入するとより正確な回答を得やすくなります。
| 検索方法 | 概要 |
|---|---|
| ベクトル検索 | テキストや画像を数値化して類似性を判断する。 |
| セマンティック検索 | ユーザーの意図やクエリを理解し、関連性の高い情報を提供する。 |
| ハイブリッド検索 | 複数の検索アルゴリズムを組み合わせる。 |
LLMとRAGの大きな違いは、特定分野の情報や最新の情報に基づいた回答ができるのかどうかです。
LLMは学習済みのデータに基づく回答しかできません。例えば、改定された社内規定について質問しても、答えられないか、過去のデータを参照した回答や虚偽の回答を返す形で対応してしまうでしょう。
一方、RAGは最新のデータや機密情報の参照が可能です。LLMと組み合わせれば、RAGが参照し作成したデータベースを基にして、LLMが知らない情報にも答えられるようになります。
Risk Management and Assessment for Business Investment Concept. Modern graphic interface showing symbols of strategy in risky plan analysis to control unpredictable loss and build financial safety.
RAGはLLMの欠点を克服できる画期的な技術です。とはいえ、以下のリスクを伴うため、あらかじめ知っておきましょう。
RAGは外部データを参照し、必要な情報を取得します。このため、そもそも外部データが適切に更新されていなければ、最新の情報を取得できません。Web検索から情報を取得する場合このような事態は起きにくいものの、企業でナレッジベースから情報を取得し活用したいときはデータベースの頻繁な更新が必要です。
例えば、社内の問い合わせ対応にRAGを活用しても、参照元の社内規定データが古いままでは、誤った方法で業務が進む恐れがあります。データベースを自動または定期的に更新できる仕組みが必要です。
RAGは一問一答形式の質問に対する精度は高いものの、全域的な解を求める質問に対する精度は低い傾向です。全域的な解が必要な質問とは、必要な情報が参照データの一点ではなく、全体にちりばめられているような問いになります。また参照するデータが複数あり、包括的に分析し、推論を立てなければならない質問も苦手です。
例えば、会議の要約や長期経営戦略の立案などです。これらのタスクを処理するためには、RAGだけでは足りず、より高度な技術と組み合わせなければうまくいきません。
RAGの検索結果が常に正しいとは限りません。正確性が損なわれる理由は以下の通りです。
RAGは自然言語で利用者の質問や指示（プロンプト）を受け付けます。プロンプトが曖昧だったり、複数の質問が含まれていたりすると、正確な回答を得にくい傾向です。また生成されたテキストの中には、有害なコンテンツが含まれることもあります。
顧客向けの問い合わせシステムで不正確なテキストが生成されると、信頼を損なうだけではなく法的問題に発展する恐れもあるため注意が必要です。誤情報を表示しない仕組みとしては、フィルタリング機能が挙げられます。
RAGは2020年頃に登場した新しい技術です。LLMと共にすでに実用化が進んでいるものの、発展途上の技術であり日々改善が進んでいます。RAGが抱える技術的課題は以下の通りです。
RAGは外部データから必要な情報を検索して収集するものの、検索の精度自体が悪く、必要な情報を集められないことがあります。検索の精度とは、例えば、有給休暇について調べたいとき、「年休」や「有給」ではなく「有給休暇」と正確にインプットしなければ回答を得られないなどです。
外部データに頼り過ぎる結果、不要な情報が表示されることもあります。例えば、大企業であれば膨大な業務マニュアルが蓄積されているため、最新のデータと過去のデータが混ざって表示される恐れがあります。
ハルシネーションとは、AIが事実とは異なる情報を生成する現象です。LLMは学習データを基にした回答しかできないため、間違った回答の生成が課題となっていました。その課題を克服する技術として外部情報を参照するRAGが活用されるものの、RAGでもハルシネーションが生じます。主な理由は以下の通りです。
LLMは人間のように意味を理解し回答を生成しているわけではなく、回答と思われる文章を予測して生成しています。そのため、LLMの生成精度が低いと、RAGが正しい情報を参照してもLLMの回答が間違っている事態も起こり得ます。
RAGは検索と生成を合わせて実行するため、処理に多くのコストがかかります。しかし、コンピューターには性能の限界があるため、処理コストを効率化しなければなりません。
処理コストを効率化する手段としては、データソースやプロンプトの見直しなどが考えられます。これらの対応を常に行わなければ、回答速度が遅くなる恐れがあります。
RAGには以下のように、運用上の難点も存在します。
これらの課題を解決できなければ、導入しても思うような効果を上げられない可能性があります。
RAGの参照情報を社内のナレッジベースとしている場合、常に最新の情報に更新する必要があります。定期的なバッチ処理や自動リアルタイム処理など更新にはさまざまな方法があるものの、どの方法もある程度の専門性が必要です。
自動更新が難しいときは、保守運用の担当者が手動でナレッジベースの更新や拡充などのメンテナンスを行う必要があります。その上で、RAGに正しく反映されるかの確認も必要です。
RAGの出力する情報は、データソースの正確性に依存します。特に検索エンジンから情報を選定する場合、信頼性の低いサイトや虚偽の内容、矛盾する結果などが参照元とされる可能性もあるためです。
また社内情報をデータソースとする場合、情報の更新頻度が低かったり、正しく構造化されていなかったりすると、検索と生成の品質に悪影響が出やすくなります。
使用する既存システムによっては、RAGとの連携が困難なこともあります。API連携ができるような近年のシステムとは相性が良いものの、過去に独自開発したレガシーシステムでは、RAGよりも高度な検索アルゴリズムが必要なことが多いです。
またレガシーシステムはドキュメントが日本語中心のため、LLMも日本語処理に強いモデルでないと、生成が難しくなります。
RAGが参照するデータの中に、社内情報や個人情報が含まれている場合、これらの情報が漏えいする恐れがあるため、十分な注意が必要です。悪意のあるプロンプトの入力方法を利用した攻撃は、プロンプトインジェクション攻撃と呼ばれます。過去には機密情報が流出した例もあります。
不正確な情報の参照のようなRAGの課題を克服するためには、以下の対策が考えられます。
RAGの開発では、適切なリランキングモデルの採用が効果的です。RAGは以下の2つの仕組みで構成されています。
レトリーバー：質問に関連する文書を探す仕組み
ジェネレーター：探してきた文書を基に質問に対する答えを生成する仕組み（例：LLM）
レトリーバーには、文書の類似性を測る埋め込みモデルとリランキングモデルの2つの仕組みがあります。埋め込みモデルが関連のある文書を複数個探してきて、リランキングモデルがその文書をランキング化し、上位のものをLLMに渡す仕組みです。
このため、リランキングモデルの順位付けの精度を上げれば、RAGの回答精度向上につながります。
ナレッジベースのようなRAGが参照するデータベースは定期的に更新し最新の状態を維持しましょう。また、RAGが情報を参照する際、参照元に以下のような問題があると出力品質が低下する恐れがあります。
これらはノイズと呼ばれます。これらのノイズは早めに修正しましょう。
生成精度や利便性を向上させるためには、ユーザーからのフィードバックを活用することも効果的です。RAGを実際に使用するのはユーザーであるため、ユーザー視点で使いやすく、分かりやすい設計が求められます。
また誤情報の発見は、実際に使っているユーザーの方が開発者よりも見つけやすいでしょう。アンケートをとるなど、フィードバックを得る仕組みはいくつかあるものの、回答結果からすぐに評価したり、誤情報を報告できるフォーマットがあったりすると、利便性が高いです。
社内情報の流出を避けるためにも、RAGが参照できるデータの範囲を明確にしましょう。社内向けのシステムであれば、ユーザーの階級などに応じ、権限フィルタを設けるのが有効です。どうしても機密情報を含む文書の参照が必要なときは、参照データの機密情報部分を伏せ字にするのも方法です。
またRAGを使うときは、誰が・いつ・どのようなプロンプトを入力し・どのような回答が生成されたかのログを残し、異常があれば検知できるようにしましょう。
RAGを自社に導入しようと考えても、自社で課題を改善するのが難しいときは、正確性の高いAIツールを導入するのも方法の一つです。
「amie AIチャットボット」は、生成した文章だけではなく、学習したドキュメントやURL内のイラスト・写真もそのまま表示します。学習したファイルやURLの内容から適切な回答部分をそのまま抽出できます。また正誤判定やフィードバック機能を備えているため、回答精度を向上させることが可能です。
RAGの回答精度が低く業務に支障を来しているなら、ツール自体を見直してみましょう。
RAGは社内業務の改善や効率化に役立つ反面、思うような回答が得られないなど、失敗も多くあります。RAG導入の成功例と失敗例をそれぞれ紹介します。
社内にRAGを導入した成功例としては、LLMの回答精度の向上が挙げられます。適切なデータ管理など、RAGの課題を克服し運用ができれば、必要な最新情報をすぐに把握可能です。
チャットボットで活用すれば、社内・社外を問わず問い合わせ数を削減しながら、ユーザー満足度も向上できるでしょう。
RAG導入の失敗例としては、誤情報が生成される、質問と誤差のある回答が返ってくるなどです。また開発方法によっては、日本語の質問に対し、英語で回答するなどの事態も生じます。
この場合、不適切なデータセットを選定している可能性があります。これでは業務の効率化どころか、運用・保守チームの負担が増加しかねません。前述したように、適切なデータソースの選定を心掛けましょう。
RAGはLLMが抱える課題（最新情報や社内情報を表示できない、虚偽の情報を表示するなど）を解決し回答精度を向上するのに有効な技術です。しかし、RAGも万能ではなく、ハルシネーションが生じる、外部情報を頼り過ぎて回答精度が落ちるなどの課題があります。生成AIを業務に活用したいときは、お伝えしてきたRAGの課題を解決できるよう、策を講じることが重要です。
こうしたRAGの課題を解決できる生成AIツールとしておすすめなのが、「amie AIチャットボット」です。amie AIチャットボットは、正確性・適切性を得意とし、日本語の自然言語処理能力に優れています。そのため、記事内で解説したようなハルシネーションのリスクや、回答精度が落ちてしまうといった課題を解決できるのです。
生成AIツールを業務に活用したいとお考えのご担当者様は、是非一度お問い合わせください。
