チャットボットを社内の業務改善に活用する際のポイントと注意点を解説
2024.9.26
Contents
お役立ちコンテンツ
業務効率化や顧客満足度向上に役立つチャットボットですが、チャットボットの導入を考えているのなら「脆弱性」について理解しておく必要があります。チャットボットにはどのような脆弱性があり、どのような対策を講じるべきなのでしょうか。
本記事ではチャットボットの脆弱性の概要やチャットボットに潜む主なセキュリティリスク、脆弱性が狙われた事例、セキュリティ対策、設計・運用のポイントについて解説します。本記事を参考にして、チャットボットに潜むリスクを理解し、適切な対策を講じてチャットボットを運用しましょう。
目次
脆弱性とは、ハッカーに悪用される恐れのあるセキュリティ上の弱点や欠点を指します。脆弱性が発生するのは、システムの不具合や欠陥の他、設計のミスなどによる意図しないバックドア、不十分なセキュリティポリシーや管理体制などが原因です。バックドアは直訳で「裏口」の意味ですが、IT領域では「システムなどへ不正に侵入するための入口」を意味します。
近年高度なAIを活用するチャットボットが増え、利便性が向上してきました。その一方で、セキュリティ上の懸念点も増加しており、チャットボットを導入する際の課題の一つとなっています。
チャットボットは、ユーザーと一対一でやりとりを行い、一人ひとりの疑問や状況に合わせた回答を提示するツールです。回答を提示するために、ユーザーのさまざまな個人データにアクセスすることになり、その履歴がシステム内に蓄積されます。そのため、適切な対策を講じていなければ、サイバー攻撃の標的とされてしまい、セキュリティ上の重大なインシデントが発生してしまう恐れがあります。
どのようなシステムでも、悪意ある第三者からの攻撃を100％防げるものはなく、弱点を完全に克服するのは難しいです。チャットボットのセキュリティインシデントをできる限り予防するためには、定期的にソフトウェアのテストを実施し、検知された脆弱性に対して、その都度修正を行っていく必要があります。
では、チャットボットには具体的にどのようなセキュリティリスクが潜んでいるのでしょうか。代表的なセキュリティリスクを解説します。
チャットボットの代表的なセキュリティリスクの一つに、プロンプトインジェクションがあります。
プロンプトインジェクションとは、自由入力が可能なAI型チャットボットに悪意のあるプロンプトを入力することで、意図しない形でチャットボットを動作させる攻撃です。プロンプトは、チャットボットに入力する指示文や命令文を意味します。
チャットボットは、ユーザーが入力したプロンプトに沿って、膨大な情報の中から回答を導き出す仕組みです。通常、チャットボットは機密情報の提供を防ぎ、暴言などを吐かないような設計になっています。しかし、システムに何らかの脆弱性があり、悪意ある第三者にそこを突かれてしまうと、意図しない回答を提供してしまうことがあるのです。
実際にプロンプトインジェクションは行われており、チャットボットが機密情報を漏らしてしまったケースも出ています。またチャットボットが暴言などの不快な発言をすれば、自社の信頼が失墜してしまう恐れもあるでしょう。
個人情報の漏えいも、チャットボットに潜むセキュリティリスクの一つです。
チャットボットで対応する内容によっては、ユーザーの個人情報を入力してもらう必要があります。そのため、会話のデータが暗号化されていない場合や、適切なデータ保護ポリシーを設定していない場合、会話データがハッキングされ、個人情報が漏えいしてしまうかもしれません。
またソフトウェアに脆弱性がある場合、蓄積したデータに不正アクセスされ、個人情報が漏えいすることもあります。前述したプロンプトインジェクションも、個人情報が漏えいしてしまう原因の一つです。
加えて、社内で適切な教育を行っていない場合、人為的なミスなどで、個人情報が漏えいするリスクもあります。
チャットボットには、セッションハイジャックのリスクもあります。
セッションハイジャックとは、悪意ある第三者が管理者などの利用者識別情報（セッション）を不正に入手し、なりすましてアクセスすることを指します。
企業のWebサイトに導入されているチャットボットを利用するユーザーは、その企業のチャットボットとやりとりを行っていると信用している状態です。セッションハイジャックされ、悪意ある第三者がコントロールしている状態のチャットボットとユーザーがやりとりをしてしまうと、入力した個人情報が盗まれてしまう恐れがあります。またなりすましのチャットボットが悪質なリンクを送信し、ユーザーがクリックすると、情報が盗まれたりウイルスに感染したりするなど、大きな被害が出てしまうかもしれません。
加えて、登録情報が改ざんされてしまう可能性も高いです。例えば、FAQなどの登録情報を改ざんされてしまうと、ユーザーに不正確な情報が提供されてしまい、自社の信頼が失墜してしまうかもしれません。
悪意あるコードの挿入も、チャットボットに潜むセキュリティリスクの一つです。例えば、悪意ある第三者が、チャットボットの入力フォームに不正なコマンドやコードを挿入して、実行させることで、システムに不正アクセスされたり、データが盗まれたりする可能性があります。
悪意あるコードの挿入によるサイバー攻撃の代表格とも言えるのが、「クロスサイトスクリプティング（XSS）」や「SQLインジェクション」です。
クロスサイトスクリプティングは、不正なHTMLスクリプトと呼ばれる簡易プログラムを入力して、システム上に罠を仕掛け、ユーザーにスクリプトを実行させるサイバー攻撃です。ユーザーがスクリプトを実行してしまうと、セッションハイジャックの他、ウイルス感染などの被害が発生してしまいます。
SQLインジェクションは、データベースを操作する言語であるSQLで構成された命令文を不正に挿入して不正操作を行い、データベースに蓄積しているデータを盗み出すサイバー攻撃です。
チャットボットの脆弱性が狙われたサイバー攻撃は、実際にいくつも発生しています。ここからはチャットボットの脆弱性が狙われた3つの事例を見ていきましょう。
まず紹介するのは、生成AIを活用したAIチャットサービス「ChatGPT」で発生した不正アクセス・情報漏えいの事例です。
2023年3月、ChatGPTを運営するOpenAIは、オープンソースライブラリに存在した不具合が原因で、支払いに関する情報が閲覧された可能性があると発表しました。閲覧された可能性があるのは、一部のユーザーのチャット履歴のタイトルや、ユーザー名や住所、クレジットカードの種類やカード番号の下4桁などです。
また同年、シンガポールのセキュリティ企業が、ダークウェブの闇市場において10万件以上のChatGPTアカウントが取引されていることを発表しました。
チャットボットとChatGPTは異なる性質を持ちますが、チャットボットの中にはChatGPTと連携しているものも多くあります。ChatGPTにこのような不正アクセスや情報漏えいが起こると、連携しているチャットボットにも影響が出てしまうかもしれません。
また同じくChatGPTでは、入力データの外部保存による機密情報流出も起こっています。
電子・電機事業を中心に展開しているとある企業では、社内の機密情報が流出するインシデントが発生しました。同企業は、その原因を「従業員が社内の機密情報をChatGPTにアップロードしたことにある」と考え、全ての従業員にChatGPTやチャットボットの利用を禁止しています。
ChatGPTはデフォルト設定では入力データをサーバーに保存します。学習しないように設定することで、情報の流出を避けられますが、確実な情報流出対策は、重要な情報を入力しないことです。
プロンプトインジェクションによる攻撃で、ユーザーが誘導され、誤情報が拡散してしまった事例もあります。
悪意ある第三者に狙われたのは、チャットシステムを用いた医療系疑似相談サービスです。このサービスが利用していたシステムがプロンプトインジェクションの攻撃に遭い、ユーザーを危険な治療法に誘導するインシデントが発生しました。
一部のユーザーは提供された情報を信じてしまい、症状が悪化するなどの被害が報告されています。また危険な治療法がSNSなどで拡散してしまったため、医療系疑似相談サービスを利用していなかった人の中にも、誤情報を信じてしまった人がいた可能性があります。
このインシデントにより、医療系疑似相談サービスを運営する企業の信頼が大きく失墜し、システム停止の他、運営における厳しい制限が設けられることになりました。
チャットボットを導入する際、どのようなセキュリティ対策を講じておけば良いのでしょうか。6つの対策を解説します。
チャットボットを導入する際は、セキュリティ対策として、入力データの検証と出力制限が欠かせません。
入力データの検証とは、ユーザーが入力したデータを検証し、入力内容に悪意のある内容やHTML・JavaScriptといったコードが含まれていないかを確認することです。入力データの検証を行うことで、悪意のある情報の入力を防げるため、プロンプトインジェクションを回避できる可能性があります。
出力制限とは、チャットボットの回答を制限することです。適切な出力制限を行うことで、万が一プロンプトインジェクションを仕掛けられたとしても、機密情報や暴言を含む内容を回答しないようにできます。
チャットボットのセキュリティ対策として、機密データのマスキングも欠かせません。
データのマスキングとは、元のデータにある数字や特定の文字を置き換えることで、データを加工する方法です。例えば、「1234-5678-9012-3456」のクレジットカード番号をマスキングすると「1234-****-****-3456」のように加工できます。
データをマスキングすれば、重要なデータの機密性を高めることが可能です。
ログ管理の強化も、チャットボットのセキュリティ対策に重要なポイントです。
ユーザーとのチャットボット上での会話は、ログとして管理することが可能です。ログ管理を強化しておけば、万が一インシデントが発生した際、原因を素早く突き止められるため、適切な対処が取れます。
ログは定期的に確認し、異常がないかをチェックしておくことも大切です。
チャットボット導入時のセキュリティ対策として、アクセス制御を行うことも重要です。
アクセス制御とは、特定のIPアドレスやデバイスからのアクセスを制限することを意味します。例えば、自社の従業員のみにアクセス権限を与え、それ以外の人をアクセスできないように設定することが可能です。
アクセス制御を適切に行うことにより、悪意のある第三者からのアクセスを防止できます。不正アクセスを検知できる機能を搭載したシステムを選んでおけば、万が一不正にアクセスされた場合も、迅速な対応を取ることができます。
チャットボットのセキュリティ対策を行うためには、認証手段の整備も行いましょう。
代表的な認証手段には、パスワードや生体認証があります。これらの認証手段を適切に整備することにより、セッションハイジャックによる情報漏えいや改ざんを防ぐことが可能です。
セキュリティを強化するには、複数の認証手段を組み合わせるのがおすすめです。また、定期的なパスワードの変更や推測されにくい複雑なパスワードを設定することによっても、セキュリティを高められます。
データの暗号化や通信経路の安全確保も、チャットボットのセキュリティ対策として効果的です。
ユーザーの入力した内容やチャットボットの回答などのデータを暗号化すれば、万が一情報が漏えいしても、第三者は内容を理解できません。また外部通信やAPI連携を行う際に、安全なプロトコル（コンピューター同士が通信を行う上でのルール）を通じた通信を確保することも重要です。安全なプロトコルの代表例には、HTTPSプロトコル（httpsから始まるWebサイトのURL）があります。
最後に、チャットボットの設計と運用のポイントを解説します。安全なチャットボット運用を行うために、これから紹介する内容を把握しておきましょう。
安全なチャットボットを運用するためには、ユーザー入力を正規化する処理や、フィルタリングを実施しましょう。
ユーザー入力の正規化やフィルタリングは、プロンプトインジェクションによる攻撃を回避するために欠かせないものです。特殊文字や制御文字の種類や入力文字数に制限をかけることで、悪意のある入力をブロックできます。
また許可する文字やパターンをホワイトリストとして登録し、それ以外の文字列やパターンをブロックすることも可能です。
安全なチャットボット運用のためには、保存するデータの最小化と、保存期間の適正化を行うことも大切です。
チャットボットが保存するデータを限定し、必要以上の期間保存しないことで、情報漏えいのリスクを軽減できます。保存するデータは業務で必要な最低限のデータにとどめ、適切な保存期間を検討しましょう。チャットボットシステムによって、データの保存期間は異なるため、導入する際に確認するようにしてください。
チャットボットでの会話は個人情報などの機密情報が含まれるため、保存するデータの範囲や保存期間などに関しては、ガイドラインで明確に定める必要があります。
チャットボットを安全に運用するためには、開発段階から脆弱性テストを実施することが推奨されます。
脆弱性テストとは、システムにおいてセキュリティを脅かす恐れのある弱点を見つけ出すために行われるテストを指します。チャットボットの開発段階から、脆弱性テストを行うことで、システムのバグや欠陥を素早く見つけ、必要に応じた修正や改善を行うことが可能です。未然にサイバー攻撃に遭うリスクを軽減できるため、より安全な運用が目指せるでしょう。
脆弱性テストは、チャットボットの運用開始後、アップデートを行った際にも、その都度行うのが望ましいです。
安全なチャットボット運用を行うためには、セキュリティインシデントが発生してしまった場合の対応の流れを整備しておきましょう。
セキュリティインシデントは起こらないに越したことはありませんが、どれだけ対策していたとしても、発生するリスクはあります。万が一、セキュリティインシデントが発生してしまった際、被害を最小限にとどめるためには、発生時にどのような流れで対応するのかをあらかじめ明確にしておくことが大切です。
セキュリティインシデントが発生した際の、一般的な対応フローは以下の通りです。
1. 検知・報告
2. 対応の要否・優先度の判断
3. 応急処置
4. 原因の特定・調査
5. 関係者への通知・公表
6. 復旧
7. 再発防止策の策定
8. 事後対応
これらの対応がスムーズに行えるように、セキュリティインシデント発生時の対応担当部署、担当者、具体的な対応の流れを明確にしておきましょう。また社内や社外からの通報に素早く対応できるように、窓口を設置するなどして、通報体制を整えておくことも大切です。
問い合わせ対応の業務効率化に貢献するチャットボットは、生産性向上やコスト削減、顧客満足度向上などを目的に、多くの企業で導入されているシステムです。利便性が高いチャットボットですが、適切なセキュリティ対策を行っていなければ、自社の信頼を失墜させ、社会的にも大きな影響を与えるセキュリティインシデントが起こるリスクをはらんでいます。
安全にチャットボットを運用し、自社の信頼を維持するためにも、セキュリティ対策を徹底し、適切な設計・運用を行いましょう。
社内の問い合わせ業務に課題を抱えているのなら、「amie AIチャットボット」がおすすめです。社内情報の問い合わせ対応に特化した「amie AIチャットボット」なら、あちこちに散らばっている情報を一元管理し、簡単に必要な情報を検索できます。バックオフィスの業務効率化や、営業・開発の業務支援に適したチャットボットです。
導入から運用まで専任スタッフがしっかりとサポートするため、初めてのチャットボット導入でも安心してご利用いただけます。まずはお気軽に1ヶ月無料トライアルで、導入効果をお試しください。
