セキュリティ／ハルシネーション／ビジネス
生成AI活用の
「リスク」

Part.1 ＜現状と課題＞

インフラ単位からコンテンツ単位へ──
激変する“データ管理”の考え方と実践

生成AIの導入・活用を進めるなかで、さまざまな「リスク」も顕在化しつつある。情報漏洩やオーバーシェアリング、誤情報、ガバナンスの不備など検討すべきリスクは幅広い。長期的に見れば、AIエージェントの登場によるビジネス構造の変化も無視できない。生成AIを安全かつ効果的に活用するには、特性とリスクを正しく理解し、現場とそれを支援する組織──情報システム部など──が一体となって対策を講じることが不可欠だ。

　生成AIの「汎用性」と「言語インタフェースの手軽さ」は、誰でも・どこでも・簡単に活用できるという魅力を持つ。しかしそれゆえに、リスクの多様化・拡大化が進んでいるのも事実だ。

　コンタクトセンターで対策すべきリスクは大きく５つに分類される。（１）情報漏洩、（２）オーバーシェアリング、（３）ガバナンス不在、（４）ハルシネーション（誤情報）、（５）ビジネスリスクだ（図１）だ。

　コンタクトセンターの生成AI活用で、発生時に最も“大事故”になりがちなのが「情報漏洩」だ。これを防ぐ有効手段とされるのが、Microsoft Azureなどを活用したプライベート環境の構築だ。Azure環境では、フィルターや出力検査、プロンプトの管理が可能で、対話内容を制限するガードレール設計も進んでいる。技術的な環境整備に加えて重要なのが、運用ルールと人材教育だ。

　保存場所を知らずとも、文脈や関連性から重要情報にアクセスできることによる「オーバーシェアリング」、すなわち「共有しすぎる」リスクにも気を付けたい。ハルシネーションを減らす対策としてRAG（Retrieval-Augmented Generation）を導入する企業もあるが、アクセス制御が甘ければ、他部署の機密情報が意図せず流出する恐れがある。

　生成AIは、業務効率化や顧客体験向上の強力なツールである一方で、多層的かつ複雑なリスクを伴う。

図1　生成AI活用に関する５大リスク

Part.2 ＜オピニオン／ケーススタディ＞

識者４名と事例２社から学ぶ
生成AI時代のリスクと備え

コンタクトセンターは、良くも悪くも、生成AI導入の「実験場」と化している。結果、「情報漏洩」「誤情報（ハルシネーション）」「ガバナンス」「オーバーシェアリング」など、新たなリスクも表面化。さらに、AIが自律的に行動する“AIエージェント”の登場がいかなる変化とリスクを生むかは、不透明なままだ。４名の識者と２社の事例企業に、起こりうるリスクと必要な備えを聞いた。

国立情報学研究所
教授
佐藤 一郎 氏

RAG、小規模モデルにもリスクはある！
肝心カナメは“元データ”のメンテナンス

　ハルシネーション（虚偽生成）は、生成AIが登場した初期、最初に注目されたリスク要因だ。国立情報学研究所の佐藤一郎教授は「技術の進化によって、一定の改善が見られます」と説明する。初期のLLMに比べると、精度重視のチューニングによってハルシネーションの発生率は低下してきている。

　一方、企業ユーザーにとって残る課題が“元データの正確性”だ。AIは忠実かつ正確に応答するがゆえに、参照元となるデータ（ナレッジ）に誤りがあればアウトプットも同様に誤る。誤情報の発信を防ぐには、データ管理の徹底が欠かせない。「データベースの中身が更新されなければ、LLMは古い情報を正確に学習し続けます」（佐藤氏）。学習データのバイアスや、誹謗中傷・差別的表現の混入など、運用後も継続的なメンテナンスが不可欠だ（図２）。

図2　生成AI活用の「リスク」について

シニア ディレクター アナリスト
矢野 薫 氏

セキュリティ設計を根底から見直す！
AIエージェント時代の「情報拡散の速さ」に備えよ

　生成AIの活用とは、データ管理のあり方を根底から変えることと同じ意味を示す。ガートナージャパン シニア ディレクター　アナリストの矢野 薫氏は、「従来のセキュリティ設計は、生成AI活用を前提とした構造になっていません。設計から見直すことが急務です」と警鐘を鳴らす。

　「人がデータを探して取り扱う」ことを前提とした従来のセキュリティ設計は、情報の検索・分類を一瞬でこなすAIの制御には、不十分だ。

　とくに多層的な情報漏洩対策は不可欠で、従業員は情報の分類・保護を担当し、上司はアクセスの必要性を判断、法務はリーガルチェック、セキュリティ部門は技術的支援という形で、複数の視点から情報を守る必要がある（図３）。

図3　情報漏洩対策の役割分担

代表理事
小栗 伸 氏

生成AIを上手く使う最大のポイント──
ミッション・ビジョン・バリューの明示化

　コールセンターは個人情報の順守、差別発言などのモラルコントロール、企業の機密情報漏洩など、ビジネスリスクが比較的高い部署だ。結果的に、生成AI活用──とくに顧客対応への利用について、慎重な姿勢になるのはやむを得ない。

　しかし、AICX協会 代表理事の小栗 伸氏は、「企業が所有する個人情報を外部に流出しないという制御は当然ながら、最近では一般的に流通している情報の開示まで制御されるケースや、間違った情報の生成を避けるあまり、回答できる質問にも回答しないケースも散見されます。これでは情報漏洩やハルシネーションこそ減らせるものの、生成AIならではのコミュニケーションの魅力が損なわれます」と指摘する。すでに、生成AIはGeminiやApple Intelligenceなどで一般消費者も活用している。「企業側が守りに入りすぎると、一般的な生成AIの体験とのギャップが出て顧客体験を損なう可能性が高い」（小栗氏）。リスクを避けることと、ユーザーの満足度を維持するバランスは欠かせないといえそうだ。

ディレクター
山本 優樹 氏

サービス提供企業に問われる
「アクセル役」「ブレーキ役」のバランス力

　生成AIやAIエージェントに関するリスクファクターは、実に多様かつ複雑だ。デロイト トーマツ リスクアドバイザリー合同会社 ディレクターの山本優樹氏は、「従来のルールベースのITは、構築段階で想定リスクへの対策を盛り込むことができますが、学習ベースのAIにはそれができません」と指摘する。

　現在、日本では官・民あげて生成AIの拡大利用と普及に突き進んでいる。しかし、山本氏は「アクセルを踏む最前線の事業部だけではなく、ブレーキ役のリスクを検討する部署は絶対に必要」と指摘する。

　コールセンターでも極めて多いユースケースである要約については、大企業ならば個人情報を自動的にマスクするといったガードレールの利用、あるいは「Azure Open AI Service」などの閉鎖されたネットワーク環境で使うケースが多いのでまだリスクは低いが、中堅中小企業や中小規模センターを対象としたソリューションにそういった機能が搭載されているかは確認が必須といえる。

執行役員
番場 啓介 氏

利用ルールと“使い方”を指南
利活用促す「セキュリティ研修」の要諦

　「AI活用は、ソフトバンクグループ全体の強い方針のひとつです。しかし、カスタマーサポート（CS）は個人情報を扱う領域。リスクを正確に理解し、どう乗り越えるかが最初の関門でした」──そう説明するのは、LINEヤフーコミュニケーションズ 執行役員の番場啓介氏だ。

　同社を含めるLINEヤフーグループは、生成AI活用を現場に根付かせるために、厳格なセキュリティ対策と段階的な導入戦略を進めている。具体的には、（１）信頼性の高い生成AIの選定と契約、（２）プロンプトによるリスク制御、（３）セキュアなインフラ構築、（４）教育とルールの徹底だ。

　CS部門では、外部ベンダーが提供する生成AI基盤を活用し、一部サービスでメールの自動返信などの活用も進めている。ソリューションの選定基準で重視したのは、「自社のデータを学習させない」設計と、「ゼロリテンション（データを最小限に保持し、不要になったら速やかに削除する管理方法）」だ。さらに、プロンプトできめ細かく制御することで、二重のセーフティネットを敷く。例えば顧客が個人情報を入力してしまった場合、自動で判断し、回答内容に反映しないといった運用を実現している。

デジタル推進部 次長
川崎 稔 氏

全社で進めたAI導入とガバナンス設計
IT＋人の「二重のガードレール」で徹底チェック

　「AIを使うリスクより、使わないリスクのほうが大きい」（デジタル推進部 次長 川崎 稔氏）。大和証券は、この方針のもと、生成AIの導入と活用に取り組んでいる。

　セキュリティやコンプライアンスなど、金融業界ならではの厳格な制約がありながら、AI活用を段階的に進め、コールセンターも業務効率化を実現している。具体的には、FAQをベースにした問い合わせとマーケット情報を案内するボイスボット「AIオペレーター」を構築。顧客対応への生成AI活用は、「誤回答」「情報漏洩」「勧誘行為・倫理違反」といったリスクをどう制御するかが大きな壁となる。大和証券では、Azure標準のフィルタリング機能のほか、プロンプトによる出力制御を加えた“二重のガードレール”を設定。また、全件を自動でモニタリングするAIツールを導入し、AIツールでフラグが立った応答をAI担当者が目視でチェックする体制で運用。複数のチェック体制を重層的に整備することで安全性の確保に努めている。

＜記事全文は「月刊コールセンタージャパン」をご購入、ご購読ください＞