生成AIのリスク、これからとこれまで ── AIで新しく気をつけることと、前から大事だったことを整理
「生成AIはリスクがあると聞くので、まだ様子を見ている」。そう考えているなら、一度そのリスクの中身を分けてみてください。
「生成AIのリスク」と一口に言われるものには、2種類が混ざっています。AIで新しく気をつけること(これから)と、前から大事だったこと(これまで)です。分けて並べると、新しく決めることはそれほど多くなく、残りは今ある守り方で足ります。
IPAも「AIの利用をめぐるサイバーリスク」を挙げている
IPA(情報処理推進機構)の「情報セキュリティ10大脅威 2026」組織編では、「AIの利用をめぐるサイバーリスク」が3位に初めて入りました。IPAは中身として、次のようなものを挙げています。AIへの理解が足りないことによる情報漏えいや他者の権利侵害、AIの生成結果を検証せず鵜呑みにすることによる問題、AIの悪用による攻撃の容易化・巧妙化です。
順位だけを見ると身構えてしまいますが、それぞれに打ち手があります。順に見ていきます。
これから気をつけること、生成AIのリスクと対策
AIで新しく気をつけることは、次の5つにまとまります。
| これから気をつけること | 何が起きるか | 打ち手 |
|---|---|---|
| 入力が学習に使われる | 無料版・個人プランの多くは、入れた内容が初期設定のままだと学習に使われる | 会社が契約する法人向けプランで使う。個人プランを使うなら、学習に使う設定があるか確かめてオフにする。設定がないサービスには、業務の情報を入れない(生成AIを学習させない設定はどこにある?) |
| もっともらしい誤り(ハルシネーション) | 実在しない情報を、自然な文章で答えることがある | 社外に出すもの・判断に使うものは、人が確認する工程を残す。出典を出させて元を確かめる |
| 他者の権利に触れる | 生成した文章や画像が、他者の著作物などに似てしまうことがある | 社外に出すもの(広告・資料・Webサイト)は、使う前に確認する |
| 読ませた文書に仕込まれた指示 | AIに読ませたメールやWebページに、AIへの指示が紛れ込んでいることがある(間接プロンプトインジェクション) | AIにつなぐ範囲を必要な分だけにする。送信や削除は人が押す(1本目の記事の「④注入」「⑤権限」) |
| 攻撃者がAIを使う | フィッシングメールや偽の連絡の文面が自然になる | 送金や振込先の変更の依頼は、メール以外の経路で確かめる |
どれも「AIを使わない」ではなく、「どこで人が確認するか」「どこまでつなぐか」を決めれば管理できるものです。
専門家が使う一覧で見ても、使う側が決めることは同じ
AIを組み込んだシステムのセキュリティを見るとき、私たちが参照する一覧の1つに「OWASP Top 10 for LLM Applications」があります。OWASPは、Webやアプリのセキュリティに取り組む国際的なコミュニティです。2026年8月に出た最新版は、AIのシステムを作る開発者やセキュリティの担当者に向けた10項目で、多くは開発の話です。
ただ、使う側の会社に関係する項目もあります。1位のプロンプトインジェクション、2位の機密情報の漏えい、3位の過剰な自律性(AIに与えた権限が大きすぎること)、7位の誤情報です。どれも上の表で挙げたものです。ISACA(ITガバナンスや監査の国際団体)も2026年5月に、専門家3,400人超への調査を発表しています。AIのリスクとして最も多く挙がったのは、誤情報・偽情報(82%)でした。
特に3位は、前の版の6位から上がっています。モデルそのものの欠陥ではなく、AIに何をさせるかという、人間側の設計の問題です。OWASPが挙げる対策も、AIが使える道具を必要な分だけにし、影響の大きい操作には人の承認を求めるものでした(1本目の記事で書いた「⑤権限」と同じ話です)。使う側の中小企業が決めることも同じで、AIに何をさせるか、どこで人が確かめるかです。
これまでも大事だったこと、AIで目立っただけのリスク
一方で、「生成AIの危険性」としてよく挙がる話の多くは、これまでも大事だったことです。検索窓に打った内容、デスクトップに貼ったメモ、共有ドライブのリンクと同じ話で、守り方もすでにあります。1本目の記事では、情報漏えいの経路の多くが、AIの前からある型だと書きました。漏えい以外の話まで広げても、この傾向は変わりません。
| 生成AIで気になること | これまでの同じ話 | すでにある守り方 |
|---|---|---|
| 会話に入れた内容 | 検索窓やメールの下書きに打った内容 | 入れる前に、社名や個人名を置き換える |
| 会話の履歴・メモリ | 検索履歴、デスクトップのメモ | 不要なものは消す。共用のPCでは残さない(ChatGPTのメモリは「設定」→「パーソナライズ」→「メモリ」でオフ・削除できる) |
| ログイン・アカウント | メールやクラウドのパスワードの使い回し | 長く複雑なパスワードと多要素認証 |
| 共有リンク | クラウドの「リンクを知っている全員」 | 共有の範囲を必要な人に限定する(1本目の記事の「②共有」) |
| 画面ののぞき見 | 離席中のパソコン、カフェでの作業 | 離席時は画面をロックする |
| 入れる先の間違い | メールの宛先の送信ミス | 送る前に宛先(入れる先)を確かめる |
| 私物アカウントでの利用(シャドーAI) | 私物のスマホやクラウドの業務利用 | 業務で使ってよいものを決め、会社が契約する法人向けプランを用意する |
右の列の守り方は、IPAの「5分でできる!情報セキュリティ自社診断」の項目と同じです。パスワード、共有設定、離席時ののぞき見、宛先の送信ミス、個人所有の機器の業務利用が、それぞれ診断の項目にあります。この自社診断は、IPAの「中小企業の情報セキュリティ対策ガイドライン 第4.0版」に収められたものです。
私物アカウントでの利用(シャドーAI)は、IPAも10大脅威の3位のリスクの1つに挙げています。ただ、問題の形は、私物の機器やクラウドを業務で使うときと変わりません。
導入を機に、これまでのリスクも点検する
生成AIを入れるときは、どのサービスを、どの設定で、誰が使うかを決めます。そのついでに、上の「これまで」の表も一緒に見直すのがおすすめです。
IPAの「5分でできる!情報セキュリティ自社診断」は25問で、パスワードや共有設定、画面のロックといった基本を一通り確かめられます。AIの設定を決める日に、この自社診断も1回やってみる。それだけで、これまで見ていなかった穴が見つかることがあります。
企業として進めるなら
整理すると、企業として決めることは次のとおりです。
- これからの分は、新しく決める。 人が確認する工程、AIにつなぐ範囲、社外に出すものの確認の3つ
- これまでの分は、今ある対策を見直す。 パスワード、共有設定、画面ロック、私物の機器の扱い
使い始める前に決めておく3つ(入れてよい情報、使うサービスと設定、迷ったときの聞き先)は、中小企業の生成AI導入は、セキュリティを先に決めたほうがうまくいくで整理しています。
新しく気をつけることは表の5つで、残りは、前から必要だった対策で守れる範囲です。導入は、その両方を一度に見直すよい機会になります。
参考文献
公開情報(2026年10月3日・10月8日取得)。
- IPA: 情報セキュリティ10大脅威 2026(プレス発表・2026年1月29日)
- IPA: 情報セキュリティ10大脅威 2026 解説書[組織編](2026年3月)
- IPA: 中小企業の情報セキュリティ対策ガイドライン 第4.0版
- IPA: 5分でできる!情報セキュリティ自社診断(ガイドライン第4.0版 付録3)
- OWASP: Top 10 for LLM Applications 2026
- ISACA: AI Use Accelerates While Governance and ROI Lag, Says New ISACA Research(2026年5月5日)
- OpenAI: メモリに関する FAQ