Q.252安全・プライバシー・著作権

プロンプトインジェクションとは?

公開日  運営:ChatGPTの疑問100運営事務局

プロンプトインジェクションとは、AIが読むWebページ・文書・メールなどに悪意のある指示を紛れ込ませ、AIに意図しない操作をさせる攻撃です。ChatGPTがWebを閲覧したり、メールやファイルにアクセスしたりする機能(エージェントや連携)を使うときに特に注意が必要です。

プロンプトインジェクションの仕組み 1 依頼 「このページを 要約して」 2 読み込み ページに隠し 命令が入っている 3 乗っ取り AIがその命令に 従ってしまう 4 被害 情報の持ち出し・ 勝手な操作 5 対策 権限を絞る・ 確認してから実行
プロンプトインジェクションの仕組み

どんな被害が考えられる?

  • 連携したメールやファイルの内容を、外部に送らされる
  • 意図しない購入や送信などの操作をさせられる
  • 間違った情報を、正しいかのように答えさせられる

利用者ができる対策

  1. 連携は必要なものだけ:使わない接続(メール・ドライブなど)は外す(連携の管理)
  2. 重要な操作は確認する:送信・購入・削除などは、実行前の確認画面をよく読む
  3. 怪しいサイトを読ませない:エージェントに見せるサイトを絞る(エージェントの使い方)
  4. 強い保護を使う:攻撃の標的になりやすい人はLockdown Modeを検討

開発者が自分のアプリにAIを組み込む場合も、外部から取り込んだ文章を「指示」として扱わない設計が大切です(安全なコード)。

↑