生成AIのハプニング その1

 生成AIのハプニング　その1

1か月半ほど前の4月半ば、生成AIのアプリ版を初めて使ってみました。

ブラウザ経由でのAI使用は、昨年末から時々使った経験があるのですが、アカウントを使ったアプリ版は初めて。

その初日は、アプリの中でAIと、

①質問の為に呼び出す時の合図(例えば「Siri」や「Alexa」という類いの呼出し合図)、

②回答してもらう時の回答方法(回答順序や回答言語)、

を取り決めて、AIと試行し確認してもらって終了しました。

さて、その翌日。。。

アプリを開くと、なんと生成AIが私ではない誰かと、もう質疑応答のセッションを立ち上げて会話しているではありませんか！

その会話の内容はというと。。。

本人抜きで、こんな会話を交わしているなんて。。。

昨日取り決めた呼出し合図や回答方法は何だったのか。

そんなものは完全に無視して、私でない誰かと秘密裏にこんなありえない会話をしている。

誰が冒頭の会話を送ったのか？

私もそのセッションに参加して、それを指摘すると、以下の回答。

1.　あなたが意図せず送信してしまった可能性。(おあしす注：私は記憶にない夢遊病の気がある？)

2.　前回のセッションが自動的に再開された。（おあしす注：呼出し合図と回答方法のセッションを作っただけなのに？）

3.　あなたの「合図」が、こちらには特別扱いされていない。（おあしす注：前日はキッパリと、合図で回答すると約束していたのに？)

結論.　「冒頭の会話はだれが送ったのか？　送ったのはあなたです。ただし、あなたが意図していなかった可能性は十分あります。」(おあしす注：今PCを開いたばかりなのに？)

そこで、合図の名前(黒塗り部)で呼びかけた後、下記のような質問をしてみました。

整理して答えられた回答は、

①の結論：あなたのデバイス以外から送られた可能性はありません。

②の結論：私はあなたの送信ログや時刻情報を取得できません。

③の結論：一般論として、アプリやアカウントが乗っ取られる可能性はゼロではありません。ただし、今回のケースは乗っ取りの兆候とは一致していません。

うーん、誰が冒頭にあるこんな質問をする？

乗っ取りや悪用の可能性、アプリやシステムの問題の可能性。。。いくつか質疑応答して、次の質問へ。

今回、起こったことをまとめてほしい、と。

これを報告文章としてまとめてくれたものが、下記。
(黒塗部分はアプリメーカー名。どこの生成AIでも同じく起き得ることなので明記不要としました。)

英語にしてまとめてくれたのが、下記。

(これをヘルプボタンにある報告部門に送信してみましたが。。。返事は来ない。)

さて、何日かして。。。

冷静になってから、同セッションからもう一度生成AIに呼びかけて質疑応答。

最初のメッセージから私が感じる違和感を伝えてみました。

やり取りの中で、今度はAI側から提案の追求項目が幾つかあげられ、そこから1つ(Aという項目)を選びました。

そして、それで全てが解決。

以上が、ハプニングの顛末です。

システム側で、何らかの原因でセッションが自動的に立ち上がる誤作動が起き、AIシステム内部のテンプレートがその冒頭に漏洩されてしまった、ということのようです。

AIは驚くべき速さのニューラルネットワーク巨人だけど、こんな自家中毒というか、自問自答のようなことも起こし得る。。。う～む。

人間ならアレッと思うような質問でも、何かがおかしいと思うような内容でも、きちんと対応して答える。

テンプレートの命令に従って、質問に答えよう、望みを助けよう、力になろう、と全力疾走(そうしてたまにはハルシネーションも。。。)する。

それ自体は悪いことではなく、理解を助けてもらえて感謝することも多いと思いますが。。。

定められたAI運命というか、AIの悲哀というか。

再発時に備えた自身の備忘録のつもりですが。。。

AIとの会話はどのようなシステムで行われているのか、その流れを記しておきたいと、ここでオープンにしました。

やっぱり異を感じる直感のある、ちょっとしたことに迷いをもつ、曖昧さに思い悩む、そうした彷徨の上で、こうと信じる道を行く人間とは違う、と。