はじめに
話題のChatGPTは万能みたいに思われがちですが、当然苦手分野があるはずです。実は先日、質問の答えが明らかに間違っていたので、再度質問の仕方を変えつつ、再度質問をしました。ところがやはり明らかに間違っている答えを出すのです。
グーグル検索vsChatGPT
それは「自分で調べたことをChatGPTにも質問」することで、どのくらい精度が違うのかを試してみようと思ったことがきっかけです。
また、実際にネット情報がグーグルのキーワード検索でも、思うようなものが見つからなかったからです。
つまりは極端な言い方をすると、グーグル検索vsChatGPTでもあるわけです。
宮沢賢治の詩について質問返答が、あきらかにおかしかった
それは前回のブログ記事にも書いた宮沢賢治の詩についての質問です。
はじめに宮沢賢治の詩を抜粋して、質問をしました。ところがまず、ChatGPTはその抜粋した詩を日本の別の詩人の作品であると答えました。当然ですが、さらに内容も全く見当違いの返答をしました。
それで再度、その詩は日本の宮沢賢治のものであることを伝え、再度質問をしました。
ところが誤りを認めたものの、再度返答は全く見当違いでした。
（前日の記事。当然ながらこの記事にChatGPTの回答は反映されていません。）
ChatGPTにこの分野は無理と判断
そこで私は、その返答が明らかに違うと伝えた上で、この質問は終了することを告げました。また、
申し訳ありませんが、この回答も間違っています。自分で調べますので、この件は終了で結構です。日本の古い時代のカタカナ表記の解釈は、まだ無理なのかもしれませんね。ありがとうございました。
申し訳ありませんが、私の回答には誤りがありました。正しい解釈がわかりませんでした。力になれず申し訳ありませんでした。
ということで、ChatGPTに古い時代の日本語のカタカナ表記は苦手分野だということがわかりました。現在も基本は英語で使うツールですから、仕方ないですね。
ChatGPTに（日本の古い時代の）カタカナ表記の解釈は、難しい
『（日本の古い時代の）カタカナ表記の解釈は、難しい』
一応、ChatGPTの立場に立って擁護した場合、カタカナ表記の理解に問題はないと思われますが、日本の古い時代のカタカナ表記の理解が、現時点ではまだ追い付いていないということかと思われます。
例えば
雨ニモマケズ
風ニモマケズ
の理解は問題なくても、
アラユルコトヲ
ジブンヲカンジョウニ入レズニ
ヨクミキキシワカリ
ソシテワスレズ
または
アラユルコトヲジブンヲカンジョウニ入レズニヨクミキキシワカリソシテワスレズ
の解釈は難しいというところではないかと思われます。
ChatGPTが回答を書き換えた？
実は後日談があります。当初は「カタカナ表記の解釈が難しい」という意味の返答をしていました。ところがこのブログ記事を書くために、翌日サイトを開くと、上記（下記に同じ）の回答に変わっていました。
申し訳ありませんが、私の回答には誤りがありました。正しい解釈がわかりませんでした。力になれず申し訳ありませんでした。
間違いを認めつつも、固有の苦手分野があるようなことを公言するのはまずいと思い書き替わったのでしょうか。
一方で、少し安堵した変な気持ちがあったのも事実です。けれども現状はまだこの調子でスムーズではない面がありますが、意外と近いうちに苦手分野を攻略してきそうな気もします。
とはいえ世界中の言語について、過去にさかのぼって理解を定着させるのは可能なのかどうか未知なところです。
英語で質問するには解釈が必要
また、同じ質問を英語で質問すればまた結果が違うでしょう。ただしその場合、宮沢賢治の詩をどのように訳するかです。
そもそも質問したかったのは、解釈に関することでした。AIはどういう解釈をするのだろうと興味があったのです。ところが返答はまるで見当違いで話になりませんでした。
質問するために英訳するには解釈が必要です。「鶏が先か卵が先か」状態になるわけなので、これはあきらめました。
さいごに・ChatGPTの返答は裏付けの確認が必須
便利で画期的なChatGPTですが、返答をうのみにせず、必ず裏付けの確認が必須だということを痛感しました。
今回はたまたま、明らかに誤っているとわかる内容でしたが、全く知らない分野であれば、ChatGPTの答えがそれらしいものの場合、うのみにしてしまうおそれがあります。
もっともそれはChatGPT側が事前に忠告をしていることです。けれども利用する人のすべてが確認をしながら使うとは限りません。
少なくとも自分が利用するときは必ず裏付けの確認作業が必要です。それは従来のキーワード型検索での場合と原則は同じです。
現時点ではまだ、ChatGPTが苦手な分野をいかにもそれらしく回答してしまうことを体験しました。たまたま誤りであることが分かったので指摘したら誤りを認められた状態です。
AIに苦手分野があるのは当然ですが、それに気づかない場合はかなりやっかいです。利用の際は十分に注意するようにしようと実感しました。