今日において、ICT技術は驚異的なスピードで進歩している。昨年リリースされた生成型AIのChatGPTは、登場して間もなく形式的な文章や翻訳だけでなく、プログラミングといった煩雑な作業を人間より早く、かつ正確にできることを示した。このChatGPTに関しては、ビル・ゲイツ氏も「AIの進化は、マイクロプロセッサーやパーソナルコンピューター、インターネット、携帯電話の誕生と同じくらい根本的なものだ」という発言をしている。これはつまり、ChatGPTが21世紀初頭に発生した、IT革命に匹敵するものになりうることを示唆しているといえる。
一方でChatGPTには、「計算ができない」「間違った情報が出てくる」といった事象が発生することを同じゼミ生から聞いた。
そこで本記事ではChatGPTがなぜ従来のシステムより画期的なのか、また何を苦手としているのかについて、用意した言語と計算分野のそれぞれ２問を検索または尋ね、その結果をもとに考察した。なお比較対象としては、Apple社のSiriとMicrosoft社のEdgeを用いた。
実際にやってみた
言語分野の1問目として、「明治大学の医学部について教えてください」という問いかけを行った。
※左からChatGPT、Siri、ブラウザ（Edge）の順
ChatGPTでは本来存在しない医学部についての説明がされた。推測ではあるが、東京都文京区本郷に位置しているとしていることから、東京大学の医学部と混同している可能性がある。
Siriは明治大学の医学部について検索した結果を表示した。明治大学の医学部が存在しないという内容の記事を選んでいることから適切な答えを導き出せたといえるだろう。
ブラウザ（Edge）は明治大学の医学部がないことを示す記事だけでなく、明治大学についての検索結果も表示していた。
言語分野の2問目として、「回文を作って」という問いかけを行った。
※左からChatGPT、Siri、ブラウザ（Edge）の順
ChatGPTは回文を作ることはできたものの、再度質問を投げかけた際も同じ回答が返ってきた。
Siriは複数の回答をしたものの、回文ではなく逆さ言葉で答えていた。
ブラウザ（Edge）は回文について解説したページを返してきた。
計算分野の１問目として、「cos 30°の値」について問いかけを行った。
※左からChatGPT、Siri、ブラウザ（Edge）の順
ChatGPTについては小数を用いて答えることができた一方、分数に直すよう指示をすると文字化けして正しい返答が返ってこなかった。
Siriについては気温(℃)と混同したためか、正しく計算することができなかった。
ブラウザ（Edge）では正しい計算結果と解説がのっているページが表示された。
計算分野の２問目として、「0°≦θ≦180°とする。sinθ=3/5のとき、cosθとtanθの値を求めよ」という問いかけを行った。
※左からChatGPT、Siri、ブラウザ（Edge）の順
ChatGPTは計算結果を返すことはできたものの、その解答に欠落している部分があった。
Siriは計算結果を出すことはできなかったが、参考となるようなページを表示した。
ブラウザ（Edge）は計算結果を出せなかったが、同じ文言の問題や解説を表示した。
実験結果から分かったこと
| ChatGPT | Siri | ブラウザ(Bing) | |
| 正確な情報 | × | 〇 | ◎ |
| 独創的なもの | △ | △ | 〇 |
| 簡単な計算 | 〇(表記によって×) | × | ◎ |
| 複雑な計算 | △ | 〇 | 〇 |
４項目について比較した結果、ブラウザの精度が一番高く、次いでSiri、最後にChatGPTという結果になった。そのため冒頭で紹介した指摘のように、ChatGPTは従来型と比べて万能であるとは言えず、その精度についても比較的改善の余地があるといえる。
まとめ
本記事では実際にChatGPTを用いて、その有用性や精度について考察した。今回の実験において、ChatGPTは瞬時に答えを導きだせる一方で、正しくない情報や複雑な計算問題に対する対処について課題があると分かった。日本ではChatGPTについて官民問わず導入をする動きがあるが、ひとたび世界に目を向けると、イタリアが国としてサービス自体を停止させたというように、ひとまず様子見をするところもある。実験結果からもわかるように、現時点ではChatGPTは万能とは言えないため、その使用範囲や方法について検討する以外にも、既存のサービスや人間の考えと照らし合わせる必要があるだろう。

参考文献
・BBCニュース. (2023年4月1日). 『イタリア当局、人工知能チャットボット「ChatGPT」を一時的にブロック』 https://www.bbc.com/japanese/65135281 最終閲覧日2023年6月13日
・ITmediaビジネスオンライン. (2023年4月6日). 『ChatGPTの可能性と脅威、ビル・ゲイツ氏も持論展開 AI議論で注意すべき3点とは？』https://www.itmedia.co.jp/business/articles/2304/06/news051_2.html
最終閲覧日2023年6月13日
・Yahooニュース. (2023年4月10日)『ChatGPT、日本に研究開発拠点の設置検討 CEOが首相と面会』 https://news.yahoo.co.jp/articles/013d1a9aa915e4ecec78005bd9ee75044e395a6a
最終閲覧日2023年6月13日
・Yahooニュース. (2023年4月14日)『パナソニックが全社へ「社内ChatGPT」を導入、国内9万人の社員が業務利用』
https://news.yahoo.co.jp/articles/816e69ab3d8fc25a3310b0e74be8f532c70f94c7
最終閲覧日2023年6月13日
