Tweet

Pocket

見極める力を養う「チャットボットの精度」

ChatGPTをはじめ、チャットボットの精度は人が書いたものかどうかわからない程までの水準になっています。

The most recent generation of chatbots has surfaced longstanding concerns about the growing sophistication and accessibility of artificial intelligence.

参照元：https://blog.seas.upenn.edu/real-or-fake-text-we-can-learn-to-spot-the-difference/
– ペンシルバニア大学工学部・応用科学部 University of Pennsylvania School of Engineering and Applied Science. February 27, 2023 –

最新世代のチャットボットは、人工知能の高度化とアクセシビリティの向上に関する長年の懸念を表面化させている。

創造経済から経営者層まで、雇用市場の完全性に関する懸念は、教育者がChatGPTをきっかけに学習を見直す中で、教室にも広がっている。

しかし、雇用や学校に関する懸念が見出しを飾っている一方で、ChatGPTのような大規模な言語モデルの影響は、私たちの生活のほぼ隅々にまで及んでいるというのが実情です。

これらの新しいツールは、社会的偏見の強化、詐欺や個人情報窃盗、フェイクニュースの生成、誤った情報の拡散など、人工知能の役割について社会全体に懸念を抱かせるものです。

ペンシルバニア大学工学部応用科学科の研究チームは、これらのリスクを軽減するために、技術ユーザーの能力を高めようとしています。

人工知能学会（Association for the Advancement of Artificial Intelligence）の2023年2月の会合で発表された査読付き論文で、人は機械が生成したテキストと人が書いたテキストの違いを見分けることを学習できることを実証しています。

レシピを選んだり、記事を共有したり、クレジットカードの詳細を入力したりする前に、情報源の信頼性を見分けるための手順があることを知っておくことは重要です。

コンピュータ情報科学科（CIS）の准教授であるクリス・カリソン＝バーチ氏が、CISの博士課程の学生であるリアム・ドゥーガン氏とダフネ・イポリト氏とともに主導したこの研究は、AIが生成したテキストが検出可能であるという証拠を示しています。

バーチ氏：我々は、人々が機械で生成されたテキストを認識するために自分自身を訓練することができることを示しました。機械がどのような誤りを犯すかについて、人はある種の仮定から始めますが、その仮定は必ずしも正しいとは限りません。十分な例と明確な指示があれば、時間をかけて、現在機械が犯しているエラーの種類を拾い上げることができるようになります。

ドゥーガン氏：今日のAIは、非常に流暢で、非常に文法的なテキストを生成することに驚くほど優れています。しかし、間違いも犯すのです。例えば、常識的なエラー、関連性のエラー、推論エラー、論理的エラーなど、機械が独特のタイプのエラーを起こすことを証明し、それを発見する方法を学ぶことができます。

この研究では、ウェブベースのオリジナルトレーニングゲーム「Real or Fake Text?」を使用して収集したデータを使用しています。

このトレーニングゲームは、検出研究の標準的な実験手法を、人々がAIを使ってテキストを生成する様子をより正確に再現するものに変えている点が注目されます。

標準的な方法では、参加者は与えられたテキストを機械が生成したかどうかをYESかNOで示すように要求されます。

このタスクは、単にテキストを本物か偽物かに分類するもので、回答は正解か不正解かで採点される。

ペンのモデルは、最初はすべて人間が書いた文章である例を示すことで、標準的な検出研究を効果的な訓練課題として大幅に改良したものである。

各例は、その後、生成されたテキストに移行し、この移行がどこから始まると思うかを被験者にマークしてもらう。

受講者は、誤りを示すテキストの特徴を特定し、それを記述してスコアを得ます。

その結果、受講者は偶然の一致を大きく上回るスコアを獲得し、AIが作成したテキストはある程度検出可能であることを証明することができました。

ドゥーガン氏：私たちの方法は、タスクをゲーム化してより魅力的にするだけでなく、より現実的なコンテキストをトレーニングに提供します。ChatGPTで生成されるようなテキストは、人間が提供するプロンプトから始まります。

この研究は、現在の人工知能についてだけでなく、この技術と私たちとの関係について、心強く、刺激的でさえある未来について概説しています。

ドゥーガン氏：5年前、モデルたちは話題から離れず、流暢な文章を書くことができませんでした。現在では、文法のミスはほとんどありません。私たちの研究は、AIチャットボットに特徴的なエラーを特定していますが、これらのエラーは進化しており、今後も進化し続けることを念頭に置いておくことが重要です。懸念すべきは、AIが書いた文章が検出できない、というシフトではありません。人々が違いを認識するための訓練を続け、補完的に検出ソフトウェアと連携する必要があるということです。

バーチ氏：人々がAIに不安を抱くのには正当な理由があります。私たちの研究は、こうした不安を和らげるための根拠となるポイントを示しています。AIテキストジェネレータに対する楽観的な見方を活かすことができれば、これらのツールが、より想像力に富んだ、より興味深い文章を書くことを助ける能力に注意を向けることができるようになるでしょう。

ペンシルバニア大学の研究の共同リーダーであり、現在GoogleのリサーチサイエンティストであるIppolitoは、Duganの検出への焦点を、これらのツールの最も効果的な使用例を探るという彼女の研究の重点で補完している。

例えば、彼女は、出版されている作家と共同で開発したAI創作ツール「Wordcraft」に貢献しています。

作家や研究者の誰も、AIが小説家の代わりとして説得力があるとは思わなかったが、創作プロセスをサポートする能力に大きな価値を見いだしたのだ。

バーチ氏：現時点での私の感覚では、これらのテクノロジーは創作活動に最も適していると思います。ニュースや論文、法律相談などは、事実関係が保証されないので、使えないケースです。

ドゥーガン氏：この技術には、刺激的で前向きな方向性がある」と言う。「人々は、盗作やフェイクニュースのような心配な例に固執していますが、私たちは、より良い読み手と書き手になるために自分自身を訓練することができることを知っているのです。

Tweet

Pocket