手を使って考える？「脳の身体認知認証がAIに寄与する」

手話を使用して話すことができるーーーということは、手を使って考えることができるかもしれません。

A research group led by Professor Shogo Makioka at the Graduate School of Sustainable System Sciences, Osaka Metropolitan University, wanted to test the idea of embodied cognition.

参照元：https://www.upc-osaka.ac.jp/new-univ/en-research/news/220915/
– 大阪府立大学 Osaka Metropolitan University. 15 Sep. 2022 –

私たちはどのように言葉を理解しているのだろうか？ある言葉が脳に飛び込んでくるとき、何が起こっているのか、科学者たちも完全には理解していません。

大阪府立大学大学院生存圏科学研究科の牧岡省吾教授らの研究グループは、「身体性認知」という考え方を検証しようと考えました。

体性認知とは、人は物との関わり方を通じて、その物の言葉を理解するという考え方です。

そこで研究者たちは、被験者が物との関わり方を制限された状態で、言葉の意味処理を観察するテストを考案しました。

言葉は他の言葉との関係で表現されます。

例えば、「コップ」は「ガラスでできた、飲み物を入れるための容器」ということができます。

しかし、「コップの水を飲むには、手に持って口元に持っていく」「コップを落としたら、床に叩きつける」ということを理解していないと、コップは使えません。

これを理解していないと、本物のコップを扱えるロボットを作るのは難しいでしょう。

人工知能の研究では、このような問題を、記号を実世界にマッピングする「記号接地問題」と呼んでいます。

人間はどのようにして記号のグラウンディングを実現しているのでしょうか。

認知心理学や認知科学では、身体や環境との相互作用を通じてモノに意味を与える「身体化された認知」という概念を提唱している。

体現された認知を検証するために、手で操作できる物体を表す言葉に対して、被験者の手が自由に動かせる場合と、拘束されている場合を比較して、被験者の脳がどのように反応するかを調べる実験を行いました。

牧岡教授は説明します。

牧岡教授：脳の活動を測定・解析する方法を確立するのは、とても大変なことでした。筆頭研究者の大西紗英さんが、十分な精度で脳活動を測定できるような課題を粘り強く考えてくれました。

実験では、画面上に「コップ」と「ほうき」という2つの単語を提示し、被験者にその大きさを比較させました。

「コップ」と「ほうき」の大きさを比較し、どちらが大きいかを口頭で答えてもらいます。

また、「コップ」「ほうき」など手で操作できるものと、「建物」「街灯」など操作できないものの2種類の単語を比較し、それぞれの処理方法を観察しました。

実験では、被験者の両手を机の上に置き、透明なアクリル板で両手を自由に、あるいは拘束しました。

2つの単語が画面に表示されたとき、どちらがより大きな物体を表しているかを答えるために、被験者は両方の物体を思い浮かべてその大きさを比較する必要があり、それぞれの単語の意味を処理することを余儀なくされました。

脳活動は、物理的な制約を受けずに測定できる利点のある機能的近赤外分光法（fNIRS）を用いて測定しました。

測定は、道具に関する意味処理を担う左脳の頭頂間溝と下頭頂小葉（上頸部回、角回）に着目して行われました。

画面上に単語が表示された後、参加者がどれだけ早く回答したかを言語反応速度として測定しました。

その結果、手で操作可能な物体に対する左脳の活動は、手指拘束によって有意に低下することがわかりました。

また、言葉による応答も手の拘束によって影響を受けました。

これらの結果は、手の動きを拘束することが物体-意味の処理に影響を与えることを示し、体現された認知の考えを支持するものです。

これらの結果は、人工知能が物体の意味を学習する際にも、身体化認知の考え方が有効であることを示唆しています。

この論文は『Scientific Reports』に掲載されました。