Tweet

Pocket

身振り手振りを交えたスピーチは、聞き手にこんな影響を与えてしまう

マックスプランク心理言語学研究所の研究チームは、人々が話しを聞く際に身振り手振りがどの程度内容に依存するか調査しました。「手動マガーク効果」と称されるその減少は、聞く人の母音に影響を与え、騒々しい場所などでは更に影響を与える可能性があります。

Listeners were more likely to hear stress on a syllable if there was a beat gesture on that syllable. This ‘manual McGurk effect’ occurred for both words and non-words (“BAAGpif” or “baagPIF”?). Even more surprisingly, beat gestures influenced what vowel people heard (long or short ‘a’ in ‘baagpif / bagpif’), as vowel length is typically associated with the stress pattern of a word.

参照元：https://www.mpi.nl/news/what-we-see-shapes-what-we-hear
– マックスプランク心理言語学研究所 Max Planck Institute for Psycholinguistics. 27 January 2021 –

政治家が聴衆に話しかけるとき、彼らは通常、たとえば手を上下に動かすことによって、ビートジェスチャーで重要な単語を強調します。

実際、私たちは皆それをしているようです。

そのような「手のフリック」は、日常会話で最も一般的なジェスチャーの1つです。

人々はこれらのジェスチャーをスピーチの目立つ単語に非常に正確に合わせます。

しかし、ビートジェスチャはリスナーが話者を理解するのに役立ちますか？

Hans Rutger Bosker氏（マックスプランク心理言語学研究所およびRadboud大学）とDavid Peeters氏（ティルブルフ大学）は、私たちが見ているものが私たちが聞いているものを形作るかどうかをテストしました。

ボスカー氏は説明します。

「対面でのコミュニケーションでは、言語は単なるスピーチ以上のものを伴います。話者はさまざまなチャネル（口、手、顔）を利用してメッセージを伝えます。リスナーが誰かの話を聞いているときに、これらのさまざまな情報の流れをどのように利用しているかを理解したいと思います。」

「マガーク効果」と呼ばれるよく知られた錯覚では、人々は唇の動きに応じて、音（「ba」の「b」など）を別の音（たとえば「pa」または「fa」）として聞きます。

しかし、手動のマガーク効果もありますか？

私たちが聞くものは、私たちが見るジェスチャーに依存しますか？

この質問を調査するために、研究者たちは、強勢パターンのみが異なるオランダ語のセットを選択しました。

たとえば、最初の音節に重点を置いた「PLAto」という単語は、古代ギリシャの哲学者を指します。

ただし、2番目の音節に強勢を付け​​て発音される「plaTO」は、プラトンを指します。

参加者は、ビートジェスチャ（「今、私は言葉を言う…プラトン」）をしながら、ボスカーが（曖昧なストレスで）言葉を生み出すビデオを見ました。

次に、参加者は、聞いた単語（PLAtoまたはplaTEAU？）を決定する必要がありました。

ビートジェスチャが最初の音節で発生したのか、2番目の音節で発生したのかは重要ですか？

その音節にビートジェスチャがあった場合、リスナーはその音節にストレスを聞く可能性が高くなりました。

この「手動マガーク効果」は、単語と非単語の両方で発生しました（「BAAGpif」または「baagPIF」）。

さらに驚くべきことに、母音の長さは通常、単語の強勢パターンに関連付けられているため、ビートジェスチャは母音の人々が聞くもの（「baagpif / bagpif」の長いまたは短い「a」）に影響を与えました。

ボスカー氏は話します。

「リスナーは耳だけでなく目でも耳を傾けます。これらの調査結果は、ビートジェスチャがどのスピーチサウンドに影響を与えるかを最初に示したものです。」

ボスカー氏とピーターズ氏は、スピーチが実験室よりもはっきりしない場合、ビートジェスチャの効果は実際の生活ではさらに大きくなる可能性があると考えています。

騒がしいリスニング状態では、コミュニケーションを成功させるために視覚的なビートジェスチャがさらに重要になる場合があります。

ボスカー氏は話します

「私たちの調査結果は、人間とコンピューターの相互作用を豊かにし、マルチモーダル音声認識システムを改善する可能性もあります。そのようなシステムは、音声だけでなく、それ以上のものを考慮に入れるべきであることは明らかです。」

「バーチャルリアリティを使用して、これらの効果がどれほど具体的であるかをテストすることで、研究をフォローアップします。これらの効果は、ビートジェスチャのみによって引き起こされるのでしょうか、それとも頭のうなずきや眉の動きなどの他のタイプのコミュニケーションの手がかりによって引き起こされるのでしょうか。」

Tweet

Pocket