近くの人間の表情に反応する「表情豊かな顔を持つ自律型ロボット「EVA」」

近くにいる人間の表情に合わせて反応する、柔らかく表情豊かな顔を持つ新しい自律型ロボット「EVA」の設計図がHardware-X（2021年4月）でオープンソース化されています。

For example, robots capable of responding to a wide variety of human body language would be useful in workplaces, hospitals, schools, and homes.

参照元：https://www.engineering.columbia.edu/press-release/the-robot-smiled-back
– コロンビア大学工学 Columbia University.

人間の表情は信頼関係の構築に大きな役割を果たしているが、ほとんどのロボットはいまだにプロのポーカープレイヤーのような無表情で静的な顔をしています。

老人ホームや倉庫、工場など、ロボットと人間が密接に連携しなければならない場所でのロボットの使用が増えていることから、より反応がよく、顔がリアルなロボットの必要性が高まっています。

以前からロボットと人間の相互作用に興味を持っていたコロンビア工科大学のCreative Machines Labの研究者たちは、近くにいる人間の表情に合わせて反応する、柔らかく表情豊かな顔を持つ新しい自律型ロボット「EVA」の開発に5年前から取り組んできました。

この研究は、2021年5月30日に開催されるICRA会議で発表される予定で、ロボットの設計図はHardware-X（2021年4月）でオープンソース化されています。

James and Sally Scapa Professor of Innovation（機械工学）およびCreative Machines LabのディレクターであるHod Lipson氏は話します。

「EVAのアイデアは、数年前に私と学生が、研究室のロボットがプラスチックのギョロ目で私たちを見つめ返していることに気付き始めたことがきっかけでした。」

Lipson氏は、食料品店でも同様の傾向を観察しました。

名札をつけた補充ロボットや、手編みの心地よい帽子をかぶったロボットに出会いました。

Lipson氏は話します。

「人々は、同僚のロボットに目やアイデンティティ、名前を与えることで、彼らを人間らしくしているようでした。”目や服がうまくいくのであれば、表情豊かで反応の良い人間の顔を持つロボットを作ればいいのではないかと考えたのです。」

簡単なことのように聞こえますが、ロボットの顔に説得力を持たせることは、ロボット研究者にとって手ごわい課題でした。

何十年もの間、ロボットの体の一部は金属や硬いプラスチックで作られてきました。

これらの素材は硬すぎて、人間の組織のように流れたり動いたりすることができませんでした。

ロボットのハードウェアも同様に、回路、センサー、モーターなどが重く、電力を必要とし、かさばるため、扱いが難しいものでした。

Lipson氏の研究室では、数年前に学部生のザンワー・ファラージがチームを率いて、ロボットの物理的な「機械」を作ったことからプロジェクトの第1段階が始まりました。

彼らはEVAを、ブルーマン・グループの無言で顔を動かすパフォーマーに酷似した、体のない胸像として作り上げました。

EVAは、人間の顔の皮膚や骨についている42個以上の小さな筋肉の動きを模倣した人工的な「筋肉」（ケーブルやモーター）を使って、「怒り」「嫌悪」「恐怖」「喜び」「悲しみ」「驚き」の6つの基本的な感情と、より微妙な感情を表現することができます。

ファラジ氏は話します。

「EVAを作る上での最大の課題は、人間の頭蓋骨の中に収まるようなコンパクトなサイズでありながら、さまざまな表情を作り出せるような機能を備えたシステムを設計することでした。」

この課題を克服するために、チームは3Dプリンティングを駆使して、EVAの頭蓋骨とシームレスかつ効率的に一体化した複雑な形状のパーツを製造しました。

何週間もかけてケーブルを引き、EVAに笑顔やしかめっ面、動揺した表情をさせた後、チームはEVAの青い顔が研究室の仲間から感情的な反応を引き出すことに気づきました。

Lipson氏は話します。

「ある日、私が仕事をしていると、EVAが突然、人懐っこい笑顔を見せてくれました。純粋に機械的なものだとわかっていましたが、気がつくと反射的に微笑み返していました。」

EVAの「仕組み」に満足したチームは、プロジェクトの第2段階として、EVAの顔の動きを誘導する人工知能のプログラミングに着手しました。

本物そっくりのアニマトロニクス・ロボットは、テーマパークや映画スタジオで何年も前から使用されているが、リプソンのチームは2つの技術的進歩を遂げました。

エヴァは、ディープラーニング（深層学習）を用いて、近くにいる人間の顔の表情を読み取り、それを映し出すことができます。

また、人間の様々な表情を模倣するEVAの能力は、自分自身の動画を見て試行錯誤することで身につけています。

人間の活動の中で自動化が最も難しいのは、複雑な社会的環境の中で行われる反復性のない身体的動作です。

Lipson氏の博士課程の学生で、このプロジェクトのソフトウェアフェーズを担当したBoyuan Chen氏は、EVAの顔の動きが複雑すぎて、あらかじめ定義されたルールに従うことができないことにすぐに気づきました。

この課題に取り組むために、Chen氏と2番目の学生チームは、いくつかのDeep Learningニューラルネットワークを使ってEVAの脳を作りました。

このロボットの脳は、2つの機能を習得する必要がありました。

1つ目は、複雑な機械的筋肉のシステムを使って特定の顔の表情を生成すること、2つ目は、人間の顔を「読む」ことでどの顔を作るべきかを知ることです。

EVAに自分の顔がどのように見えるかを教えるために、チェンのチームは、EVAがランダムに顔を作る様子を何時間も撮影しました。

すると、人間が「ズーム」で自分の顔を見るように、EVAの内部ニューラルネットワークは、筋肉の動きと自分の顔の映像を組み合わせて学習していきました。

EVAは、自分の顔がどのように動くかという原始的な感覚（「自己イメージ」と呼ばれる）を持っていたので、2つ目のネットワークを使って、自分の自己イメージとビデオカメラで撮影された人間の顔のイメージを照合しました。

その後、何度も改良を重ねた結果、EVAはカメラに映った人間の顔のジェスチャーを読み取り、その顔の表情を映し出すことができるようになりました。

研究者たちは、EVAは実験室での実験であり、模倣だけでは、人間が顔の表情を使って複雑なコミュニケーションをすることにはまだ程遠いと述べています。

しかし、このような技術は、将来的には実社会でも活用できる可能性があります。

例えば、人間のさまざまなボディランゲージに対応できるロボットがあれば、職場や病院、学校、家庭などで役立つでしょう。

Lipson氏は話します。

「人間がクラウドベースのチャットボットや体のないスマートホーム・スピーカーに感情移入するには限界があります。私たちの脳は、何らかの物理的な存在を認識できるロボットによく反応するようです。」

陳氏は話します。

「ロボットはますます多くの方法で私たちの生活に絡んできており、人間と機械の間に信頼関係を築くことがますます重要になっています。」

ビデオ: https://www.youtube.com/watch?v=STx2HMHJFY8&t=3s

ビデオ： https://www.youtube.com/watch?v=fYURp2OaGn0&t=2s

プロジェクトのウェブサイト： http://www.cs.columbia.edu/~bchen/aiface/