電通デジタル、世界初となる「Webカメラを利用した
連続的な表情分析システムによるリモートワーカーの メンタルヘルス研究」を産学共同で開始 －メンタルリスクを回避する表情分析AI「INNER FACE™」を開発－

　株式会社電通デジタル（本社：東京都港区　代表取締役社長執行役員：瀧本 恒　以下、電通デジタル）は、リモートワーク中の従業員（リモートワーカー）の表情をAIにより分析する「INNER FACE™（インナーフェイス）※1」を開発し、福島県立医科大学・早稲田大学に在籍する研究者を始めとする心理学・人間科学の4名の研究者と産学共同で、世界初※となる、「リモートワーカーの表情とメンタルヘルスの相関性を観測する」研究を開始しました。
※研究論文検索ツールを用いて「depression」「face」「expression」の検索ワードにて2023年1月6日時点 当社含む研究チーム調べ

　新型コロナウイルス感染症の拡大以降、全世界でうつ病・うつ状態の患者数は倍増傾向※2にあり、同時に浸透したリモートワーク環境においてもメンタルヘルスケアは喫緊の課題となっています。また「従業員のメンタルケアが難しい」と課題を感じている企業は73.3%※3にのぼる調査結果も出ています。オフィスワークでは気がつくことができた些細な従業員の変化に、リモートワーク環境では察知しづらくなっている状況が課題に挙げられます。

　「INNER FACE™」では、リモートワーク中、従業員がパソコンに向かい通常業務をしている状態で、表情分析をするAIによってメンタルヘルス状態をレポーティングし、コンディション管理をサポートすることができます。電通デジタルでは、今後4名の研究者と共同で「INNER FACE™」を活用した実証実験を実施し研究データを蓄積することで、表情分析から異常の予測などメンタルヘルスケア領域での活用を推進します。

＜「INNER FACE™」の概要＞

リモートワークで使用するPC搭載カメラやWebカメラによる表情分析を通じて、リモートワーカーの日々の感情推移を客観的に把握していきます。加えて、メンタルヘルスケアテストを定期的に実施することで、自身のコンディションを的確に把握できるようになります。

「INNER FACE™」公式サイト：https://www.innerface.jp/

＜「INNER FACE™」の特徴＞

1.表情データの取得に加えて、主観気分、抑うつテストを実施

表情データは、face.api※を用いて1秒に1度計測。「エクマン理論※」に基づく基本6感情を取得します。主観気分の自己評価を定期的に実施するとともに、抑うつテストは PHQ-9※を用いて、表情と主観気分、抑うつの相関関係を明らかにしていきます。

※face.api：Microsoft Azureが提供している顔認識ソフトウェアの名称。

※エクマン理論：心理学者ポール・エクマンが提唱した理論。「怒り」「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」の6表情は人類に普遍的な特徴であり、生物学的基盤を持つと結論付けた。

※PHQ-9（Patient Health Questionnaire-9）：9項目の自己記入式抑うつ評価尺度。うつ病の重症度を評価することができる。

＜「INNER FACE™」の使用イメージ＞ 

2.感情の推移を客観的に把握できるパーソナライズレポート

感情の推移を、時間帯や曜日で比較することができ、計測を重ねるほど、自身の感情の変化の傾向を精度高く把握することができます。

3.数値化した表情データのみを活用しプライバシー管理も徹底

映像データは一切取得・保存せず、デスクトップ上で数値化された表情データを利用して分析するため、映像データの漏洩リスクも無くプライバシーに配慮しています。

　電通デジタルでは、デジタルテクノロジーとクリエイティブを活用し、様々な社会課題の解決に取り組む「ソーシャルプロジェクト※4」に取り組んでおり、この度の「INNER FACE™」開発によるプロジェクト始動もその一環となります。今後、リモートワークにおけるメンタルヘルスケアの課題解決に向けた新たな研究結果の発表や「INNER FACE™」の実用化に向けて、プロジェクトを推進します。

　今後も電通デジタルは、AIなど最新のデジタルテクノロジーなどを用いたクリエイティブの創造と新しいサービスの開発・提供を通し、様々な課題解決に貢献してまいります。

＜本研究を共同で行っている研究者からのコメント＞

●福島学院大学　福祉学部福祉心理学科　講師　河村 麻果

　本研究を行うことで、リモートワーカーの作業中の表情と抑うつ症状の関連についての情報を得ることができます。このような研究成果を蓄積することで、今後は勤務中の表情からうつ病発症のリスクを検出することや、従業員のうつ病予防として早期のアプローチ（例えば、早めに産業医に相談したり、カウンセラーとの面談を導入する等）を行うなど、従業員へのケアへの活用も期待できます。また、従業員自身が自身のメンタルヘルスについて、自身の表情からセルフモニタリングを行うこともできるようになります。うつ病発症を予防することが可能となれば、メンタルヘルスの問題による休職や退職などを防ぐことができるようになると考えられます。

●早稲田大学　人間総合研究センター招聘研究員　菅原 徹

　私たちは日常生活で心の窓、心の情報掲示板である顔をたくさん目にしています。顔を見てはいますが、研究者のように分析的に「観る（みる）」ことまでしている方は少ないでしょう。さらに、カウンセラーや医師のように顔を「看る・診る（みる）」には知識と経験が必要となります。職場で心身の調子が悪い時に、「だいじょうぶ？」と察してくれる専門家が側にいるのは理想的ですが、働く環境の多様性から難しいのが現状です。そこで、顔に表れる感情癖やストレスをいち早く検知し、科学的で優しい「みる目」をINNER FACE™が提供してくれる。働く一人一人が自覚のなかった心の窓を意識化し、自己管理、未病へとつなげる感性テクノロジーに期待しています。

●一般社団法人ウェルネス評価研究開発機構　代表理事　村中 誠司

　コロナ事態を受け、遠隔で作業をすることになり、スクリーンタイム（画面を眺める時間）が増えた方が多くいらっしゃると思います。オフィスでの勤務であれば、同僚のちょっとした変化から気持ちのゆらぎを捉えられますが、遠隔でのやりとりの場合は情報が限られてしまうためそうはいきません。そのため、メンタルヘルス不調の兆候が見逃される可能性があります。そこで本研究では、表情解析技術の力を借りて表情の微細な変化を捉え、メンタルヘルス管理を自動化を試みます。これが実現すれば、メンタルヘルス不調の兆候が通知され、精神的な健康習慣を見直すきっかけとなることが期待できます。

●一般社団法人ウェルネス評価研究開発機構　講師　竹林 由武

　本研究は、リモートワーカーなど、室内でPC作業をされる方の表情から感情をリアルタイムで検知・分類するウェブアプリケーションを活用し、検知された感情とメンタルヘルス指標との関連を探求するチャレンジングな研究です。本研究の感情検知技術が抑うつ等のメンタルヘルス指標を適切に予測することが示されれば、企業等の従業員のメンタルヘルスを効率よく把握する仕組みに応用していけるものへと発展する可能性があります。精緻な検証を共同して進めていけたらと思います。

※1：「INNER FACE」は商標登録出願中です。

※2：OECD各国でのコロナ前後でのうつ病・うつ状態の全国推計値

Tackling the mental health impact of the COVID-19 crisis: An integrated, whole-of-society response

https://www.oecd.org/coronavirus/policy-responses/tackling-the-mental-health-impact-of-the-covid-19-crisis-an-integrated-whole-of-society-response-0ccafa0b/

※3：『月刊総務』2020年9月30日発表「テレワークの方が従業員のメンタルケアが難しいが7割超。テレワーク推進でストレスが増えたと実感」

https://www.g-soumu.com/articles/linkage-2020-09-mentalheaithquestionnaire

※4：ソーシャルプロジェクトについて

電通デジタルは、デジタルテクノロジーとクリエイティブを活用し、様々な社会課題の解決を目指す「ソーシャルプロジェクト」を継続的に行っています。2019年に、プラスチックごみによる海洋汚染の深刻さを発信するため、AIを用いて、実際のプラスチックごみの画像を、世界中の「海」が描かれた名画の画家のタッチに変換し名画に描き、未来の海を絵画で表現するプロジェクト「"名画になった"海 展」や、2020年には、AIを⽤いて指名⼿配被疑者の現在の姿を予測するプロジェクト「TEHAI」、2021年はYahoo！JAPANと共同で"SDGsが達成できた未来・できなかった未来"を体験できるスペシャル動画「2100 JAPAN」などを企画・実施しました。

参考：電通デジタル、パラスポーツの新たな運営支援策を提案 自分だけのオリジナルロゴで選手を応援できる「ロゴで応援！People-Sponsored Logo」を企画（2022年10月12日発表）https://www.dentsudigital.co.jp/news/release/csr/2022-1012-000049

電通デジタル、折り紙とARで絶滅危惧種を学べる「絶滅危惧オリガミ」を公開（2022年11月11日発表）https://www.dentsudigital.co.jp/news/release/services/2022-1111-000056

＜電通デジタルについて＞https://www.dentsudigital.co.jp/

国内最大規模の総合デジタルファームとして、データとテクノロジーを駆使した次世代マーケティングの戦略策定・実行、その基盤となるITプラットフォームの設計・構築、クライアントの事業革新を支援するDXコンサルティングなどのサービスを提供。国内外の企業との緊密なパートナーシップのもと、高度な専門性と統合力により、クライアントの事業成長に貢献しています。