花王株式会社（社長・長谷部佳宏）メイクアップ研究所は、人工知能（AI）技術のひとつである深層学習（ディープラーニング）を用いて、肌の見た目の印象を客観的・定量的に評価し、さらに画像化する「肌評価AI」を開発しました。この技術を応用することで、化粧感、化粧くずれの程度、年齢印象などを、客観的に評価することが可能となります。

今回の研究成果は、日本視覚学会2021年冬季大会（2021年1月20～22日・オンライン開催）にて発表しました。

「肌評価AI」による化粧肌らしさ解析結果の可視化例

背景

人は、肌の色・質感などのわずかな違いを瞬時に読み取り、顔や肌の印象を感じ取ります。花王は、肌を美しく魅せるメイクアップ化粧品を提供するため、これまで見た目の肌印象を評価するさまざまな手法を開発し、化粧品開発に応用してきました。しかし、多様で繊細な肌印象の違いを人の目と同じレベルで評価することは難しく、また特殊な装置を必要とするため測定が容易ではないという課題がありました。

“肌パッチ”画像を学習する「肌評価AI」

画像解析に強いとされるディープラーニングは、顔画像を入力すると年齢などを予測するAIを構築できることが知られています。花王は、ディープラーニングのモデルに、年齢ではなく「素肌らしさ」など肌のさまざまな見た目印象を評価するように学習させることで、「肌評価AI」を構築できるのではないかと考えました。

しかし、このAIには、顔画像のどこを見て判断しているかがわからないという欠点があります。AIは、入力された画像全体から、線、点、角度、周波数などさまざまな情報を抽出し、複雑な計算を繰り返して、最終的な評価結果を導き出しますが、花王は、そのAIの評価が髪、眉、唇など肌以外の情報に影響されている可能性を懸念しました。そこで、肌以外の要素を極力排除するため、顔全体ではなく、もとの顔画像から小領域を切り出した画像“肌パッチ”を用いる方法を検討しました（図1）。

図１．一般的なAIと本手法の違い

素肌らしさと化粧肌らしさ（化粧感）といった印象を評価する「化粧感評価AI」の開発

花王は、画像認識用に設計されたディープラーニングモデルとしてすでに高い評価を得ているVGG16※1を、素肌と化粧肌を判別するという目的に合わせて再学習させ、「化粧感評価AI」の構築に取り組みました。

まず、化粧感を評価するのに最適な肌パッチのサイズを検討しました(図2)。20～70代の日本人女性269名の素肌と化粧肌の顔画像を同一の撮影装置で撮影し、8.9×8.9mmから44.5×44.5mmまでの異なるサイズで切り出してデータセットを構築。肌パッチサイズごとに、素肌と化粧肌を判別するAIモデルをつくり、それらを学習用画像とは異なる撮影装置・照明条件で撮影した素肌・化粧肌の顔画像に適用し、判別精度を評価しました。その結果、17.8mmの肌パッチで学習したモデルの精度が最もよいことがわかりました。

※1オックスフォード大学のVisual Geometry Groupが開発した16層の画像認識モデル

図２．サイズが異なる肌パッチ画像の例

次に、20～70代の日本人女性512名のベースメイク塗布前後の画像を撮影し、この画像から17.8mm四方の領域を切り出して計43,897枚からなる“肌パッチ”を作成、AIにこの肌パッチデータセット画像を学習させました。その結果、1枚1枚の肌パッチが素肌であるか、化粧肌であるかを92.7%の精度で判別できました。このAIは、肌パッチ画像からさまざまな肌特徴を解析し、判別の根拠となる素肌／化粧肌らしさを示す数値を、1枚の肌パッチごとに出力します。その肌パッチの結果を統合すると、顔全体の肌の印象を総合評価したり、化粧感の分布を画像化したりすることが可能です（図3）。

図3．化粧感評価AIによる解析結果可視化例

花王は、このような複数の肌パッチ評価データを統合した結果は、実際の見た目の肌の化粧感と関係すると考え、学習に用いた512名中269名の顔画像について、AIによる結果と訓練された5名の判定者による化粧感の評定を比較しました。その結果、高い精度で相関を確認できた（R=0.72）ことから、この手法で化粧肌らしさといった印象を評価可能な「化粧感評価AI」が構築できたと考えます。

花王ではこのAIを、開発したパウダーファンデーションの素肌らしさの評価などに活用しています。

さまざまな肌印象を評価するAIへの応用

今回構築した手法は、肌パッチデータセットや学習方法を調整することで、化粧感評価以外にもさまざまな応用が可能です。花王では、肌年齢の推定、化粧くずれの程度などの評価を行なうAIモデルをこの技術を応用して構築しています。

たとえば、「化粧くずれ度評価AI」では、化粧くずれが鼻、頬、額など皮脂が出やすい部位から進行すること、化粧持ち効果を狙って設計した化粧下地は明らかに皮脂による化粧くずれを低減させていることなどを容易に画像化することが可能です(図4)。

図4．「化粧くずれ度評価AI」による評価

異なる化粧下地を使用した上に同一のファンデーションを塗布し、直後、4時間後、8時間後、10時間後の化粧状態を撮影。

画像をAIで解析し化粧くずれ度を可視化

まとめ

今回、ディープラーニングに使用する情報として顔画像から小領域を切り出した肌パッチを用いることで、今まで目視評価に頼らざるを得なかった肌印象を精緻に評価できる「肌評価AI」を構築できました。キメ、毛穴、シワ、化粧料の分布など肌評価において重要な要素を見極めるために、独自に有効な特徴を見つけ出すというディープラーニングの特長が最大限発揮される手法であると考えます。今後もAIの改良を進め、評価項目の範囲を広げるとともに、肌実態調査や化粧品の商品評価に広く活用することで、より魅力的な化粧品開発につなげていきます。