AR技術を用いた遠隔作業支援ツール「どこでも君・修理（仮称）」の実証実験を開始

熟練者による技術支援・ナレッジ化＆アフターコロナ対策

ダットジャパン

2020/10/16 12:00

2020/10/16

ダットジャパン株式会社

――――――――――――――――――――――――――――――――――――――――

熟練者による技術支援・ナレッジ化＆アフターコロナ対策 AR技術を用いた遠隔作業支援ツール

「どこでも君・修理（仮称）」の実証実験を開始

――――――――――――――――――――――――――――――――――――――――

当社はこの度、報道各社に向けニュースリリースを配信いたしました。

日経新聞にも関連記事が記載されておりますので、よろしければご確認ください。

家電修理をARで遠隔支援、ダットジャパンが実用化へ |日本経済新聞（閲覧には会員登録が必要です）

ダットジャパン株式会社（本社：北海道札幌市、社長：犬丸澄夫、以下「ダットジャパン」）は、最新のAR技術を活用し、遠隔でリアルタイムに作業をアシストするツール「どこでも君・修理（仮称）」の実証実験を、2021年1月より、東芝コンシューママーケティング株式会社（本社：神奈川県川崎市、以下「東芝コンシューママーケティング」）の現場で開始します。

本実証実験は、新型コロナウィルスの影響により「修理技術の教育を遠隔で行いたい」「訪問修理の作業時間を短縮したい」という課題を持つ「東芝コンシューママーケティング」と連携し、この課題を解決するため、最新のAR技術を用いた最適な遠隔支援システムの構築を目指して実施します。

また、支援結果を動画マニュアル化する事により、熟練者の技術・暗黙知を広く共有出来る機能も実現します。

１．背景・概要

（１）背景

現在、新型コロナウィルスにより、対面での業務遂行が困難な状況にあり、ICTやIoTを活用した遠隔支援技術の導入が求められています。また、国内の少子高齢化は深刻な社会問題となっており、厚生労働省の予測によると、労働人口は20年後の2040年に、20%減少すると予測されています。

労働人口減少をカバーするためには、未経験者や経験の浅い労働者を早い段階から独り立ちさせる事が重要課題となります。課題の実現には、数少ない熟練者が多数の未経験者の指導をする必要が生じ、結果的に1人の熟練者が複数現場の未経験者のサポートを行なわなければなりません。そのため、効率的で直接的、且つ複数の現場に対応可能な遠隔作業支援技術が求められています。

現在の遠隔作業支援は、WEBカメラによるLive映像の共有、音声通話による相互通信が基本的な仕組みとなっており、現場からは、物足りないとの意見が多く出されています。

（２）課題

①確認箇所の指示が音声のみでは時間がかかる

熟練者から現場担当への確認箇所の指示が音声のみでは時間がかかります。対面であれば、該当箇所へ指を差せば済みますが、遠隔では例えば「機械裏面の右上のネジが見えますか？」と言った指示が必要になり、必ずしも一度の会話で指示が完結しません。

②膨大なマニュアル

昨今の機器は小型化・複雑化が進んでいるため、修理マニュアルを見ただけでは作業が難しい事が少なくありません。熟練者はマニュアルや図面の足りない部分を経験で補完していますが、経験の浅い者には、マニュアルや図面を共有しつつ指示を行っても、伝わり難い現状があります。

③ユーザー本位ではないシステム・UI/UX

Live映像と視点の共有を行うデバイスは、カメラ付きのスマートフォンか、タブレット端末が一般的ですが、両手あるいは片手が塞がるため作業の妨げになってしまう事が従来の支援ツールでは課題となっています。

（３）どこでも君・修理（仮称）

次の『どこでも君・修理（仮称）』独自機能により、遠隔作業支援技術を提供し、従来の遠隔作業支援ツールの課題を解決します。

・AR技術でモデリングした熟練者の手を表示する事で、画面越しの指差し指示を実現

・指示内容を録画・編集し動画マニュアル化。PDF等のマニュアルと併用して支援

・スマートグラス等のハンズフリーデバイスの表示に最適化した仕様とUI/UX

■熟練者の暗黙知の形式知化

遠隔支援を行う場合、熟練者による作業支援が不可欠ですが、熟練者の数は限られているため、支援を行う人材の確保自体も難しい現状があります。

そこで、当社の開発するAR機能を用いて、熟練者による遠隔作業支援を行いつつ、その結果を記録・編集した動画マニュアルを作成・共有する事で、限られた熟練者の技術を数多くの人材が利用出来る仕組みを実現しました。

２．「どこでも君・修理（仮称）」概要

（１）どこでも君・修理（仮称）　システム構成

図１システム構成図

※ PCをサーバーとし、画面に表示したARモデルを熟練者が操作、Live映像に合成して作業員側のデバイスとP2P(Peer to Peer)で通信する

（２）どこでも君・修理（仮称）の詳細

「どこでも君・修理（仮称）」は、弊社が長年行っている家電修理向けコールセンター運営により蓄積した顧客の声と作業支援ノウハウを基に、AR技術を利用して独自のカスタマイズを行ったシステムです。本システムは誰でも簡単に利用できるWEBサービス・クライアントアプリとして提供し、アフターコロナと慢性的な労働力不足を解決するソリューションとしての認知を目指します。

AR表示技術は、ARモデルを「タッチパネルによる操作」「マウスによる操作」「カメラやモーションコントローラーによる操作」でコントロールし、その動作を動画形式に変換を経てインターネット経由で送信し、スマートフォン等の撮影デバイス上に表示する技術です。本技術により、修理手順、点検検査、視点誘導などの指示が遠隔で可能となります。視覚的に分かり易い遠隔支援が実現できるため、下記のメリットが得られます。

・現地作業時間の短縮による出張旅費低減。長時間接触が減る事でのコロナ感染リスクの軽減

・経験の浅い作業員や外国人労働者の単独作業が可能となる事での経費削減

図2 実際の修理現場での画面共有イメージ

■ どこでも君・修理（仮称）の特徴

これまでのAR技術の多くは、現場Live映像とのキャリブレーション（ARを現実に重ねるための同期処理）を複雑に取り入れている事で、現実的な作業に即さない処理時間となってしまう場合が多くあります。本システムは、AR表現を極限まで抑える事で、処理時間の短縮を実現し、作業に最適なUI/UXも実装しています。

■ 実証実験場所について（東芝コンシューママーケティング修理サービスの現場）

東芝コンシューママーケティングの修理サービスの現場とは、弊社で受託しているコールセンター業務を通じて、15年以上連携して業務を行って参りました。その長年の業務実績により、エンドユーザーのVOCは豊富に蓄積されており、実際に現場で行われる修理作業も熟知しています。

そのノウハウと同社からの協力を得る事で、最適な実証実験場所となりました。