金沢工業大学（石川県野々市市）の松井くにお研究室と株式会社別川製作所（石川県白山市）は、約1年間にわたって共同研究を行い、複数の場所の映像や情報を同時に認識しながら実際の現場での作業を支援するスマートグラスアプリを開発しました。

開発のテーマは「スマートグラスを活用した新しい働き方」。スマートグラスを着けた作業者は、ハンズフリーで点検や工事といった作業が可能になるほか、別の現場にある機械や機器との調整・連動性の確認などを少人数で行うことができ、効率的なオペレーションを実現します。

具体的には、作業者はスマートグラスのアプリから別川製作所が独自に構築したCreerプラットフォームにアクセスし、クラウドを経由して遠隔現場のカメラ、センサー、PLC（Programmable Logic Controller）の映像や情報をリアルタイムで入手。それらも照合しながら実際の現場でタイムリーな判断と作業遂行が可能になります。また、現在のリモート立ち会いはタブレット端末で作業状況を撮影する人員が必要ですが、スマートグラスを使えば将来的にそれも不要となります。例えば、検査員がZoom等オンラインでつなげたまま製品検査を実施することで、製品の導入する顧客は検査員の視点でチェックをすることができるなど、幅広い活用が期待できます。

松井研究室の山本雄万さん（共同研究時は情報工学科4年。2023年3月卒業）は、スマートグラスに搭載するアプリをゼロから開発。スマートグラスとしてVuzix M400（OS：Android）を採用し、Web APIを使ってCreerプラットフォームからスムーズに情報を引き出せるシステムを構築しました。スマートグラスのディスプレイを4画面に分割表示することで、作業と並行しながら関連映像や文字情報など相対的に確認できます。アプリでは、作業者の視覚的な負担を軽減するため、文字の大きさ、背景色を工夫し、“見えやすさ”も追求。操作にはスマートグラスのサイドに付いたボタンを使い、押す回数と長押し時間の組み合わせで複数の機能を迅速に切り替えられるようにしています。

金沢工業大学と別川製作所では今後もこの研究を発展させていく予定で、音声認識や画像の入れ替え、ズームといった機能の追加を目指しています。

共同研究について

共同研究のきっかけは、別川製作所の社員の方が金沢工業大学の「情報技術教育プログラム」を受講したことです。情報技術教育プログラムは、AIやIoTを中心とする新しい情報技術を活用できるよう、AI・データサイエンス・IoT・ロボティクス・ネットワークセキュリティについて、企業勤務の方が学べるプログラムです。プログラムを受講した社員の方は、さらにAI・IoTに関する知識を深めるため、松井教授からAI・IoTの技術指導を受け、そこから今回の共同研究に発展しました。

松井研究室と別川製作所はこれまでにも共同研究を行っており、2020年には工場設備の異常音を検知するアプリを開発。また、2021年度には、対話型AIチャットBotを用いた技術の拡充として「点検・最終退社チェックBot」を研究開発しました。いずれにおいても研究室の学生が開発に参加し、別川製作所とともに社会実装型の開発に携わりました。