Xi'an Jiaotong-Liverpool Universityの研究員が認知補聴器を開発

AsiaNet 76709 （2304）

【蘇州（中国）2018年12月11日PR Newswire＝共同通信JBN】中国、蘇州にあるXi'an Jiaotong-Liverpool University（西安交通・リバプール大学、XJTLU）の研究員は、テクノロジーを使用して脳が生まれつき持つ言語処理能力を再現する方法を調査している。彼らの研究には補聴器を大いに改善する可能性があり、他の分野でも応用性がある。

Photo - https://photos.prnasia.com/prnh/20181211/2323150-1

（写真説明：XJTLU研究員によって開発された口の動き追跡法）

アンドリュー・アベル博士とフェロー研究員は、脳によってインスピレーションを受けた「認知補聴器」と呼ばれるものに向けて前進している。同博士は「従来の補聴器の多くは、ユーザーにとって聞き取るのが難しい特定の周波を増大させることによって機能する」と語った。

「一部の補聴器には、人間の発話に使用されない周波の音量を下げる雑音除去アルゴリズムや、特定の方向からの音だけを感知する指向性マイクがある。次のステップは、情報選別を改善するためカメラから提供される視覚情報など、追加的情報の使用が可能な補聴器を設計することだ」

アベル博士と彼の同僚は最終的に、単語認識や予測を基にした言語処理および環境認識やその他の視覚情報をわれわれと同じように思考する改良型補聴器に組み込むことを望んでいる。

XJTLUのDepartment of Computer Science and Software Engineering（コンピューターサイエンス・ソフトウェア工学部）所属のアベル博士は「われわれが互いに話すときは、音だけに頼っているわけではない。互いの顔を見たり、身振り手振りを見たりして、皆ある程度は唇の動きで言葉を読んでいる。今のところ、これらを補聴器の技術に組み入れることはできていない。結局のところ、それを変えようと思っているのだ」と述べた。

「われわれが何かを聞く際に実際起きていることを理解および再現できれば、補聴器を改良できるだけでなく、自身について、そして自分達の思考の働きをよく学べるだろう」

アベル博士は現在、いかに視覚のインプットが効果的になり得るかの基礎を研究することに集中している。最初のステップは、唇の動きについての関連情報を分離するための画像処理だ。

アベル博士、XJTLU卒業生のチェンシャン・ガオ氏、スターリング大学（University of Stirling）の研究員によって考案された新システムは、口が開いているか閉じているか、開いている時の口の幅と奥行き（「唇の特徴」と呼ばれる）を特定し、被験者の口の動きを追跡することができる。

アベル博士は「口内で起きていることの3次元表示を作り上げるために情報が使用される。発話の音量と音程の特徴を見積もるため、この3D表示を用いることができる。そうなれば、これを補聴器の雑音低減機能に応用できる可能性が出てくる。読唇術にも利用でき、これはわれわれの研究の一部でもある」と説明した。

西安交通大学（Xi'an Jiaotong University）と英国のリバプール大学（University of Liverpool）間の提携、Xi'an Jiaotong-Liverpool University（XJTLU）は、独創的に物事を考える人材や地球市民を生み出すため、東洋と西洋の教育の成功事例を結び付けることを狙いとした国際的な大学だ。全プログラムが英語で行われる。

詳しい記事は以下を参照：

https://www.xjtlu.edu.cn/en/news/2018/12/research-developing-the-cognitive-hearing-aid

ソース：Xi'an Jiaotong-Liverpool University

Researchers at Xi'an Jiaotong-Liverpool University developing the cognitive hearing aid

PR76709

SUZHOU, China, Dec. 11, 2018 /PRNewswire=KYODO JBN/ --

Researchers at Xi'an Jiaotong-Liverpool University (XJTLU) in Suzhou, China,

are investigating how to use technology to replicate the brain's natural

abilities to process speech. Their work has the potential to greatly improve

hearing aids, and has applications in other areas.

Photo - https://photos.prnasia.com/prnh/20181211/2323150-1

(Caption: Mouth tracking methods developed by XJTLU researchers )

Dr Andrew Abel and his fellow researchers are moving towards what's being

called a 'cognitive hearing aid' - one inspired by the brain. "Many

conventional hearing aids work by amplifying certain frequencies that the user

has trouble hearing," says Dr Abel.

"Some hearing aids have noise-cancelling algorithms, reducing the volume of

frequencies not used in human speech, or directional microphones to detect

sound only from specific directions. The next step is to design hearing aids

that can use additional information, for example visual information provided by

a camera, to improve the filtering."

Ultimately, Dr Abel and his colleagues hope to incorporate word recognition and

prediction-based speech processing, as well as environment recognition and

other visual information, into an improved hearing aid that thinks like we do.

"When we talk to each other, we don't just rely on sound," says Dr Abel, who is

from the Department of Computer Science and Software Engineering at XJTLU. "We

look at each other's faces, we look at each other's body language, and we all

lip-read to an extent. So far, we've been unable to incorporate these things

into hearing aid technology. That's ultimately what we're looking to change."

"When we can understand and replicate what actually happens when we listen, we

will not only be able to improve hearing aids, but we will learn so much about

ourselves, and how our minds work."

Dr Abel is currently focussed on studying the fundamentals of how visual input

can be effective. The first step is processing images to isolate relevant

information about lip movement.

A new system devised by Dr Abel, XJTLU graduate Chengxiang Gao, and researchers

from the University of Stirling, can track the movements of a subject's mouth,

determining whether the mouth is open or closed, and the width and depth of the

mouth when it is open (referred to as 'lip features').

"The information is used to build up three-dimensional representations of what

is going on in the mouth," explains Dr Abel. "This 3D representation can be

used to estimate volume and pitch characteristics of speech, which could then

potentially be applied to the noise-reduction function of a hearing aid. They

can also be used for lip reading, and this is also part of our research."

Xi'an Jiaotong-Liverpool University (XJTLU), a partnership between Xi'an

Jiaotong University and the University of Liverpool, UK, is an international

university that aims to combine the best practices of eastern and western

education to produce creative thinkers and global citizens. All programmes are

delivered in English.

Read the full story here:

https://www.xjtlu.edu.cn/en/news/2018/12/research-developing-the-cognitive-hearing-aid

Source: Xi'an Jiaotong-Liverpool University