[南京日报]南理工学生“希声”项目获全国大奖

让语言被“看”见 让手语被“听”见

南理工学生“希声”项目获全国大奖

本期通讯(记者王浩泽记者钱红艳)对于尚未学习手语的人来说,如何与听障人士沟通是一个大问题。为了解决这个问题,赖水昌和他的南方理工学院科技学院的同学们一直在努力开发“西生”项目,这种项目可以实现无需手语翻译的双向沟通​​。不久前,该项目在第12届iCAN国际创新与创业大赛中国总决赛中获得一等奖。

发展“西生”项目的想法始于大二的社会实践。当时,赖水昌和他的同学第一次来到秦淮区特殊教育学校接触听力障碍学生。 “如果没有手语翻译,我们如何才能与听障人士顺利沟通?”那时,问题在他脑海中被打破了。 Lai Shuichang和他的同级朋友以“我想做一些事情让每个人更容易与听障人士交流”的想法开始了“西升”项目的开发。

“西生”的功能就像翻译词典一样,实现了不同语言之间的相互翻译。该系统包括一个移动应用程序和一个外部双红外摄像头。记者看到,当正常人与听障人士通信时,听力受损者需要佩戴头部的红外摄像头并将摄像头连接到手机,而普通人则握住手机。当听障人士使用“吃饭”等手语时,“西盛”系统通过双红外摄像头采集手势图像信息,将其翻译成日常通信的语音语言,并通过手机麦克风进行播放;当正常人说话时,麦克风采集语音,利用语音识别技术和数据库匹配将自然语言翻译成手语图像,并呈现在手机屏幕上。整个过程是让抽象语言“看”,让静音手语“听”。

“《道德经》有一个'大声,大象的声音是看不见的',我们将系统命名为”西声“,也就是说,表达真正的大声音就是让那些听不到声音的人感觉到沉默中的温暖,让任何懂手语的人都能感受到聋人心中的旋律。“赖水昌说。

在项目的早期阶段,存在许多困难。为了收集有关手语动作的信息,“西升”团队尝试过手套和臂章,但是成本高,动作收集精度低,佩戴不方便等缺陷使他们不得不寻找另一种方法。经过几个月的试验,他们决定使用低成本,更精确的双红外摄像装置作为“西升”动作捕捉装置。这一突破使西河能够更好地获得指关节的特征信息。随着深度学习模式的建立以及数据分析和处理能力的提高,“西生”可以实现一些生活场景中的对话再现,如方向,酒店订单等场景。

在第12届iCAN国际创新与创业大赛中国总决赛中,“西升”获得了来自19个国家赛区的450名大学生的一等奖,并获得了德国国际总决赛的资格。

“目前'西升'项目仍处于起步阶段,还有很多地方需要改进。例如,红外摄像机不是很方便佩戴,需要更紧凑,数据库结构需要进一步改进。我们的团队将来会继续努力。我希望它能尽快商业化,“赖水昌说。

TR

2018年11月22日《南京日报》A10版

TR

链接地址:http://njrb.njdaily.cn/njrb/html/2018-11/22/content_519418.htm?div=-1

TR