大学生团队研发成功“聋人自然手语翻译器”APP

把语音转换成文字，再将文字翻译成手语，在第25个“全国助残日”到来之际，江苏科技大学的一群平均年龄不到22岁的年轻创业者们，研发出了一款“聋人自然手语翻译器”，为普通人与聋哑群体搭建沟通的桥梁。

拿起手机，点击机器人图标，说出你想对聋哑朋友说的话，只需几秒钟，一张张手语图便跳了出来，实现普通人与听障者的零距离沟通。

这原本只是一个简单的概念设想，目前，一群平均年龄只有22岁的大学生做到了，让不懂手语的人也能和听障群体进行交流。

5月14日，江苏科技大学计算机系的5名志愿者来到镇江市特教中心，在没有手语老师翻译的情况下，通过一个手机APP——聋人自然手语翻译器，与高一年级10位聋哑学生交流互动。

去年10月，TouchVoice创新团队宣布，开始研发助听障群体沟通的软件，目前该团队已扩容至9人。理工科背景加上对自然语言处理的核心优势，几人一拍即合，决定潜心研究一个惠及聋哑群体的手机软件。把语音转换成文字，再将文字翻译成手语，为普通人与聋哑群体搭建沟通的桥梁。

设想勾画完成之后，“三大库”的建立至关重要：手语图片库、手语动画库、手语视频库。研发团队核心成员吴琪在接受媒体采访时表示，此外，为了该款软件研发的顺利推进，团队成员分别负责3D人体骨骼动画研究、安卓端的开发、算法研究、以及自然语言分析几大块工作。

“目前来看，我们已经完成最基础的构想——手语图片库，并且取得了良好的用户体验，和同学们交流了40多分钟，每句语音都被准确翻译成了手语图，他们都能看懂。” 吴琪介绍，几经周折，团队将“我爱手语网”列为最佳选择对象，在计算机系老师编写的“爬虫”软件支持下，目前已经成功收录5234张手语识别图片。

据介绍，为了呈现出动态手语，并将手语与文字翻译互通，用动画和视频进行呈现。团队购置了Leap Motion设备拍摄手语动画，并加入了配备RealSense 3D摄像头的笔记本配合图像采集。

但是，研发也不是一帆风顺，据团队另一核心成员陈璟透露，团队构思了各种手语识别算法，考虑平行关节、手指点、深度图等问题，最终由于手指关节数据的误差较大，产品研发优化在这方面的瓶颈尚待突破。