看见 的眼镜 他说要做下一代的视觉处理器 却先做了一款能帮盲人 (看见眼镜里的你小说)
在临近上海市张江高科科技园区的龙东大道人行道上,有一窄溜“盲道”,专为视障人士所设计,但是这条盲道早已被各种共享单车、施工材料所占据,失去了其本身的功用。
这条路恰巧是雷锋网去往肇观电子的途径道路之一,在全国,类似被占用、破坏的盲道也远远不止这一条,包括盲道在内的一系列基础设施的缺乏,造成了盲人生活十分不便。而使用科技手段来让视障人士克服这些困难,也成为了目前很多科技企业、科研人员尝试的方向,也是肇观电子在做的事情之一。
一、创业
大约三年前,肇观电子CEO冯歆鹏有一个同学在为视障人士做陪跑,也就是挂着一条腕带牵引盲人,带着他们跑,为他们指引方向。当时还在AMD担任研发总监的冯歆鹏就觉得,可以用视觉技术来解决这个事情, 所以初步有了做一个“机器陪跑系统”的想法,后来经过实践之后,冯歆鹏发觉,将这个系统应用到盲人的实际生活中,也许能够帮他们解决更多的问题。
2016年5月,冯歆鹏成立了肇观电子科技有限公司,并着手开始做一款能够让盲人“看见”周围环境的眼镜设备。
二、产品
让盲人“能看见”的眼镜
在肇观电子的办公室,雷锋网看到了这款眼镜。
这款眼镜名叫AngelEye,整体看上去,造型跟正常的眼镜差不多,眼镜正面横梁上的双目摄像头和眼镜腿上的两颗耳机给整个眼镜带来了些许科技感。
冯歆鹏为雷锋网展示了这款眼镜的用法。
AngelEye没有内置的电池,需要连接手机使用,不过功耗不大,冯歆鹏在展示时告诉雷锋网,把AngelEye连接用于展示的那台乐视手机,眼镜和手机同时连续工作,能够支持大约4小时左右,另外还有节电、待机等模式,能让眼镜的续航足够日常8小时使用。另外,目前公司已经在研发一款控制器,那款控制器会有更大容量的电池,能够支持更长的工作时间。而下一代的AngelEye将会考虑一体式的设计。
连接了手机之后,打开手机APP,就可以直观地看到周围环境经过眼镜的数字化形象,比如地面是绿色,障碍物是红色,而这些信息都会经过眼镜转化成语音播报传递给眼镜的穿戴者。听觉对于盲人来说是非常重要的外部感官之一,为了不遮挡这一重要感官系统,在耳机方面,肇观电子特地为AngelEye设计了骨传导耳机,直接贴在太阳穴上就能听见耳机发声。
据介绍,这款眼镜大体有几种识别模式:
环境自动识别:就是刚才说的能够识别地面以及障碍物。隔一段时间,眼镜会自动向使用者播报一下周围环境情况,比如前方有什么物体(还会播报该物体是XX的可信度是多少,因为机器视觉有时并不能百分之百的确定一件物品是什么)。
通用物体识别:目前AngelEye已经支持30类通用物体识别,比如门、上下楼梯、人行道、桌椅沙发、茶杯等等,不仅能够识别这些物体,而且还能结合环境识别判断这些物体所处的方位、距离。冯歆鹏告诉雷锋网,更多的物体识别也能做,不过只做30类是为了保障运算的实时流畅性,而这30类物体是在与盲人朋友沟通过之后的结果,这些东西他们日常生活中最常用的物体。
文字识别:除了能够识别周围环境,看文字也是盲人生活中的一个重要障碍,盲人出门也需要观察路牌、在饭馆吃饭也要点菜……所以AngelEye在功能上也添加了文字识别,能够把眼镜识别出的文字念给使用者。冯歆鹏说,这个文字识别比市面上一些扫描软件还要准一些,甚至有些客户专门找来要他们文字识别的SDK。
做了以上用于避障、日用等识别功能之外,AngelEye还内置了地理信息系统,盲人可以利用眼镜调用地图进行导航。
冯歆鹏说,现在每周都会有盲人朋友到公司来帮他们测试和改进产品细节,其中多数都是盲人生活中急需解决的实际问题。
更迭六代的坑
在冯歆鹏展示的时候,雷锋网看到了桌上放了好几个外形相似但细节不同的眼镜样机,冯歆鹏说,这都是他们之前的尝试,这款产品到目前为止,他们内部已近更迭了6代。
“眼镜是个很难做的形态,光是在外形上我们就做了很多尝试,比如手机的接口、鼻托的设计、镜腿的弯曲程度……”
AngelEye样机
冯歆鹏说,做这款眼镜到现在,碰到了很多的“坑”,首先就是硬件。
作为一款眼镜形态的科技产品,要同时满足轻便、结实、有弹性、防水防尘等需求,但是这些需求又是互相矛盾的,比如要结实、防水防尘,那么外壳就得厚,重量就要增加,这样就不能满足轻便,要有弹性,对坚固程度也有影响,因为内部的视觉电路板对形变程度有要求。等等这些,让他们把眼镜开模了6次,才最终搞定硬件的问题。
冯歆鹏表示,对于视觉算法来说,对环境的理解至关重要,这也是他们在做AngelEye时碰到的软件层面的坑。就拿“什么是地”这个议题来说,地面的形态千变万化,人眼来看,平整的、能走路的地方就是地,但是对于机器来说,砂石路、水泥路、砖块路等都是不同的形态,理解起来十分困难。目前很多做无人车的厂商的做法是,给予车的第一假设就是“在地面上”,然后车头看到的视野中线最低处就是地,然后通过算法推导铺开其他地面环境,但是这个方法有个弊端,如果当时车是处于一个积水的路面,那么前方到底是水面还是路面?或者车的视野是在马路路沿上面,那么前方到底是可行进路面还是不可行进路面,车就很难判断了,需要借其他的参照数据(例如高精地图)来推导才行。冯歆鹏说,他的团队在这方面做出了很大的努力,对地面识别进行了优化,比如“是不是地面”、“反光、镜面的地面如何识别”等,对此,冯歆鹏非常自信地说:“不敢说我们达到了业界的终极目标,但是说在第一梯队应该是没问题的”。
关于竞品
在用科技做盲人辅助设备这一块,肇观电子并不是唯一的一家,市场上有很多为盲人设计的科技产品,比如“刺激脑电波”、“电击舌苔”或者“直接出一款设备接入人工台帮盲人识别”等等,但从技术角度上来讲这些中的多数还都属于一种“玩票”的性质。而AngelEye已经在预售阶段售出不少了,6月份将正式全球发货。
以色列有一家叫OrCam Technologies的公司也在做一款盲人眼镜,这家公司是Mobileye创始人建立的另一家公司,他们做的盲人眼镜产品MyReader跟AngelEye有一定的竞争关系,但是跟AngelEye不同的是,MyReader的主要功用是用于帮助视障人士阅读,该产品有两个版本,低端版本只能识别书上的文字,高端的版本则增加了人脸识别的功能,由此看来在功能性上比AngelEye还差了一些。另外,MyReader售价十分高昂,高低端产品售价分别为3500美元和2500美元,而AngelEye的售价约为1200美元。
三、未来
“肇观”二字字面意思就是“开启视觉”,做“下一代的视觉处理器”这个词不时地在冯歆鹏口中出现,其实这并不是一个随意的自夸,而是他们公司的名字就叫“NextVPU”,冯歆鹏说,这是他们长远的计划,也是公司未来的愿景。
目前公司除了AngelEye之外,还在为一些企业提供视觉模块,也已经开始着手做一些未来技术上的研发,冯歆鹏给自己未来的定位是”做人工智能、计算机视觉硬件系统和芯片的公司“。
肇观电子的视觉模块
冯歆鹏说,他们做AngelEye的目的,一是想真正的帮盲人朋友解决点实际问题,二是想从应用层面开始做,从做能卖给客户的一种商品往回倒推去做技术,慢慢的等待市场壮大,而他未来的目标则是想做视觉芯片、视觉模组。
在创业之前,冯歆鹏曾就职于著名芯片厂商AMD,曾经参与设计过Xbox、Sony PS等知名产品的芯片设计,有很多设计芯片的经验。
冯歆鹏向雷锋网透露,目前公司正在开发一款视觉方面的人工智能芯片,但是因处于封闭开发阶段,所以性能、时间表等都需要保密。是否还做其他直达消费者的产品,目前还没有计划。
原创文章,未经授权禁止转载。详情见 转载须知 。