对于多数人而言,“看、听、说”是再稀松平常不过的事情。但仍有那么一群人,他们不能像我们一样,看手机、刷视频、打电话、发语音。
甚至处在高度便利的互联时代,有视听障碍的他们,在日常生活、出行社交中不得不面对诸多挑战。光明、声音对他们而言或许就是最宝贵的礼物,就像海伦·凯勒的名作,身处黑暗渴望三天光明也只能“假如”。
获得三天光明需要“假如”,但借助“黑科技”让视听障碍人群“看见、听见、说出”,只需要一部手机就可以了。
在HDC2024期间,华为发布基于OpenHarmony打造的全场景智能操作系统HarmonyOS NEXT。作为HarmonyOS诞生以来最大一次升级换代,不仅实现生态统一、多设备轻松互联、流畅度及能效等体验提升,更首次将AI能力融入系统,支持图像智能、通话智能、文档智能等能力。
小艺也进化为小艺智能体,可执行更复杂的操作,并在端云大模型协同和意图框架的加持下获得更好的场景感知、意图识别和用户理解能力。
升级的小艺智能体,就是帮助视听障碍人群实现手机无障碍体验的关键“黑科技”之一,也是我在HDC2024现场解锁的最特别体验。
在“黑超之旅”中,双眼被遮住陷入完全黑暗后,被工作人员引入模拟的超市购物场景,与伙伴协作在完全看不到的情况下完成指定商品的购买。而且,我三人组合中,有一名伙伴扮演了听觉障碍的用户,我们之间的沟通交流就是借助小艺智能体,我的“眼睛”也是安装小艺智能体的手机。
这里我和朋友扮演了两名视觉障碍用户,重点介绍一下我对小艺看世界这项“黑科技”的体验感受。
当你的视觉被剥夺后,最先感受到的就是寸步难行——你会下意识地放慢、缩小步幅,双手也无意识地摸索前行(即使我确认有工作人员保障不会有任何危险,还是会如此,以至于工作人员对我们说:放心大胆走,没问题)。
然后来到一个完全陌生的空间,你会脑补周边环境,强烈地想要知道自己处在何处,身边都有什么——但完全看不到,会有不安感。
当工作人员将手机递到我手中,告知任务是打电话给“听觉障碍”的伙伴时,习惯性地去解锁屏幕,才发现自己什么也看不到。但长按电源键唤醒小艺,说出打电话给XX,也就轻松完成了任务。
由于同伴的角色有听觉障碍,在这段通话中,小艺会将我说出的内容转换为文字呈现在对方面前,而对方发送的文字也会转变为语音在我的手机上播放。这里我知道了自己要购买什么东西。
在接下来我就要通过自己的“眼睛”找到任务商品。手持另一部手机开启小艺看世界后,小艺通过AI图像识别会持续播报手机拍摄到的内容,比如他会告诉我画面中有一个人(扮演收银员的工作人员),一双手在摸着黑色的物体(我的手入镜了),XX饮料300ml等等。
就这样,我在货架上摸索,再加上“听觉障碍”伙伴的引导,终于找到了需要的商品,并在小艺的引导下来到了收银台,完成支付。到这里还没有结束,我们还需要在小艺看世界的帮助下离开“超市”。
在出口的门上工作人员设置了挂牌写着“此门不通”“门锁住了”“正确的门”作为提示,小艺播报到对应的门我们就成功出门结束了这趟“黑超之旅”。
毋庸置疑,对于视听障碍用户,小艺智能体可以提供很多帮助。就我模拟的视觉障碍用户而言,小艺可以引导我更准确地了解周边情况,特别是一些我们用手去触摸无法获取的信息,毕竟盲文、语音提示等在生活中并不是无处不在。
同时,在一些特定的场景下让我能够在完全看不到的情况下更快地、独立地达到目的,不只是购物,还可以是浏览逛展、出行社交等等。
当然现阶段这些功能还有很多提升空间,如用户手持手机和识别主体的距离要适应或者尝试,若配合一些语音提示(“手机拿远一些、手机拿近一些”)效率会高一些。
既然是借助手机摄像头,对于环境光线还是有较高要求,在暗光、弱光环境下,也就是说如果是夜晚可能这项功能的体验就会差一些。
另外还有一点很关键,尽管在体验过程中我的视觉完全被遮罩了,但毕竟脑海中对于类似的场景画面以及手机的操作模式有丰富经验,所以在移动、寻找物体时能够充分借助脑海中的印象,再配合上小艺看世界的引导,在完成任务方面用时进一步缩短。
但是对于视觉障碍的真实用户而言,他们面临的挑战或许要比我们多得多。
值得一提的是,华为在开发这些功能的时候倾听了很多有此类需求用户真实的反馈,在现场我们也见到一些受邀体验这些功能、反馈体验的视听障碍用户。能够认真接受这些用户的反馈,对于这些功能迭代也是十分关键的一环。
虽然并不完美,但也有很多让人惊喜以及未来更值得期待、支持的潜力。
首先,虽然我没有询问这项功能是否完全基于本地AI算力,但端侧AI能力的提升,让图像识别可以在本地执行将有效降低时延,并且在无网环境下也可以使用,极大程度保证了体验。
从现场的体验来看,整个识别还是很流畅的,基本上我移动手机的同时,小艺就已经开始播报画面内容。
其次,端侧AI在保护用户数据隐私方面具备先天优势,减少了后顾之忧。同时若配合“端云融合”方案,如发挥华为盘古大模型、OpenHarmony等技术优势,面向消费者的鸿蒙原生智能还将有更强大的能力,不仅是自然语言交互,还有更个性化、准备的意图理解,以及统一生态带来的互联互通体验
第三,终端软硬件能力提升,让画面的识别更准确也更精细。比如在体验中,工作人员布置在门上的提示牌上,一些边缘的小字,甚至标点符号,小艺看世界都能够准确地播报提示。
第四,借助手机这类最普及的终端设备,如果未来能力下放到主流机型甚至走量的入门机型,那么对于有特定需求的用户而言,绝对是一个利好消息。毕竟他们“看见、听见、描述”这个世界需要支付的成本能够低很多,或者尽可能靠近他们可以承担的范围内了。
写在最后
“黑超之旅”,或者说华为的无障碍沟通展区只是HDC2024的一小部分,但从这一小部分中我们可以看到科技的力量,或许这并不是多数用户需要的、会使用到的功能,但是对于同样身处万物互联时代数千万的视觉、听觉、语言障碍用户而言,这些功能点则堪称“必备”。
也有资深业内人士在观看HDC主题演讲时分享道,这也是AI普惠的重要意义。
正如华为终端BG首席执行官何刚提到的:鸿蒙原生智能,不让任何一个人掉队。
自2019年8月9日正式发布以来,HarmonyOS操作系统历时1778天,历经4代,鸿蒙生态设备数量已超过9亿,已有254万HarmonyOS开发者投入到鸿蒙开发,鸿蒙学堂学习人次435万,开发者服务调用次数827亿次/月。
目前鸿蒙原生应用已进入全面冲刺阶段, 5000多个常用应用已全部启动开发,其中超过1500家已完成上架。
推送更新方面,基于OpenHarmony的HarmonyOS NEXT在6月21日面向开发者和先锋用户启动beta升级,预计8月份推送Beta版,到了今年第四季度将推送正式版,明年则将支持更多机型,就让我们拭目以待吧。