通用banner

Meta十年绝密项目最强AR眼镜来了

2024-09-27 08:12:00
作者: 行业资讯

  和现在的体积差不多,导航时变成移动的HDR,视频通话时对方的动态形象悬浮在空中,镜片能显示所有你需要的内容......反正就和贝吉塔、钢铁侠戴的那种差不多。

  今天凌晨,Meta发布的首款AR智能眼镜Orion,让我们离这个理想中的产品更近了一点。虽说过去的几年陆续有AR眼镜发布,但共性也很明显:要么功能单一只是个移动投影仪,要么体积笨重价格昂贵,完全不适合大众市场。

  和先前的产品相比,Meta Orion不厚重的外观和集成的AR功能,让大家再次看到了AR眼镜落地的希望。

  而且Meta Connect 2024作为发布会十周年的重要节点,扎克伯格还带来了其他新玩意儿:

  Meta Ray-Ban的AI新功能:实时翻译、个性穿搭建议,还能帮你记车位;

  AI+硬件是今年所有消费电子品绕不过去的话题,那Meta究竟是如何将自家的大模型与新品硬件相结合?万众瞩目的Meta Orion智能眼镜究竟长啥样子?我们共同来看看。

  在此之前,已经走入大众市场并且取得了不错战绩的联名眼镜Ray-Ban Meta,成功验证了市场对智能眼镜的接受程度。

  但这个产品,只能说完成了Meta目标的一半:Ray-Ban Meta主要提供音频、摄影和部分AI功能,简单来说还是一个戴在眼睛上的传统设备。

  而被扎克伯格称为“无可挑剔”的完全体,也就是Meta首款AR智能眼镜Orion,秘密研发了十年,投入了几十个亿美元,今天终于从保密箱中被取出,露出了庐山真面目。

  对这款眼镜的第一印象,自然是这个极其接近普通太阳眼镜的外观设计,马上和市面上现有的“大老粗”竞品拉开了不小差距。

  当然,这也是因为Meta并没选将所有的组件集成到一个眼镜的形态上。Meta Orion一共由三个部分所组成:眼镜本体,一个手势追踪腕带,以及一个遥控器大小的“计算模块”,三者无线连接。

  这种“分体式”的方案,加上机身采用了更轻的镁材料,Orion眼镜本体实现了惊人的98克重量。作为对比,Snap上周发布的全新AR眼镜Spectacles重达226克。

  更让人印象非常深刻的是,拥有轻薄机身的Orion可以在一定程度上完成2小时左右的续航,更粗更重的Spectacles只有短短的45分钟。

  Orion的镜片并非是玻璃显示屏,而是碳化硅透镜,镜框上微型的投影仪会将光发射在波导中,而波导投射在透镜上,从而显示出具有不一样纵深和大小的AR虚拟内容(扎克伯格称其为“全景图”)。

  据The Verge的测试,Meta Orion的视场角高达70度,可能是行业内拥有最宽视野的AR眼镜。

  根据现有的演示视频,用户都能够戴着眼镜打开多个Meta Horizon App窗户进行多任务,或者用Meta AI对现实世界的事物进行识别、标注。

  即使用户的视角从这些窗户上面移开,这些虚拟的投射会一直“存在”,静候用户的目光再次回归。

  至于投射的画质和清晰度,用来看图文不是问题,但你暂时不会想用这个眼镜看电影。

  Meta擅长的社交能力也和AR眼镜碰撞出了新的花样,通话中的好友会以一个全息投影的形象出现在你的面前,不过目前还比较粗糙。

  Orion也有一个朝内的摄像头用于扫描佩戴者的脸部,生成一个实时的建模,用于和手机用户的视频通话画面。

  交互方面,Meta Orion支持眼动追踪、手势操控和AI语音操作,佩戴配套的腕带可以在一定程度上完成更精细的手势操作。

  这个腕带可以识别一些手势:拇指捏住食指可以再一次进行选择内容;捏中指和拇指可调用或隐藏应用程序启动器;用拇指抵住合拢的手掌做出抛硬币的手势,即可向上或向下滚动,总体来说非常自然。

  值得一提的是,腕带还提供了触觉反馈,让你知道手势有没有被成功识别,解决了目前MR交互的一个痛点。

  这个腕带的原理是通过肌电图,来读取与手势相关的神经信号,The Verge甚至评价它“有点像在读心”。

  有了这个腕带,用户都能够把目光当作Orion界面的指针,捏合当作点击,整体体验非常自然,更重要的是,如果要在公众场合用AR眼镜,不用再尴尬地对着空气“发号施令”或者“指手画脚”,双手插兜也能完成交互。

  在Ray-Ban眼镜上已经初露锋芒的Meta AI,和AR也结合出了新玩法,现在能够进一步和现实世界进行交互。

  在实机体验中,The Verge用Orion快速识别、标注了桌上放着的食材,并让Meta AI依据这一些材料生成了一个奶昔的食谱。

  虽然扎克伯格表示,Meta Orion是一款面向消费者打造的产品,但目前的Orion设备还是原型机,只面向部分开发者和体验人员提供,这中间还包括老朋友黄仁勋。

  扎克伯格登场不到十秒,就公布了Quest 3S的价格,这在一众电子科技类产品的发布会中实属罕见,不过还是得感叹一句,开门见山、只讲重点的感觉,真的很棒。

  看完发布会,我感觉比起Quest 3S这个命名,其实叫它Quest 2改良版会更合适。先前有消息称,作为更加“性价比”的选择,Quest 3S还是用了与Quest 2相同的透镜,机身整体会比Quest 3更厚重一些。

  虽然在硬件配置方面Quest 3S不及Quest 3,但在软件生态的体验上,却和老大哥基本持平,Quest 3S一样能在HorizonOS中获得丰富的娱乐以及办公功能。

  去年Quest 3发布后,评价一直褒贬不一,其中最被人诟病的是启用视频透视后,延迟过高和畸变严重,扎克伯格称,经过了一年的优化改进,现在的体验有了很大的升级,特别是在VR功能、手部追踪和软件适配这三个方面。

  用户现在可以在两款产品上,把2D网页直接转变为沉浸式办公,就像Vision Pro那样,把在设备中打开的界面放在空间的任何位置。

  另外,在Quest 3S上的剧院模式,可以把单独的界面扩展成一个巨幕影院,屏幕范围能扩充到整体空间里。沉浸式观影在头显设备上已经不是什么新鲜玩意儿了,能适配多少片源和平台,才是拉开各家产品体验的核心。

  电影和游戏是VR头显的娱乐必备,在此基础上的附加功能,往往也能体现出产品本身的性能,这次发布会还公布了Quest 3S的新功能——Hyperscale。

  用户通过手机扫描房间的轮廓细节,以及家具摆放的位置,接着就能在Quest 3S重新构建出一个接近1:1的复原场景。

  从发布会的演示来看,场景还原度真的不错,毛边和扭曲不是太多,以后线上沉浸式看房,或者足不出户地游玩博物馆或者名胜古迹,又多了一个能轻松实现的平台。不过除此之外,场景复原的实用性究竟还有哪些?要如何结合每个地区不同的情况将技术落地,是Meta和Quest今后需要回答的难题。

  Meta的全称是metaverse,即元宇宙。Facebook当年改名Meta表明了扎克伯格对新技术探索的决心,而Meta也成了最先一批向元宇宙进军的科技巨头。所以“元宇宙”也就成了每次Meta新品发布必提及的部分,尽管他们已在这样的领域碰了很多壁。

  扎克伯格在发布会上介绍,Meta Quest 3S推出了沉浸式社交的增强功能,Quest的用户现在可以在设备中创建虚拟形象,和彼此一起通关游戏,或者组队进行健身,又或者去听一场线上的演唱会。

  随着Quest 3S的发布,Quest 2/Pro也宣布彻底停产,另外Quest 3的价格也从649美元降至499美元,新产品将在10月15日后发货。

  比起几乎没变化、甚至还减配的Meta Quest 3S,Meta AI的新功能就被衬托得更有新意。

  扎克伯格在发布会上宣布,Meta AI正式上线语音功能,用户都能够通过Messenger、Facebook、WhatsApp和Instagram向Meta AI提出问题或以其他方式聊天,并获得模拟语音回复。

  不仅如此,AI语音的音色还能自主选择,你可以使用包括朱迪·丹奇、约翰·塞纳、奥卡菲娜、克里斯汀·贝尔等名人在内的AI声音。

  扎克伯格还在现场演示了语音功能,总体来说对话响应速度还挺快,回答的内容也比较准确,语音语调听起来又向真人问答更近了一步,而且还能随时打断对话插入新的话题或问题。

  虽说中间出现了几次失误,不过作为正在探索和发展中的技术这也正常,扎克伯格本人多次也毫不避讳,就像他本人说的一样:这是demo经常会出现的情况。

  另外,通过AI Studio功能,用户还能根据自身的需求、爱好等,自主创建相应的AI角色,它可以帮助我们生成表情包、提供旅行建议,当然也能进行日常的对话。

  不过从效果来看,接下来的AI翻译功能则更加实用。目前,搭载了Meta AI的终端,都能支持实时语音翻译功能,发布会上的两位发言人,通过佩戴Meta Ray-Ban完成了一次即时的跨语种(英语-西班牙语)对话。

  Meta Ray-Ban能够最终靠麦克风采集对方的语音,并迅速翻译成机主的母语,虽说每种语言的翻译响应速度都不算慢,但句子稍微长一点,中间等待的时间还是略显尴尬,而且Meta AI有时候还会抢话。

  另一个线上视频的语音翻译效果会更上一层楼,比起上面的实时翻译,我愿称之为“高阶版翻译功能”。Meta AI可以把线上视频的语音翻译成另一个语种的语音,更厉害的是,它能把原视频说话人的语气、音色,甚至于不同国家读英语时的口音都完美还原。

  Meta AI在发布会上一系列的更新功能,其实都有一个共同的驱动核心:Llama 3.2。

  今年七月份,Meta才刚刚公布了Llama 3.1模型,简单来说,超大杯Llama 3.1 405B是Meta迄今为止最强大的模型,也是全球目前最强大的开源大模型,更是全球最强的大模型。

  Llama 3.2是Meta的首个开源AI模型,包括两个视觉模型(11B和90B)和两个轻量级的纯文本模型(1B和3B),这意味着它具备了多模态的能力,也就是可以同时处理文本和图像,其中轻量级的纯文本模型可以直接在本地理解用户输入的内容。

  依靠Llama 3.2全新的能力,许多搭载大模型的设备也有了更加广泛的实用场景。除了上文提到的AI翻译功能,有了视觉能力的Meta Ray-Ban现在能更深入地协助人们的工作生活,日常起居。

  你可以直接咨询Meta Ray-Ban可以用牛油果做点啥好喝的饮料,你甚至都不需要在句子里提到牛油果,直接用“这个”等代词就行,因为它看得见。

  不知道有多少人有过忘记车停在商场哪里的情况,如果你也是忘记车位编号的常客,那现在Meta Ray-Ban就能帮你记下车位号码,以便你忘记时随时调取相应的信息。

  拨打海报上的号码,扫描宣传册上的二维码,帮你搭配日常穿搭......总之通过眼镜上的摄像头,加上全新升级的视觉大模型等AI能力,Meta Ray-Ban几乎能出现在你生活的每个角落。

  也正是因为这颗摄像头的存在,Be My Eyes和Meta的这次联姻才成为了可能。Be My Eyes是一家通过实时视频和人工智能,将盲人或视力低下的人,与视力正常的志愿者和公司联系起来的公益平台,通过线上实时的视频通话,志愿者/组织能够在一定程度上帮助智障人士解决眼前的困难。

  技术的发展不仅在为绝大多数人的生活增值,也极大程度上弥补了特殊群体中,缺失的那一部分,从而让所有人的生活都能更便利,技术的意义也就在这里展开。

  虽然早已对Meta Orion眼镜有所预期,但当扎克伯格拿出真机的时候,还是给我们大家带来了科技新品久违的“惊艳感”。

  这种惊艳感不仅是因为Meta勾勒的未来蓝图足够吸引,更是因为这样的产品的实际效果很接近愿景,The Verge在体验过后的评价非常精辟:

  这也是Orion和许多Meta曾经探索过的奇思妙想不同之处:它不是一个难以走出实验室的概念,而是Meta选择“all in”的明日产品,是AI和MR的完美结合。

  它是最佳的AI设备:可以看用户所看,听用户所听,能结合用户的现实场景,因此能给出更有效的回答。

  它也是终极的交互和联系方式:不需要局限于小屏幕,也不必借助厚重的头显,虚拟和现实世界彼此紧密交融,随时可交互,处处是交互。

  手机这种计算设备形态已经走到了生命周期的末尾,这已经是行业的共识;而下一代的计算设备,苹果、Meta,甚至OpenAI都正在探索。

  尽管还是原型机,Meta给出的答卷Orion目前看来确实不赖,至于是否成为手机之后的下一个主流智能终端,还有很多未知数,但扎克伯格对此倒是信心十足。

  眼镜和全息影像将会成为一种无处不在的产品。如果我们能让世界上已拥有眼镜的人,都升级到拥有AI和MR的眼镜,那么这将变成全球历史上最成功的产品之一,而且我认为它会走得更远。

...

分享到