北京时间 2 月 15 日上午消息,据报道,谷歌聊天机器人演示活动现场翻车导致其股价当天暴跌逾 7%,但微软的演示活动同样出现了事实性错误

翻车的不止谷歌?微软必应聊天演示被指存在事实性错误-风君雪科技博客

上周的科技圈掀起了一个聊天机器人的小高潮,微软和谷歌都试图通过展示早起版本的 AI 搜索来先发制人。微软更是宣布,该公司的 AI 搜索仅用 48 小时就吸引 100 多万人注册

这种技术可以针对用户的问题直接给出答案,看起来就像是真人创作的一样。微软 CEO 萨提亚・纳德拉(Satya Nadella)表示,该技术“或许会掀起知识工作的工业革命”。

但对于担心准确性的人来说,人工智能还有许多不足之处

在微软进行演示时,这项嵌入在必应搜索中的类 ChatGPT 技术分析了 Gap 和 Lululemon 的财报。但业内人士将其给出的答案与财报原文对比后却发现,这款聊天机器人遗漏了一些数据,甚至会杜撰一些内容。

“必应 AI 在演示过程中给出了一些完全错误的答案,但却没人注意到。”独立搜索引擎研究员德米特里・布里尔顿(Dmitri Brereton)写道,“相反,大家都对必应的宣传欢欣鼓舞。”

布里尔顿发现,除了财务数据上的错误外,微软在演示中针对吸尘器规格和墨西哥旅行计划的回答可能存在事实性错误。布里尔顿最初并不是为了给微软“挑刺”,他只是在细致对比微软和谷歌的答案时意外发现了这些问题。

人工智能专家称这一现象为“幻觉”,也就是说,基于大语言模型生成的工具有杜撰内容的倾向。上周,谷歌推出了一款与之竞争的人工智能工具,演示过程中同样存在事实性错误 —— 但当时的错误很快就被人发现。

这两家公司都在加紧将新型生成式人工智能整合进搜索引擎,希望在 ChatGPT 引爆行业热潮后向世人展示自己在这方面的优势。ChatGPT 是去年 11 月由创业公司 OpenAI 推出的,他们已经通过微软融资百亿美元,与之竞争的 Stability AI 和 Hugging Face 等创业公司也在融资中获得了数十亿美元的估值。

谷歌与微软对待这项技术的态度差异明显:由于担心声誉风险和安全问题,谷歌迟迟不愿将 AIGC(人工智能生成内容)技术整合进搜索引擎,而微软却在上周强调,有可能在短期内向部分公众开放这项技术

“我认为不能让这项技术躺在实验室里,”纳德拉说,“应该安全地推广出去。”

但在必应 AI 的演示过程中,的确在公司财报数据上出现了一些问题。

微软营销高管约瑟夫・梅赫蒂(Yusuf Mehdi)在演示过程中访问了 Gap 的投资者关系网站,然后让必应 AI 根据这家零售商 11 月发布的第三季财报总结出“要点”。

“很酷,节约了大量时间。”梅赫蒂说。

下面是微软演示过程的屏幕截图:

翻车的不止谷歌?微软必应聊天演示被指存在事实性错误-风君雪科技博客

翻车的不止谷歌?微软必应聊天演示被指存在事实性错误-风君雪科技博客

以下是这份总结中存在的错误:

-Gap 报告的毛利率为 37.4%。但在去除与 Yeezy 有关的费用后,调整后毛利率为 38.7%。

-Gap 的运营利润率为 4.6%,而非 5.9%。5.9% 这个数据在该公司的财报中根本没有出现。

-调整后摊薄每股收益为 0.71 美元,而非 0.42 美元,后者同样在财报中无法找到。Gap 的财报包含一个调整后所得税收益,约为 0.33 美元。

-Gap 去年 8 月下调了全年预期,并在第三季度财报中表示,“第四季度销售额可能同比下滑个位数左右”。由此看来,全年营收应该下滑,而非“较低的两位数增长”。并没有营业利润率或每股收益预期。

翻车的不止谷歌?微软必应聊天演示被指存在事实性错误-风君雪科技博客

Gap2022 财年第三季度财报

微软表示,该公司知道这些错误,他们也预计必应 AI 会犯一些错误。

“我们知道这份报告,并且已经通过分析这一问题来改善体验。”微软发言人说,“我们承认仍然有一些工作要做,并且预计到该系统可能会在预览期间犯一些错误,正因如此,反馈才至关重要,这可以帮助我们学习和改进模型。”

微软随后让必应 AI 对比了 Gap 和 Lululemon 的财报。梅赫蒂希望必应能将两份财报的数据提取出来,制作成一份表格。

“看看效果多么惊人。”他说,“就像这样,一张表格,这个问题的答案有了。可以想象一下,用其他方法需要花多长时间。”

下面是必应 AI 的结果:

翻车的不止谷歌?微软必应聊天演示被指存在事实性错误-风君雪科技博客

翻车的不止谷歌?微软必应聊天演示被指存在事实性错误-风君雪科技博客

下面是表格中出现的几项错误,从利润率开始:

-Lululemon 的毛利率是 55.9%,不是 58.7%。

-该公司的运营利润率是 19%,不是 20.7%

-Lululemon 的摊薄每股收益为 2 美元,调整后每股收益为 1.62 美元,必应显示的摊薄每股收益为 1.65 美元。

-Gap 现金及现金等价物为 6790 万美元,不是 14 亿美元。

-Gap 库存为 30.4 亿美元,不是 19 亿美元。