作者|一橙

出品|网易科技《态℃》栏目

今天凌晨,OpenAI公布了其大型语言模型的最新版本——GPT-4。该公司表示,GPT-4在许多专业测试中表现出超过绝大多数人类的水平。

具体而言,GPT-4实现了以下几个方面的飞跃式提升:更聪明,做题水平越来越好;支持图像输入,拥有强大的识图能力,但目前只限内部测试;更长的上下文,文字输入限制提升至2.5万字;回答准确性显著提高;更安全,有害信息更少。

对于普通人而言,如何理解GPT-4到底有多强多聪明?

据OpenAI透露,GPT-4通过了所有基础考试而且是高分通过。例如,GPT-4在模拟律师资格考试的成绩在考生中排名前10%左右,在SAT阅读考试中排名前7%左右,在SAT数学考试中排名前11%左右。相比之下,曾经令人震撼的GPT-3.5 ,真实得分在倒数10%左右,GPT-4的强大已经可想而知。

有网友评论,“如果真跟报告说的那样就太可怕了,我感觉能力已经远超我了。”也有人笑称,“我躺好了!我生在了适合我的时代!”

最多的声音则是对未来工作不保的担忧,“还有哪个行业可以不被替代?”“消除任何幻想,AI时代横扫全球,先思考下GPT-4不能做但你能做的。”

比以前的版本“更大”,或许也更烧钱

OpenAI称,GPT-4比以前的版本“更大”,这意味着其已经在更多的数据上进行了训练,并且在模型文件中有更多的权重,这使得它的运行成本更高。

同时,OpenAI并未公布这个模型的参数量有多少。

OpenAI表示,它使用的是微软(MSFT.US)Azure训练模型,微软已经向这家初创公司投资了数十亿美元。OpenAI没有公布具体模型大小的细节,也没有公布用来训练模型的硬件,理由是“竞争情况”。

目前,此领域的许多研究人员认为,人工智能领域的许多最新进展,都来自于在数千台超级计算机上运行越来越大的模型,这些模型的训练过程可能耗资数千万美元。

为了不断提高GPT-4性能,OpenAI还为其研发大搞“基建”。

在过去的两年里,OpenAI重建了整个深度学习堆栈,并与Azure一起为其工作负载从头开始设计了一台超级计算机。一年前,OpenAI 在训练GPT-3.5时第一次尝试运行了该超算系统,之后他们又陆续发现并修复了一些错误,改进了其理论基础。这些改进的结果是 GPT-4的训练运行获得了前所未有的稳定。

OpenAI联合创始人兼总裁格雷格·布罗克曼(Greg Brockman)表示,OpenAI预计,未来将由投资十亿美元超级计算机的公司开发尖端模型,一些最先进的工具将带有风险。OpenAI希望对他们工作的某些部分保密,以给初创公司“一些喘息的空间,以真正关注安全并做好它。”

局限性明显,GPT-4仍然不完全可靠

尽管功能已经非常强大,但 GPT-4仍与早期的 GPT 模型具有相似的局限性,其中最重要的一点是它仍然不完全可靠,也就是还有可能胡说八道。

OpenAI也警告称,GPT-4还不完美,在许多情况下,它的能力不如人类。该公司表示:“GPT-4仍有许多已知的局限性,我们正在努力解决,比如社会偏见、幻觉和对抗性提示。”

总的来说,GPT-4相对于以前的模型(经过多次迭代和改进)已经显著减轻了幻觉问题。在 OpenAI 的内部对抗性真实性评估中,GPT-4的得分比最新的 GPT-3.5模型高40%。

同时,GPT-4训练数据还是截止到2021年9月份。这也意味着,GPT-4对于这个时间点以后的信息,缺乏足够的了解,也不会从其经验中学习。

在GPT-4发布之后,OpenAI创始人阿尔特曼发推文表示:“它仍然是有缺陷的,仍然是有限的,在你花了更多的时间第一次使用它时,它似乎比实际情况更令人印象深刻。”

中国的ChatGPT们要怎么追?

最令人震惊的在于,按照 demo 视频里 OpenAI 工程师们的说法,GPT-4的训练在去年8月就已经完成,剩下的时间都在进行微调提升,以及最重要的去除危险内容生成的工作。

这也意味着,OpenAI 内部技术,比大家想象中的领先外界更多年。更可怕的是,OpenAI还一口气开放了API接口和相关论文!这让中国的ChatGPT们还怎么追?

英诺天使基金合伙人王晟曾告诉《态℃》栏目,“中国的ChatGPT们即便奋起直追,静态来讲也许两三年能追上,我认为已经很乐观了。”

但随着更强大的GPT-4发布,OpenAI 的技术能力显然仍在不断进步,且进展速度远比我们追的速度还要快。王晟在之前的采访中判断,“除非这件事突然遇到了一个瓶颈,整个科技发展方向到头了,对方不得不停下来,或许我们还有机会追平,或者我们挖掘到一种新的技术路径有机会追上,不然可能没有机会了。”

与此同时,在该模型的落地和应用方面,OpenAI也有了最新进展。

新模型将提供给ChatGPT的付费用户,也将作为API的一部分提供,允许程序员将AI集成到他们的应用程序中。OpenAI将对750字左右的指令信息收费3美分,对750字左右的响应信息收费6美分。

OpenAI还介绍,摩根士丹利正在使用GPT-4来组织数据,而电子支付公司Stripe正在测试GPT-4是否有助于打击欺诈。其他客户还包括语言学习公司Duolingo、Khan Academy和冰岛政府。OpenAI合作伙伴微软周二表示,新版必应搜索引擎将使用GPT-4。

GPT-4取得的成绩令人兴奋,但对于还在起跑线上的中国ChatGPT们,还有大量的工作要去探索和研究,想必感受到了巨大的压力。风浪越大鱼越贵,对于这些迅速进入这个新领域的公司来说,也将会拥有巨大的机会。

GPT-4的强大告诫我们,未来唯一限制的因素,就是你的想象力!