根据 Theinformation 消息人士曝料,微软调集了各组中的精英,组建了一支新的 AI 团队,专攻小模型,希望能够摆脱对于 OpenAI 的依赖。

凭借与 OpenAI 的紧密合作,微软不仅一跃成为了大厂中模型能力最强的公司,而且股价也成功赶上了苹果,成为了世界上市值最高的公司之一。

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

但是,去年 11 月份 OpenAI 的闹剧也让微软明白,如果把自己最重要的技术押宝在一家初创公司上,最后翻车的风险也是相当大的。

毕竟在商业世界里,「我能用」和「是我的」是两个完全不同的概念。

达沃斯世界经济论坛上,微软⾸席执⾏官 Nadella 称,在⼩型⼈⼯智能模型⽅⾯,微软正在以⼀种 「掌控⾃⼰命运 」的⽅式取得突破。

纳德拉说「我们⾮常重视拥有最好的前沿模型,⽽如今最前沿的模型恰好是 GPT-4。同时我们也拥有最好的小语言模型–Phi,从而拥有了最强的多样化的模型能力。」

而最近有外媒曝出,微软正在组建一支自己的 LLM 嫡系部队躬身入局,希望从「小模型」发力,让微软的肉身真正坐上「大模型之战」的主桌。

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

根据微软内部知情人士透露,微软组建了一个名为「GenAI」的团队,由公司副总裁 Misha Bilenko 领头,直接向公司 CTO Scott 汇报。

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

Bilenko 曾经是「俄罗斯百度」Yandex 的人工智能研究主管,过去两年里他一直在领导 Azure 团队,在微软内部部署 OpenAI 的系统。

这个「GenAI」团队的大部分成员,都是这两年一直在微软配合 OpenAI 团队落地的 Azure 工程师。

除了这些有工程经验的人员,微软还调配了最顶级的 AI 研究人员加入这个团队,包括 Sébastien Bubeck 带领的微软研究院的研究人员。

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

他们开发的 Phi 这种轻体量的模型,体积⼩到可以在移动设备上运⾏,但在某些任务上能够逼近 GPT-4 的性能。

Phi 团队去年使⽤ GPT-4 ⽣成了数百万条⾼质量的⽂本,并在这些数据上对 Phi 进⾏了训练,使其能够模仿体量更⼤的模型进行输出。

而除了微软,谷歌,Stability AI 等公司,也都推出了自己的「小模型」,希望能获得低成本和移动设备上 AI 竞争的先发优势。

高质量数据是小模型的关键

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

微软在一个月前推出的 Phi-2 小模型,以不到 3B 的参数量,在很多测试集上跑到了 Llama 2 70B 的分数,着实把业界下了一跳。

Phi-2 只有 2.7B 的参数,在各种基准上,性能超过了 Mistral 7B 和 Llama-2 13B 的模型性能。

而且,与 25 倍体量的 Llama-2-70B 模型相比,它在多步推理任务(即编码和数学)上的性能还要更好。

此外,Phi-2 与谷歌最近发布的 Gemini Nano 2 相比,性能也更好,尽管它的体量还稍小一些。

微软称他们使用 1.4T 个 token 进行训练(包括用于 NLP 和编码的合成数据集和 Web 数据集)。

而且训练 Phi-2 只使用了 96 块 A100 GPU,耗时 14 天就完成了。

相比之下,Meta 在去年中推出的 Llama 2 70B,网友推算花了 170 万 GPU / 小时来训练。

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

如果按 96 块 A100 来算,需要 746 天。

而且 Phi-2 是一个完全没有经过微调和 RLHF 的基础模型,与经过对齐的现有开源模型相比,Phi-2 在毒性(toxicity)和偏见(bias)方面有更好的表现。—— 这得益于采用了量身定制的数据整理技术。

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

上图展示了根据 ToxiGen 中的 13 个人口统计学数据,计算出的安全性分数。

可以说,之所以微软要大力发展小模型,一个非常重要的原因是,他们找到了一条能够在保证模型能力不受太大影响,但能有效降低模型参数的办法。

大模型也要「降本增效」

微软不但在训小模型上很有「天赋」,而且做这件事本身也非常有价值的。

众所周知,在 GPU 一卡难求的今天,要训出能力超强的大模型,已经完全不是一个和投入有关的问题。

技术实力,算力限制等等都卡住了所有大厂的脖子。

而且即便获得了能力最前沿的大模型,要把它和现有业务结合起来,成功的赚到钱,也是一件很难的事情。

大模型居高不下的推理成本,让大公司们现在推出的 AI 工具基本上都是在「亏本赚吆喝」。

业界有一个非常有意思的比喻,用 GPT-4 来总结邮件就相当于开着兰博基尼送外卖。

所以也就不奇怪为什么有媒体曾经曝出,微软的 GitHub Copilot 每个用户平均每月要亏本 20 刀,因为大模型的推理成本实在太高了。

微软组建王牌团队专攻“小模型”:摆脱 OpenAI 依赖,为大模型降本增效-风君雪科技博客

在代码生成和补全这种高频次调用模型的场景下,厂商如果最终要靠服务赚钱,推理成本是必须要考虑的事情。

而模型越大,训练的成本也就越高,推理成本更是成十倍甚至百倍规模地上升。

如果生成式 AI 的浪潮最后要能转化成真正提高生产力的技术,让推进的厂商实实在在赚到钱是非常重要的。

所以,在尽量保证模型能力不变的前提下,尽可能地减少模型的规模,是在经济上找到出路的几乎唯一的方式。

而在这个方向上,微软已经走在了行业的最前端。

而且除了出于成本之外的考虑,数据隐私,在移动端部署等需求,也需要各大厂必须要有自己的「小模型」,才能满足各种产品和服务的 AI 化需求。

参考资料:

  • https://www.theinformation.com/articles/microsoft-forms-team-to-make-cheaper-generative-ai?rc=epv9gi