【网易科技9月12日报道】近日,记者获悉,地平线成功在旭日3中的BPU®计算单元上,部署运行参数规模高达14亿的大语言模型。
据介绍,此次部署源于旭日3所搭载的双核BPU®伯努利计算单元对神经网络计算的原生性支持,能够在处理大语言模型方面提供高性能、低功耗的计算处理能力。
另一方面,地平线通过软硬协同编译,采用算子重写、算子重排、算子融合和KV-Cache等技术,优化了模型结构,实现推理速度的提升。
据了解,该模型的运行效能相较于LLaMA.cpp等纯CPU方案有所提升。这也意味着,旭日3对此大语言模型的支持性可达到产品级应用水平。(江淼)
最新评论