消息称字节跳动拟训练超5万亿参数大模型

8月7日消息，据消息，字节跳动正在讨论训练一个参数规模超5万亿的模型，这是目前国内已知参数规模最大的模型，不过该计划仍处于早期阶段，并不代表模型最终一定会发布。

新模型将由Seed Foundation负责人项亮主导，与大语言模型预训练数据负责人沈科合作。为此，Seed正在重新梳理组织，划分职责，分配资源。

项亮与沈科是字节跳动人工智能及大模型研发体系内的核心骨干，均出自字节的“搜广推”体系。项亮本科毕业于中国科学技术大学，博士就读于中科院自动化所，2016年加入字节，曾负责机器学习中台AML团队，后调任豆包大模型Foundation团队任负责人。沈科2018年清华毕业后，加入字节跳动，现主要负责LLM预训练数据。

字节讨论训练超5万亿参数模型，原因之一是今年发布的语言模型Seed 2.0市场反响较为有限。Seed团队认为，与其在现有尺寸上继续追赶，不如把参数规模一次推到同行的数倍，争取领先位置。

图源：字节跳动

就在两周前，字节跳动创始人张一鸣与Seed负责人吴永辉共同召开了一场Seed全员会，张一鸣明确表达了自己对seed的支持。他明确指出：过去几年，字节已经在AI方向投入了很多；未来，还会投入更多。

张一鸣的主要观点是：其一，训大模型本就是一件很难的事，团队不必过度焦虑。他表示一段时间内可接受模型落后于行业，希望大家以追求智能上限为目标，期待Seed模型能力能跻身世界第一梯队。

其二，AI Coding是当前AI应用的关键方向，所以要把火山引擎、飞书和豆包的资源整合到一起，只有这样才能构筑在算力和数据上的优势。但他也提醒，编程只是眼下的热点之一，不应该完全被它牵着走，编程之外还有更多更大的机会。

其三，他表扬了视频生成模型Seedance，认为这个模型在市场上很特别，也有领先的技术优势。相比追随其它领先模型的既有路线，他更鼓励Seed做出有自己特色的模型。

张一鸣还谈到了自己对模型蒸馏的看法。他反对蒸馏，认为蒸馏能在短期内改善模型表现，但本质上仍是在复制其他模型已有的能力。沿着这条路走，最多只能不断逼近对方，很难真正实现超越。他希望Seed可以从更底层的维度去构建自己在AGI上的壁垒。即使不蒸馏意味着公司在技术上会短暂落后国内竞争对手，也不会采用这一捷径来推进其AI模型能力。