出品｜虎嗅科技组

作家｜苏子华

剪辑｜苗正卿

题图｜AI生成

已往一段时辰，“预测验闭幕”成为了 AI 领域最强烈的扣问之一。

OpenAI的GPT系列模子此前大踏步的前进，预测验是中枢推能源。而前 OpenAI 首席科学家 Ilya Sutskever、预测验和scaling law（规模定律）最诚恳的倡导者，却声称预测验要闭幕了、scaling law要失效。由此，激勉了无数争议。

与之相对应的，是GPT-5被曝研发受阻，仍是比预期晚了6个月。似乎印证了Ilya的判断。

大模子公司的异日，是否因此都蒙上了暗影？在刘威看来，所谓的预测验闭幕对中国的大模子公司影响不大，还不必挂牵。而据他对Ilya的了解，Ilya的话不成只看名义真谛。

刘威是前混元大模子期间端庄东说念主之一，腾讯了得科学家，前不久刚刚低调开启AI领域的创业征途。

他于2016年加入腾讯AI Lab，与AI Lab另外两位端庄东说念认识潼、俞栋通盘，被业内称为“AI Lab三剑客”。在2018年，刘威入选IEEE智能系统10大AI后生科学家；2022年，因对大规模机器学习和智能多媒体的孝顺，得回IEEE Fellow。

在腾讯时期，刘威的职责东如果面向腾讯居品业务的CV基础大模子、多模态汇注大模子、文生图、文生视频大模子等。

在刘威看来， Ilya此时这样讲，可能恰正是因为他知说念OpenAI里面遇到了一些期间瓶颈。即便如斯，刘威认为，行业施行上依旧在随从着OpenAI，它仍是引颈者。

那么，该如何汇注预测验闭幕的确切影响，如何正确看待OpenAI正碰到的瓶颈、国表里大模子公司的处境，以及预判AI进化的下一阶段？

针对这些问题，刘威从科学家和AI创业者的视角，和咱们聊了聊。

以下是对话实录，经剪辑整理，为便于阅读，有所删减：

“预测验闭幕对中国大模子公司影响不大”

虎嗅：llya最近暗示预测验将会闭幕，预测验模子需要的海量数据行将费劲。你如何看待他的不雅点？

刘威：按照llya的话语格调，他一般不会把前边的定语、状语说得很露馅。是以，“预测验闭幕”前边的定语和状语是什么呢？确切地说，是文才调域的大语言模子的预测验要闭幕了，数据费劲、找不到高质料的文本token了。

他的认识是想让有识之士意志到：文才调域的预测验确乎是闭幕了，呼叫新的测验范式与新的scaling law。

虎嗅：在这个时辰点，他可能看到了什么？如何汇注背后的逻辑？

刘威：llya这样说，可能有3个原因。

第一，可能是OpenAI里面遇到了一些期间瓶颈。

按照华尔街日报的报说念，这个期间瓶颈就是指测验GPT-5模子（OpenAI里面代号Orion）的时候，预测验的token不够用了，于是加入了合成的token，驱散合成的token效劳欠安甚而很差，差到可能让扫数模子的测验失败。

OpenAI最运转干涉无数的合成数据到预测验阶段，驱散遇到了很大的周折，这个周折让OpenAI的GPT-5研发6个月莫得大的发达。要汇注其中的原因，咱们得搞明晰预测验的作用。预测验施行上是在模拟特定domain的天然数据散播，比喻在文本domain，捕捉与模拟天然语言的散播是什么。是以OpenAI会从许多高质料的网站，比喻维基百科、纽约时报等去获取一些文本数据，这些数据都属于东说念主创作的、真实的语言散播。

而合成数据和真实数据，在概率散播上“长”得相配不一样。举个例子，我之前在腾讯也作念过东说念主脸图像DeepFake检测，咱们发现AI合成的假的东说念主脸图像和真实的东说念主脸图像在高频段的信息特征十足不一样，是以咱们研发的东说念主脸打假系和洽下子就把假的东说念主脸识别出来了。是以在预测验阶段，如果把真实token的天然散播和合成token的“假”散播混在通盘，喂给模子测验，便可能会让模子测验崩溃或者达到一个“妄下雌黄”的模子驱散。

第二，我揣摸，o1可能在GPT-5的预测验中起到了不小的作用，OpenAI可能用o1造了许多代码类、数学类、逻辑类的合成数据，测验GPT-5去学习。关联词，合成数据最大的问题是种种性差。比如，用o1造无数的token，既然是一个模子造的，token的同质化不可幸免，那便不具备种种性。而天然界的真实数据的优点之一就是种种性强，包罗万千。

是以，OpenAI的科学家与工程师们可能意志到了合成数据不成用太多，即即是用了合成数据，也要设法进步种种性，这样测验效劳仍然可能有进步。基于这个认识，OpenAI去找高等才调员、相配资深的数学教悔或者数学博士，来写数学题的不同解法，以及用不同的方法作念编程题，然后使用这些东说念主类的真实种种性token来测验一个更好的token生成器模子，以进步合成数据的种种性。

第三，以上措施带来的模子性能进步仍然不够显耀。从GPT-3.5到GPT-4的进步是巨大的，从o1到o3的进步亦然巨大的，关联词从GPT-4到GPT-5，进步不大。

是以，可能基于以上三个方面，才促使llya说出这样的话。咱们知说念，GPT-3.5到GPT-4巨大的进步，正是来自于预测验scaling law。既然预测验scaling law到头了，就很难大踏风光进步下一代模子的抽象性能了。

我赞同llya。在文本domain里，预测验确乎到头了。但这并不是指模子算法出了问题，而是指测验数据（token）不够用了，跟不上model size的scaling up节律。

虎嗅：也有许多大牛比喻Meta首席东说念主工智能科学家Yann LeCun，说预测验莫得到头。

刘威：许多时候公共是在你说你的，我说我的。Yann LeCun指的是多模态领域的scaling law莫得到头。事实上，多模态领域的预测验如何作念，业界还在探索，还不十足明晰GPT-4o、Gemini-2.0是如何进行预测验的。

在多模态领域，开源社区的作念法和闭源的作念法也不一样。GPT-4o是三个模态（翰墨、图片、语音）的输入和输出，面前国产模子还莫得罢了对标GPT-4o的三模态汇注与生见效劳。市面上大部分堪称有多模态能力的大模子，主要能力是多模态汇注，欠缺优秀的多模态生成能力，比如优秀的语音生成能力（与 OpenAI 的高等语音方法Advanced Voice Mode比较，大多数语音生成居品在许多能力上仍显不及，包括情愫汇注、醒认识打断功能、丰富天然的语气语调、多语言撑持、一语气对话能力等）。

不管Google照旧OpenAI，他们都还莫得发表相关的论文。是以，公共不知说念他们是如何作念的。Meta天然发表了一些多模态大模子的论文，但他们发的论文和我方开源的Llama 3模子在多模态测验方法上又不太一样。是以多模态领域的预测验scaling law到底是什么样，公共还在探索。

虎嗅：那么文才调域的scaling law碰到了瓶颈，会对中国的大模子公司有什么影响吗？

刘威：我认为影响不大。对于中国大模子公司来说，token远莫得到用尽的时候。因为OpenAI的期间道路很激进，它的模子参数仍是很精深。行业内有一些传言，揣摸GPT-5可能是10T以上的参数目，这是巨大的。除了OpenAI，应该莫得几个机构在测验10T参数目级的模子。

而咱们知说念GPT-4仅仅1.6-1.7T的参数规模。也就是说，模子参数不错扩大，算力不错加多，然而真实的token量是有上限的。东说念主类唯有一个互联网，高质料文本token量苟简不卓著20T 。按照scaling law的教化公式：GPT系列模子预测验需要的token量与模子参数目，苟简呈10倍的线性关系。那么，GPT-5如果是10T的参数规模，咱们很难采集到100T 高质料token的数据。从这个角度讲，预测验确乎到头了。

而以严格的圭臬来说，在多语种的文本domain里，中国还莫得一家国产模子能够达到GPT-4的水准，还有相配的进步空间，是以国产模子厂家还无谓挂牵scaling law到头了。

虎嗅：还有一种说法，数据危险可能会导致发力通用大模子的公司，转向更小、更专科的模子。

刘威：这个和预测验的闭幕莫得凯旋关系。公共始终不错研发小模子，在“预测验闭幕”被建议之前，微软一直在作念小模子，Meta、苹果也都在作念端侧模子，包括国内的面壁智能也在作念端侧小模子。

虎嗅：之前传闻有几家国内大模子独角兽烧毁预测验了，似乎烧毁预测验是个很负面的事情？

刘威：这应该是传言，如果属实，不祥是被卡脖子的无奈之举，国内清贫最高端的GPU芯片，这天然会相配影响预测验的质料与速率。

预测验很紧迫，它的作用是先将寰宇常识的散播模拟一遍，然后才有“后测验”。预测验成就了学习的计划，后测验则是充实了学习的技法。先权谋，才有技法；先真金不怕火内功，再学招式。

预测验费时忙碌，还不一定能测验得胜。外洋许多公司，尤其是好意思国硅谷的许多公司，凯旋遴荐Meta开源的Llama底座模子进行微调，赶紧推向阛阓奇迹用户。从生意上来说，这无可厚非。

虎嗅：都去作念预测验，算是不聪敏吗？

刘威：不仅是中国的公司在追逐OpenAI，模仿他们的期间道路和方法，好意思国的公司如谷歌、Meta、Anthropic也在作念不异的事情，都在作念预测验，而谷歌在推出同类型模子居品上是追逐OpenAI最激进的一个。

虎嗅：什么样的公司顺应去作念预测验？

刘威：不管是在中国、好意思国照旧欧洲，有AGI信仰的公司才能对峙作念预测验。

接下来，AI如何连接进化？

虎嗅：o3出来之后，集结口碑一般，这个您如何看？面前咱们是否处在AI行业的某个分水岭？

刘威：o3在推理、编程、数学、科学方面的能力口角常强的，我认为在后测验scaling law的道路上，OpenAI面前还没到达分水岭。

如果咱们探究OpenAI的全局期间道路，它确乎仍是跨过了第一个分水岭，即预测验的scaling law。它面前正处在探索新的scaling law（后测验或强化学习scaling law）的说念路上，也仍是从o1走到了o3。

虎嗅：为什么公共追上OpenAI的速率不错这样快，好像AI公司间的竞争壁垒没那么高？

刘威：这是善事。起原，没东说念主敢说OpenAI的期间道路是错的，公共都在用施行行径暗示随从，OpenAI依旧是引颈者。另外，公共也不但愿行业里出现一个寡头。业界共同鼓吹期间跳动发展，行业也更健康。

虎嗅：一些大模子独角兽会认为寰宇模子是AI的下一个阶段，如何汇注寰宇模子？

刘威：寰宇模子这个词在学术界还莫得廓清的界说。有3D重建式的寰宇模子，比喻李飞飞教悔的World Labs正在作念的；也有在视频中作念一些自动汇注、自动导航式的寰宇模子，比喻Meta的Yann LeCun团队研发的JEPA系列模子；特斯拉和一些国内的新能源车、自动驾驶公司，也在作念自动驾驶场景里的自动筹商、自动戒指的寰宇模子。

就像AGI在学术界仍是流传了多年，但许多学者，举例Yann LeCun就认为不应该叫AGI，应该叫human-level intelligence，是用“东说念主类脉络的智能”来替代AGI这样的叫法。

寰宇模子亦然一样，不祥异日有更好的定名神志抒发。

按照我的汇注，如果一个AI模子学习了全寰宇的东说念主类常识，那么它就不错称为一个基础版的寰宇模子。从常识层面来看，GPT-4可算是文本常识领域的基础寰宇模子。如果从功用层面来看，寰宇模子的界说应该不仅涵盖东说念主类脉络的据说读写能力，还包括代替东说念主类在物理寰宇去实施任务。那么，现时还莫得一个AI模子能称为寰宇模子。

是以，咱们应该把寰宇模子的酌量范围放窄一些，先处置相对容易的问题，冉冉再推行酌量范围。我的不雅点是：当咱们酌量寰宇模子的时候，要先去界说什么是咱们要酌量的寰宇，大寰宇或者小寰宇。当细目了咱们要酌量的寰宇界说域，那么对寰宇模子的酌量范畴—常识层面+功用层面—施行上就会变得更廓清。

虎嗅：对于大模子的进化，您之前在访谈里提到过，异日大模子不错通过自博弈的强化学习，来掌持自动升级的钥匙，无需东说念主工纷扰就能罢了迭代，这件事面前到什么阶段了？

刘威：这是我对异日大模子期间发展的一个掂量。我认为大语言模子的升级不错从十足东说念主工纷扰逐渐发展到半自动，终末演化为全自动升级。

面前大模子的对王人计策主如果与东说念主类对王人，是以有RLHF（东说念主类反映的强化学习）。从公开信息源，咱们发现OpenAI、Google、Meta、Anthropic正在或计划使用AI对王人计策，如RLAIF（AI反映的强化学习）。

具体来说，这种AI对王人计策体当今：监督微调（SFT）中使用一个大语言模子（扶植模子或者前代模子）生成prompt-response体式的语料数据，RL中使用该模子对特定prompt的多个response进行打分或者排序（称为偏好数据）。比如，Meta开源的Llama 3的期间论说中，明确评释了它的对王人阶段，或者说后测验阶段，会依赖于Llama 3的早期模子版底本生成部分SFT语料数据。

OpenAI的12天直播里，展示了一项新期间叫RFT，也就是强化学习微调，这口角常要道的期间，它不错在线采集东说念主类的极少反映，然后让现时的大语言模子版块模拟这些东说念主类反映而生成更多的反映样本，用东说念主类反映+AI反映进行强化学习，微调现时模子版块，并不错不绝迭代下去。

在对王人层面，将对王人的起源由东说念主类换成了AI，这就是一个跳动。然而，即使遴荐了AI对王人计策，后测验scaling law仍然可能有闭幕的一天。

因此，我一直在想考能否有比对王人驱动的强化学习更有用的学习范式。AI如果只和东说念主类对王人，那么智能水平始终不可能卓著东说念主类，是以我建议尝试反抗式的自博弈强化学习，即AI和AI反抗竞争学习，这样AI的智能水平才有可能卓著东说念主类。

反抗式自博弈RL，正是 DeepMind的AlphaZero最早建议的期间，率先有多个方案式AI模子版块，让它们两两反抗PK，谁能赢，谁就survive，一系列倚势凌人之后，得到最强的AI模子。最近，Hinton（被称为AI教父、诺奖得主）在访谈和演讲中提到，他很挂牵AI越来越强之后，会互相竞争资源；比如，有公司同期测验了几个大语言模子，有的大语言模子会更智能，它可能会主动抢夺其他模子的数据资源和算力资源而变得更强。Hinton驳倒的这些，就是自博弈式、反抗式的强化学习。

虎嗅：听起来有点像一个AI吞吃另一个AI。

刘威：异日可能会发生。天然，东说念主类正在制定和完善种种制约、门径、契约等来幸免AI的失控，尽早把稳和阻绝AI对东说念主类形成负面的影响。

虎嗅：面前大模子这个行业里，最让您振作的是什么呢？

刘威：最让我振作的是：何时能把自博弈式的反抗强化学习，用相配低廉的神志作念出来。

虎嗅：仍是看到有东说念主在作念了吗？

刘威：这个还不明晰，如果是学术界的一又友，我建议他们去酌量。

这里我想举一个例子。OpenAI在2017年发明了PPO算法，一种在线强化学习算法。GPT-3.5和GPT-4用的就是PPO。而在客岁5月份，斯坦福大学发表了一篇论文，建议了一个新的离线强化学习算法DPO，即凯旋偏好优化，它比PPO默契许多、计议上轻量许多，于是业界都运转遴荐这个RL算法。况兼，DPO建议来之后，OpenAI也在使用，它最近发布的强化学习微调就是遴荐了DPO。

学术界不错用不同于工业界的视角来酌量许多期间问题，不时能建议相配奥秘的新方法。是以，反抗式自博弈的强化学习，我嗅觉会有计议更低廉、算法设想更奥秘的处置办法被酌量出来。

虎嗅：那么它会对AI行业的发展产生什么影响？

刘威：会有新的scaling law出生。也就是说，除了预测验的scaling law、强化学习的scaling law还会有一次范式移动或升级，即自博弈强化学习scaling law。

它是反抗式的RL，不是对王人式的RL，用它驱动大模子的升级，会比对王人式RL的效劳更高。

虎嗅：对于强化学习的scaling law，面前公共还莫得达成共鸣吧？

刘威：OpenAI不祥仍是探索出我方的强化学习scaling law，其他公司可能还需要先去追逐o1，赶上之后方能去探索RL scaling law。

谈竞争

虎嗅：一些知名投资机构掂量2025年AI行使会爆发，您如何看？

刘威：如果从广义来看，从CV四小龙时期到当今的大模子六小虎时期，AI行使一直在华贵发展。咱们每天都在和AI行使搏斗，比如说刷脸。

咱们面前眷注的AI行使，比如红杉好意思国的著作里提的AI行使，指的是agent智能体，它算是AI原生的行使。我认为agent是生意软件的异日，甚而是SaaS的异日，我也掂量agentic AI会在2025年爆发。

虎嗅：在您看来，国表里AI创业者作念的事情有什么不同？

刘威：据我了解，好意思国相配好的大学在相配积极、平素地拥抱AI，这是在学术界；在硅谷的话，有莫得AI，硅谷的创业飞扬也都莫得消退过。可能这一波生成式AI的创业海浪比以前来的更狠恶，融资额度也比已往大，毕竟GPU算力很贵。

从追求AGI上来讲，硅谷和国内的AI行业，作念的事情没什么内容不同。国内可能会模仿硅谷的创业课题，比如对标cursor，作念一些AI代码生成的创业公司。

虎嗅：国表里的AI产业，面临的挑战会有什么不同？比如，好意思国的AI巨头可能更缺能源，中国的AI独角兽更缺资金？

刘威：很难讲挑战是什么，只可说中好意思的诉求有各异。从一些公开报说念来看，好意思国的几家AI巨头仍是订购了无数高端的GPU，在2025年平均一家都有几十万块的英伟达B系列的卡。

在我看来，好意思国这些AI玩家，他们属于激进派，他们的诉求就是看谁能先达到AGI，不管是在囤东说念主才、算力、资金等方面，都在进行武备竞赛。比如，在公开风光，Elon Musk掂量，AGI最晚在2026年就会来；而Sam Altman掂量最早在2025年能来，Google的AI一号位Demis Hassabis掂量AGI在2030年能来。看来公共都认为AGI会在异日几年到来，那就看谁能率先作念出来。

对于中国的AI行业来说，资金不是问题，从中央到场所，从企业到高校，对AI都很撑持，况兼撑持的力度相配大。国内AI产业的诉求，我认为主要照旧看AI能不成果真产生社会价值。

虎嗅：国内大模子公司的竞争，在创业方面有给你什么启发吗？

刘威：要有我方的绝活。就像在大语言模子的赛说念，不成老是随着几家好意思国AI巨头背面去追逐。不错尝试对准巨头作念的不是那么好的赛说念，在这个赛说念以特有的期间认识，找到属于我方的scaling law。