“我们选的技术路线也是上限最高的，几乎没有退路。”
文丨程曼祺编辑丨宋玮
在热闹的中国大模型创业圈，MiniMax 的创始人闫俊杰可能是最神秘的一个。他从未公开露面，也没有接受过任何采访，即便公司估值已经 25 亿美元了，他依然沉默。
在高中生和大学生中流行着 Glow、星野等产品，他们在上面玩恋爱养成游戏，和虚拟人对话，撰写发疯文学，甚至建一座城市，但没多少人知道，它们背后都是 MiniMax。
近期完成 B 轮融资后，MiniMax 已是中国估值最高的大模型公司之一，股东名单里同时有腾讯和阿里，它成立刚满两年。
“那时 ChatGPT 还没发布，OpenAI 也不温不火，其它中国公司都还没出来，商汤都要上市了，闫俊杰跳出来要创业。他真的对 AGI 有信仰。”MiniMax 的早期投资人、明势资本创始人黄明明说。
当时闫俊杰已担任过商汤副总裁、研究院副院长和智慧城市事业群 CTO。更早前，他在中科院和清华大学研究计算机视觉。通常技术人才的聪慧只展现在一个小领域里，但闫俊杰在多个领域都做得风生水起。
今年 35 岁的闫俊杰是一位说话声音很轻、总是面带笑容的管理者，投资人描述他是一个很好的倾听者，善于让对谈者放松，但当对方放松时，他会不动声色地抛出尖锐观点。
闫俊杰在 2021 世界人工智能大会算法典范总决赛上做分享。
创立 MiniMax ，闫俊杰表现得完全不像一个创业新手，他看起来很敢赌。
2023 年下半年，大部分中国同行还在继续迭代稠密模型（dense model），它能更稳健地提升大模型性能。闫俊杰则把几乎全部研发和算力资源都投到了一件更不确定的事情上—— MoE（混合专家系统）模型。他的判断是，如果未来要服务千万级乃至亿级的用户，必须做 MoE，否则 “生成 token 的成本和延时我接受不了，很快会崩溃”。
大模型还没热起来时，MiniMax 曾以相对便宜的价格找字节火山引擎租了大量 GPU 算力，获取了弹药；但 MiniMax 又不购买任何 GPU，闫俊杰认为持有资产只会使动作变形。
“我选的技术路线是上限最高的，几乎没有退路，选的算力方式也激进。” 闫俊杰说。
李彦宏认为 “双轮驱动”，即同时做模型和应用，对创业公司不是好模式，但闫俊杰创业第一天就认为，大模型创业公司要想独立做大做强，技术和产品，两个都要做好。
MiniMax 是中国大模型创业公司中做产品最早、最多，投入也最大的一家：MiniMax 一共约 300 人，其中接近 200 人与产品相关。它们的第一款产品 Glow 上线于 2022 年 10 月，之后又陆续推出了星野、海螺 AI 等至少 4 个产品，既有陪伴型的社交娱乐应用，也有问答等生产力应用，多个应用的日活用户已突破 100 万。
闫俊杰认为创业公司要想独立发展只有一条路：在技术快速进化的窗口关闭前，做出用户量巨大的 2C 产品。
“如果没有产品承接，即使你有一个技术进展，它最终也不是你的。” 闫俊杰说。
中国市场已有 6 家大模型独角兽（MiniMax、月之暗面、智谱 AI、百川智能、零一万物、阶跃星辰），模型总数更是超过 100 个。它们正在一边以更少的资源追赶一年前发布的 GPT-4，一边应对激烈的竞争。
一些人追求先活下来，另一些人信奉 “Go big or go home”，不想处在中间状态。闫俊杰是后者。
以下是《晚点 LatePost》与 MiniMax 创始人闫俊杰的对话。
“每件事都是做到极致才会好”
《晚点》：一位 OpenAI 的工程师告诉我们，他判断一位人工智能创业者到底有没有真正的 AGI 信仰，就看这个人是在 ChatGPT 发布之前创业还是在这之后。
闫俊杰：MiniMax 是 2021 底创立的，我们刚创业的那个时间点，AGI 在中国还是一个巨大的非共识。
我们当时计算过，把 GPT-3 扩大 100 倍需要非常多一笔钱，可能是几十亿美元。但在那个时间点，我们显然不认为中国会有那么多钱愿意支持一家创业公司。
《晚点》：有人认为你们最开始是做元宇宙的，大模型火了后才说做 AGI。你们在出发时到底有多相信 AGI？
闫俊杰：我们是在 ChatGPT 出来之前成立的，大部分公司是在那之后，这是核心的区别。
ChatGPT 之前，很多事情没有参考，你不得不做更多尝试，但最内核的还是技术进步，不确定的是产品方向。
我们最开始对 AI 产品的想象是一个同时有声音、形象、文字能力的智能体，我们做过一版有 3D 形象的东西，有点像元宇宙里的数字人，但它的语言、语音等能力还是用大模型驱动的。
《晚点》：你认为 AGI 到底是什么，假设有一天 AGI 真的实现，我们如何知道它已经到来？
闫俊杰：那时候我们有个模糊的定义，现在也几乎没变，就是什么时候大家认为 AI 不是 AI，那一天大概就到来了。
就像我们今天谈到抖音，你不会觉得它是一个基于推荐系统的内容分发软件，你只会觉得抖音就是抖音。
《晚点》：MiniMax 是国内第一个说 AI 2C 的公司，为什么？
闫俊杰：决定创业前，我一直在思考什么样的技术进步可以给社会带来足够高的反馈，想到的有电动车、移动互联网。这些行业的最大特点都是服务普通人，而服务普通人的前提是它能商品化，它是一个产品，不是一个项目。
当时整个人工智能行业遇到困境，而取得真正成功的行业又是另一种做法，结论几乎只有一个——要做出足够产品化、能服务大众的人工智能技术和产品，而不是服务少数大客户的项目。
所以我一直不认为 AGI 会像一个原子弹、一个大杀器，它就是普通人每天会用的一个产品、一个服务——这也是我们最坚持的。
而且 AGI 也不应该是一家公司自己做出来，它要靠这家公司和它的用户一起做出来。
《晚点》：今年 1 月你们是国内第一个推出 MoE 大模型的，其它公司去年主要在迭代 dense（稠密）模型，因为进展更快、更确定。做 MoE 是一场豪赌吗？
闫俊杰：一开始我也认为我们在赌，那几个月别人都在快速进步，走在更稳的路上，而我们在赌一个更难的东西。
我们当时放了 80 % 以上的算力和研发资源做 MoE，而且没有 Plan B。
《晚点》：MoE 是 2023 年夏天开始研发的，为什么当时一定要做这个？
闫俊杰：第一，我们知道自己有多少基本资源和数据，基于这些计算资源和数据，当时只有 MoE 能训完，相当于从你能训练的上限来说，必须得是 MoE。
第二，我们当时已经有很多用户，有 2B、2C 的产品，很多模型每天在处理大量 token，我们发现如果继续做 dense 模型，生成 token 的成本和延时是接受不了的，很快会崩溃，所以只能做 MoE。
当然现在这可能是行业共识了，就是如果要做万亿模型，你不可能做一个 dense。
《晚点》：最后是怎么搞定的？
闫俊杰：过程很痛苦，失败了两次。因为我们本来就有很多不确定性，做新东西又增加了不确定性，它就应该遇到挑战。
比如模型训了半个月，发现一些指标离前期估测的越来越远。就像你发了一个火箭，本来以为它可以到三万米，但它偏航了。你就开始想哪个地方错了，把问题解完之后，发现还没有回到一个好的状态，又失败了。但你得到了很多经验，把经验汇聚起来，再来一次。
每一次都是很多钱，更重要的是时间。
我后来发现其实这也不是赌，因为很多挑战不是 MoE 本身带来的，而是更多底层的东西：比如对实验方法、网络和数据结构的探索等等。
后面解决问题也不是因为解决了 MoE，而是找到了过去的不足，让整个研发团队变得效率更高、更科学了。
《晚点》：一个接触过你的人评价你很有工程化思维，你追求在一个约束条件下达到最好的目标。
闫俊杰：其实都是算出来的，我们公司大部分决策都是基于要优化某些东西计算的，我们就是在解方程。
《晚点》：现在各公司的资源也就是约束条件都变得很快，你计算时会倾向保守还是冒险？
闫俊杰：我们基本上都选最冒险的那种，因为做每件事都是做到极致才会好。
我选的技术路线也是上限最高的，几乎没有退路，选的算力方式也比较激进。
《晚点》：我听说你们不买 GPU，只租卡。
闫俊杰：我们没有一块 GPU ，虽然我们应该是中国公司里实际用 GPU 数量最多的创业公司。
因为持有资产会使动作变形。如果我有很多 GPU，在商业上变得更好的方式就是对外租 GPU。我还是想让公司更简单。
《晚点》：去年 10 月你们遇到过算力紧缺，怎么避免类似的风险？
闫俊杰：成为市场上最大的客户。
对中国创业公司来说，更好的方式是同时思考技术和产品
《晚点》：李彦宏说创业公司做 “双轮驱动” 不是好模式，但你们第一天就要做产品，是怎么决策的？
闫俊杰：一开始创业其实没资格想这些事，因为你既没有技术又没有产品也没有用户。前六七个月只是把最原始的模型做出来，才有了后面的产品。
假设你所有东西都是 free 的，假设你有一个无限强的组织，那对你来说，技术好是最重要的，因为你的用户、流量、商业化能力都具备了，可以很快试很多产品。
但对创业公司不是这样，如果没有足够好的产品能力来承接，即使你有了一些技术进展，这些东西最终也不是你的。一个独立发展的创业公司一定要考虑产品。
《晚点》：OpenAI 也是在做出 GPT-3.5 后才开始做 ChatGPT 这个杀手级应用 。之前 OpenAI 没那么重视产品。
闫俊杰：那是因为 OpenAI 的技术、人才、数据积累都有数量级的领先，导致它有一个长达一年的创业窗口期。我不认为世界上还有什么公司，能再有一个这么独特的的窗口期。
没有谁会是 10 倍的 OpenAI，没人能短时间里拿出一个好于全世界十倍的东西。
这就推出来，对创业公司，至少对中国的创业公司来说，更好的方式是同时思考技术和产品。
《晚点》：有投资人认为你们现在做产品有些太早，“在黑莓手机上做不出抖音”。
闫俊杰：按照这个观点，现在也不需要做技术，现在的技术也不是五年后的技术。
但显然大家都认为现在需要做技术：只有通过做出现在的技术，才能更深刻理解它，才可能做出未来三年、五年的技术。
《晚点》：技术发展是渐进式的，产品也是吗？这个时代的产品跟上个时代的产品完全不同。
闫俊杰：产品也是。中国成功的很多公司，比如米哈游、美团、字节、理想，都有一个共同特点——它们都不是靠第一个产品成功的，都是靠第二个或者更往后的产品才成功的。
这不是我说的，是我的一个朋友总结的。
《晚点》：那你们为什么不干脆只专注做产品？现在有很多开源大模型。
闫俊杰：核心原因在于，对模型的理解基本上等同于对产品的理解。产品越往下做，对模型理解肯定要越深。
另一个客观原因是成本和响应时间，如果没有对模型的强掌控力，就很难掌握产品成本的变化，也无法调教对用户的响应时间。而且做产品你会遇到很多问题，什么问题可以解决？什么不能解决？怎么迭代？这些都需要你对技术的掌握。
一个现实是，去年很多产品是用 GPT-4 做的，为什么没人做出一个媲美 ChatGPT 的体验？
《晚点》：同样做产品，有人是主做一个，你们却同时做很多，包括 Glow、星野、海螺 AI 等。为什么要做产品组，而不是专注做一两款产品？
闫俊杰：OpenAI 在 ChatGPT 之后的产品也没那么成功， OpenAI 做产品都会失败，说明现在产品对技术的理解，和技术本身能实现的东西之间有 gap。
核心就是，即使用最好的技术，最好的产品，都会不匹配。
如果你承认这个 gap，客观规律就是：你该多尝试、多失败，找到真正能成功的东西。
《晚点》：感觉有点像字节跳动做产品的方式。
闫俊杰：我们还没有资格按照字节跳动的方法做事。
每个公司都会选择最合适自己的形态。比如对字节来说，最重要的是技术资源，因为它所有产品都是 ready 的，且产品资源无限多，所以尝试越多对它越有利。而且每次投入，即使产品失败，也会带来更多经验和认知，这对他们的提升是巨大的。
我们也一样。而且相比模型研发的投入，产品投入的资源占比没那么大。基于我们公司目前的现状，可以算出来这样成功率最高。
《晚点》：技术重要，产品也重要，你们纠结过到底哪个更重要吗？
闫俊杰：之前纠结过，但现在不纠结了。
2022 年下半年我们做 Glow ，有一个经历非常惨痛。当时团队都感染了新冠，导致 2022 年底最后一次发版里出现了一个 bug，它把用户的对话体验拉低了 15% 左右，我们元旦三天 DAU 直接掉了 40%。后来实在受不了，终于在放假最后一天找到了这个 bug，其实就是非常小的一行算法，把它改了，用户量很快就回来了。
这个事给我们的教训就是，现阶段产品价值的来源，核心还是你的模型性能和算法能力。
这样的事我们经历了好几次，你可以做很多产品 feature，但你会发现，几乎所有大的提升都来自模型本身的进步。
《晚点》：同时做大模型和这么多产品，最大的挑战是什么？
闫俊杰：技术不够好，这是最本质的。我们的技术迭代速度已经很快了，但离全球顶尖的模型仍有差距。
十倍的 Scaling Laws
《晚点》：欧洲头部人工智能公司 Mistral 已经开源了 MoE 模型，行业普遍认为 OpenAI 的 GPT-4 也是 MoE，MoE 会是今年大模型领域的一个赛点吗？
闫俊杰：MoE 只是其中一个环节，还有很多其他环节。如果一个东西能写在一篇论文里，你基本可以认为它不是个绝对壁垒。
《晚点》：在这场技术竞赛中，MiniMax 有什么非共识的判断吗？
闫俊杰：这个行业如果有什么非共识，6-9 个月内，很快也会变成共识。
现在有三个大家都能看到的东西：一是 Scaling Laws ；二是实现同样精度的模型，需要的算力和资金投入可能每年降几倍，因为算法和学术界公开的东西越来越多，很多人会做自由探索；三是把精力放在提高数据质量上，现阶段收益更大。
所以从这三点来看——Scaling Laws、同样精度模型的成本下降、数据质量提升的重要性——基本可以推出来我们和其他公司的一些决策，我觉得是比较简单的。
《晚点》：你怎么理解 Scaling Laws（规模定律）？它让你看到了什么可能性？
闫俊杰：Scaling Laws 就是一条曲线，你可以信仰原始的 Scaling Laws，也可以信仰十倍快，甚至百倍快的 Scaling Laws。
2020 年最初提出大模型 Scaling Laws 的论文 “Scaling Laws for Neural Language Models” 认为影响模型性能的最重要变量是算力、数据量和参数，并给出了这些变量间的数字关系：C≈6ND ，C 是计算量（Compute）、D 是数据量（Dataset）、N 是模型参数量（Parameters）；而模型结构和层数等因素对性能影响没那么大。
它更多是提供一个方法论：即你可以通过更小规模的实验来预测更大实验的结果。第二是它能让行业对齐目标，因为这件事需要数据、算力、芯片、算法和产品等多个环节的分工协作，Scaling Laws 可以让大家有相对一致的预期。
至于那篇论文里的那个公式和一些结论，现在看也不一定对，比如它认为层数、结构等没那么重要，至少有几个变量现在看是重要的。
《晚点》：比如呢？什么变量让你有可能实现十倍、百倍的 Scaling Laws？
闫俊杰：比如网络结构本身也重要。我们做 MoE ，最开始认为好的 MoE 结构和好的 dense 结构类似，后面发现不是，MoE 本身也能加速 Scaling Laws。
还有提升数据质量；还有算力的分配，你可以把算力分配到训练上，也可以分配到数据处理上。不同选择都可能加速 Scaling Laws。
《晚点》：Scaling Laws 的力量来自它够简洁，当你引入更多变量，就破坏了它。
闫俊杰：提升数据质量、优化算法和优化训练方法都没有尽头，持续做就会持续好。
真正的取舍是，它们对 Scaling Laws 的效率提升在不同周期不一样快。但你可以通过小规模实验来预测哪些变量在什么阶段更重要，这其实还是 Scaling Laws 的方法论。
为什么在中国一定要做几倍的 Scaling Laws？当算力充足，你可以优化原始的 Scaling Laws；算力不充足时，你必须优化一个几倍的 Scaling Laws，去达到相似效果。
这不是不可能的。另一家硅谷 AI 公司 Anthropic 已经用更短的时间做出了类似 GPT-4 的 Claude-3，这其实就是放大了原始的 Scaling Laws，有一个就会有第二个、第三个。
《晚点》：现在被讨论很多的长文本（Long Context）会成为大模型竞赛中的一个差异化路线吗？
闫俊杰：好的大模型默认就应该支持长文本。我们一直都有长文本，我们没在产品里强调这个功能，主要还是因为计算成本。
《晚点》：实现更长文本处理能力的技术方法是什么？
闫俊杰：标准 Transformer 里之前用的是非线性 attention；而过去一年多，很多人在研究线性的 attention，这就能帮助长文本。
线性 attention 的好处是，当文本非常长时，它的计算复杂度会是线性增长，而不是平方增长。但实际上 token 在 20 万、30 万量级时，线性和非线性效果差不多，因为二次函数在前期时近似线性函数。差别在 80 万到 100 万 token 时才特别明显。
据我所知，Google 的 Gemini 1.5 是第一个接近线性 attention 的模型。你现在调其它 API，当文本非常长时，响应会很慢。但 Gemini 1.5 真正实现了一个 100 万 token 量的文本，和 50 万比，响应只长 1 倍，而不是长 4 倍。
所以长文本解决的不是 20 万或 30 万量级的问题，而是 100 万再往上的量级。
《晚点》：100 万 token 近似于能处理 100 万字，你觉得多少人有这个需求？
闫俊杰：用户需求和你提供的能力是相互发生的，一个远超大家预期的模型放在这，慢慢会引起很多人的需求。
比如 ChatGPT 没有语音通话前，没人会说自己的需求是语音通话，但放上去之后，很多人会用语音通话。
我们做的语音对话产品——海螺 AI 的通话功能也很受欢迎。我阿公 80 岁，第一次用这个产品就和它讨论了四五十分钟的历史人物，我之前想不到有人会这么来用它。
《晚点》：看起来你们是在产品里先强调了语音等多模态能力，而不是长文本。怎么判断先优化什么技术能力？
闫俊杰：我们有一句话，Intelligence with everyone，我们并不是这个技术的 owner，这是我们最核心的信仰。
去年人工智能非常火，但全世界用过 AI 产品的人可能只有 1 到 2 亿，重度用户只有几千万。因为提出一个好的问题以及连续追问，门槛非常高，真正愿意打字的可能就是在座的这些人。更多人还是习惯用语音。
我们看重多模态，也是因为它可以让更多人来使用 AI，包括老人和小孩。当我们在产品里加入图片和语音时，可以明显观察到用户的上手门槛，甚至渗透率的变化。从今日头条到抖音，一模一样的事在移动互联网领域已经发生过一次了。
越到后期，用户的价值越高
《晚点》：你们推出的第一个产品 Glow，让用户和自己定制的 AI 角色交流，类似乙女游戏（恋爱角色扮演），在二次元圈子很流行，当时怎么想到做这个方向的？
闫俊杰：我们早期做产品冷启动时，针对性地找了不少年轻群体，比如 AI 爱好者、二次元人群，根据他们的体验和反馈做了前几版的迭代。
起量后，我们每天都盯着社媒用户咋用的。我们做产品早期没做过 AB testing，都是观察用户看用户反馈，再看数据验证和迭代。
《晚点》：做产品踩过什么坑？
闫俊杰：最早我们做智能体，当时对它的想象是同时具有声音、形象和文字的能力，这也是为什么公司刚成立就做了三个模型——语言、语音、视觉。
很快我们放弃了 3D 形象，因为它不能规模化，之前用 3D 的大行业只有游戏和电影，研发周期都是几年；同时，我意识到用深度学习来做 3D 这件事不对。
在目前的载体——手机上，如果一个 3D 人一直看着你，这本身就很奇怪。大部分情况下，交互其实不需要有一个真的形象。
《晚点》：是上线后通过某些数据看出来的？
闫俊杰：不是数据。当时做第一版形象，找了两个模特去拍。当把 3D 放进手机的那个瞬间，我们就知道这件事是不对的。
《晚点》：你们第一个模型还没做出来，就招了产品经理，当时你如何向他描述你想要一个怎样的产品？
闫俊杰：不知道。
《晚点》：你说不知道？
闫俊杰：那个时候是不清晰的，因为没有任何参考。我们只是想象有一个智能体可以和你自由、长时间的对话，它的本质是信息的交换和处理。
我们能确定的是，模型最重要是服务大众，那它一定会是一个产品。所以我们最早就找了产品经理。
《晚点》：用户有很多需求，满足什么不满足什么？
闫俊杰：我们的取舍到后面变得简单，看这个需求是否符合技术发展的趋势，是否能对这类用户的体验带来 10 倍以上的变化。
《晚点》：产品审美上，你认为怎样的产品是好产品？你们现在的产品玩法很多，有点复杂。
闫俊杰：坦白说，我们现在还没有做出来，所以没有答案。
当你问产品是复杂好还是简单好，大部分人一定会说简单好。但我自己比较怀疑这件事，尤其在一个行业发展前期。你想腾讯在做出微信之前，也是因为先做出了 QQ，而 QQ 是一个非常复杂的产品。
ChatGPT 大概 3000 万 DAU ，似乎很难再增加。我的结论是，一个偏简单的 AGI 产品，在目前的技术阶段，上限可能也就是这样，但最终我相信会有很简单的交互形态满足更广泛的需求。
《晚点》：Sora （OpenAI 发布的文生视频大模型）的出现对你有什么启发？
闫俊杰：如果 Sora 的响应速度未来能变得非常快，生成一个 1 分钟的视频不是像现在这样要花 20 分钟，而是可以实时生成，这会是很大的变化。
那它到底会是一个更好的生成视频工具，还是一个更好的生成视频的社区呢？
《晚点》：生成视频的社区，再往下一步不就是超级内容平台？
闫俊杰：都可以想，取决于你是不是相信这个东西空间足够大，以及你是不是相信响应时间能变得足够低。
《晚点》：你认为未来用户量最大的 AI 产品可能会是什么？
闫俊杰：我们只做出了日活百万的产品，还没有做出千万级或者十亿级的产品，坦白说不知道。我觉得可能还是信息的交换和处理，它的价值是巨大的。
《晚点》：MiniMax 产品的日活已接近 Character.AI（美国 AI 独角兽开发的一个可以和各种 AI 角色聊天、互动的应用），使用时长甚至更长。但有人质疑你们数据好不是因为技术好，而是因为软色情。
闫俊杰：我们做过分析，真正让用户留下来的东西绝不是所谓软色情。比如我们的产品星野，它的核心是给用户提供一个能够发挥创造力和想象力的平台。
我们花了很多时间和精力来确保内容是更加正向的，持续提升平台的安全能力。
《晚点》：技术提升能对产品带来多大提升？你们在星野上用了 MiniMax 自研的 MoE 模型，效果怎样？
闫俊杰：上线当天的消息量涨了 40%。响应更快了，之前响应要 4 秒，现在是 1 秒，这不光是因为 MoE，还有一些其它推理优化。
《晚点》：技术提升速度越快，和用户量越大，是因果关系吗？
闫俊杰：这非常 tricky。如果你是行业第一名，是 OpenAI，那它大概率是因果关系；如果你不是第一名，那就不是因果关系。
过去一年中国很多大模型公司没有很多用户，技术也会提升，因为你只要学第一名就可以进步。但长期看，如果你认为自己的模型可以接近最好的模型，那用户的权重和价值会越来越高。
这个就像算力，拥有更多的算力就能做出更好的模型吗？不一定，提升数据质量可能是 ROI 更高的事。但长期看，你有更多的算力，一定可以做出更好的模型。所以要看周期。
《晚点》：AI 原生的超级产品和移动互联网时代的超级产品，你认为会有什么不同？
闫俊杰：做移动互联网产品，大家特别在意有没有挖到一个用户痛点。但去年 DAU 超百万的六七个 AI 原生产品都不是针对痛点设计的，是把一个突破性技术释放，慢慢变成了产品。反而是后面针对性设计功能时都不太成功，比如 ChatGPT Plugins 和 GPT-S。如果技术进步速度慢下来，又会变成产品推动的方式。
目前的产品方法还是技术 driven，而非产品 driven。
《晚点》：你们的产品功能现在已经比较细，比如海螺 AI 经常有消息推送，吸引用户点开，你们实际上做了比较多产品优化？
闫俊杰：最近我们也在在反思，产品功能点太全面，也许是一个偏负向的事，说明你在最核心的功能上没有花最多的精力。
《晚点》：今年给团队什么目标？
闫俊杰：技术上如何达到 GPT-4，产品上如何把用户规模翻十倍，单个产品能突破千万 DAU。
《晚点》：10 倍增长，这么大。
闫俊杰：其实不大，移动互联网产品都是亿级 DAU。
靠融资打不死别人
《晚点》：你觉得以中国目前整个市场的钱和资源，能够支撑几家做 AGI 的创业公司？
闫俊杰：不会只有一家，总资源量是够的。
《晚点》：今天很多投资人已经不看大模型了，他们认为做大模型，创业公司没机会。
闫俊杰：我经历过靠融资堆起来的上一个 AI 的发展阶段。假设一家公司需要靠不停融资来发展，那这个公司真正的优化，可能会变成怎样说服投资人给它更多的钱。
我自己内心的路径是，通过慢慢服务用户，产生一些合理的商业化。当然因为有巨大的研发投入，这件事短期很难实现，但我认为应该探索这条路。
《晚点》：整个市场资源有限时，第一名难道不应该努力融到市场上最多的钱，让其他人拿不到钱？上一波移动互联网的竞争很多是这样。
闫俊杰：你疯狂的融钱，别人都会融不到钱——我认为这是不对的，靠融资是打不死其他人的。
因为排在前面的中国创业公司，没有谁的资源能比别人多一个量级。拐点只可能来自于技术、产品或者是商业化效率的领先。
《晚点》：那算力怎么解决？算力资源也很稀缺。
闫俊杰：中国现在有算力，比之前多。另外还是回到 Scaling Laws，算力不充足时，要找一种方法优化几倍的 Scaling Laws，达到相似的效果。
《晚点》：怎么评判你们和 OpenAI 的差距？
闫俊杰：我们自己有一个指标，可以叫 “开箱可用率”，就是看客户或开发者接一个大模型 API，能不能较快完成一个复杂需求。
从我们自己的开放平台看，几乎所有需求 GPT-4 都可以跑通。比如去年遇到的一个需求是，用户提供一本小说，让模型生成分角色、带语气的有声剧。
非常精细地使用 GPT-4 可以做到，而我们自己的模型当时不行，但现在可以做到了。
《晚点》：那你们和中国同行的差距呢？
闫俊杰：没有都测。因为测与不测，不会改变我们做的事。
《晚点》：2024 年，中国大模型行业会发生什么？
闫俊杰：中国公司会做出类似 GPT-4 的东西，并且不止一家。但更应该思考的是，再往后该怎么办？
把公司当函数
《晚点》：你刚才说写在论文里的东西都不是壁垒，那这个领域真正的壁垒是什么？
闫俊杰：你发现很神奇，拼多多前身是拼好货，美团是团购，字节是今日头条，都不是后来真正大成的产品。
大成与小成的区别是，大成的公司都做了组织创新，这让它们能持续做出越来越强的东西。
《晚点》：壁垒难道不是写出论文的人吗？
闫俊杰：我说一个非常恐怖的观点，对大模型这个领域贡献前 20，甚至前 50 的人，可能没有一个人在中国公司工作。
我们现在靠天才路径不 work。目前唯一的方式就是聚拢一些基本素质足够优秀的人，做一个比较好的成长型组织，不断一起突破挑战，让大家高速成长起来。希望三年之后，对这个领域贡献前 20、前 50 的人能来自中国公司。
《晚点》：想怎么打造这个组织？
闫俊杰：我觉得是在优化一个函数，这个函数没有解析解，本质是寻找梯度下降最快的方向。
《晚点》：举个例子？怎么找到梯度下降最快的方向？
闫俊杰：比如在提升技术进步速度上，就是学习 OpenAI，因为它是最确定的。
不是指把模型参数搞成和它一样，而是学习怎么让实验方法更科学；怎么更快试错，更高效迭代；怎么把问题定义得更清晰、简洁。
《晚点》：追求梯度下降可能陷入局部最优，但脱靶长期目标，怎么避免呢？
闫俊杰：我们自己的变化是，从非常含糊地看数据，到非常深入地看数据，再到意识到光看数据还不够，需要加上更好的 insight。
很多 insight 其实来自面向长期的思考。举例来说，如果只看产品短期数据，就不会意识到要做一个新的多模态模型。
《晚点》：可是优化函数的方法能处理人性问题吗？比如技术和产品团队间的拉扯。
闫俊杰：在做实验设计或产品时，数据埋点更细，尽可能用这些埋点推测出真正的问题，而不是靠我或任何人的主观判断。
我们相信数据科学，这些东西也不是我们发明的，中国互联网公司已经做得非常到位了。
《晚点》：你之前说希望组织更轻，但你们已经 300 人了，其中大部分都是过去一年入职的。
闫俊杰：其实还是很简单，组织结构只有三层，我，我的-1 和我-1 的-1。
可以说我们只有三个部门：一个技术部门，我来负责；一个产品部门，分 C 端产品和开放平台，各有一个负责人；一个运营和增长部门，既做产品增长，也做公司增长，HR 也在这里，有一个整体负责人。
《晚点》：你们的同行，智谱有约 1000 人，月之暗面有约 200 人，你们是 300 人，人数的差别背后是什么？
闫俊杰：这个东西就看你信啥了，我们不需要向其他人证明什么，我们就信我们做的事。一些不必要的岗位，我们就不太需要。我们需要做啥事，我们就招做啥事的人。
但我们要做一定规模的前端产品，所以除了算法跟应用数据人才外，我们还需要做推理系统、线上服务、开发和产品运营的人才。
《晚点》：现阶段最缺什么人才？
闫俊杰：更多算法的人才。我们现在知道怎么做实验，我们的资源也可以做很多实验，但做实验的人不够。
今年视频生成模型会变得很实用。按去年情况，第一个做出来的产品更容易取得大成功，现在很多公司都在追求成为第一个。
《晚点》：如何识别合适你们的人？
闫俊杰：他的加入能使团队整体输出变高。但这需要一些后验，有些非常强的人其实没法融入团队，而有些看起来没那么强的人却可以使整体输出变强。
所以面试时，我会关注他在重要项目里和周围人的合作，包括和 mentor，和上下游怎么合作。
《晚点》：你在商汤管过很大的技术团队，对于如何管理一群技术人才，有什么心得？
闫俊杰：当你想来做管理的时候，可能就会开始走偏了。
最重要的还是怎么让大家一起做出更强的东西，超出用户期待，也超出团队自己的期待。AI 现在可能是一个风口浪尖的行业，但也没那么神奇，它至少是一个科学，那就按照科学的方法做事：一是整体人才的水平高；二是整个组织有一套类似数据科学的方法，可以把有效的东西快速识别出来。
这两件事掺在一起，就是我们真正要做的事。
《晚点》：如何吸引更强的人加入你们？
闫俊杰：本质上还是组织强，能持续做一些好的事。我们也只能找到这么一条路径。
《晚点》：希望公司形成怎样的文化？
闫俊杰：第一是不走捷径，我们好多次走捷径，结果都被打得很惨；第二个是 User-in-the-Loop；第三是技术驱动。
这都是我们基于此前的经验和教训总结出来的。
自己好像慢慢变成了一组基函数
《晚点》：商汤是你的第一份工作，它给你留下了什么烙印？
闫俊杰：我觉得主要是对集中力量干大事的技术路线的自信。
还有一些反馈是刻骨铭心的，这也是为什么我希望 MiniMax 的组织足够简单，因为在一个组织里，大家觉得一个事不对，但又不直接说，这对所有人都是一个很大的伤害。
《晚点》：当时 AGI 还是非共识，你怎么就意识到了它是个方向？
闫俊杰：其实来自我的一次偶然思考。2020 年我还在商汤带技术团队，有一天我突然发现，每天 AI 领域的论文我已经看不完了，这对我触动非常大。
我作为一个做技术的，那时每天的技术进展已经超出我的理解范围了。人的进化速度是很慢的，唯一的方式是有更好的人工智能来帮助技术发展，或者加快人的研究速度。
当时我还有另一个观察，就是 2020 年之前的人工智能，比如我在商汤做的很多事情，它给社会带来的收益和价值没那么大。
这就有非常大的矛盾：你相信人工智能长期对社会有价值，只有它才能让人类的技术进步速度变得更快；另一方面，你做的很多事并没有直接促成它。
是因为不够重视吗？显然不是，当时社会对人工智能的关注度、投入的资金量非常巨大。考虑到这几点，唯一的可能性就是我们的技术路线不对，或者我们关注的问题不是人工智能应该真正去解决的问题。
《晚点》：上一代 AI 从业者其实很多都意识到了这个矛盾，但大家都找不到出路。
闫俊杰：2021 年初 OpenAI 发布的 CLIP 对我非常重要 ，那时我开始意识到自然语言和计算机视觉之间没有本质区别，就是一套统一的机器学习系统。我看到了技术上出现更通用人工智能的可能性。
当这件事发生时，如果你真的相信人工智能，你就应该去做点什么。
《晚点》：你是如何学习的？
闫俊杰：认识比自己更强的人，这可能是创业能带给我的为数不多的短期满足，我很幸运遇到了一些非常 top 的人，给了我一些视角。当你从更高层面思考，很多东西反而没那么难了。其次我会看很多论文。
《晚点》：你说要避免产品的全面优秀，那你自己是全面优秀吗？你在商汤的晋升速度很快，从研发开始，做到了集团副总裁，好像各种职能都能胜任。
闫俊杰：我不觉得我是全面优秀。过去我能做很多工作，可能跟我的成长经历有关，我出生在河南一个小县城，很多东西周围没有人教，只能靠自己，这就形成了自己领悟事情的能力。我也不想这样，我是被迫变成这样。
但今天看，这个能力还是非常有用的。当我去做一个没做过的事，能快速找到一些底层逻辑。
《晚点》：你觉得自己的短板是什么？
闫俊杰：虽然做过一些技术，但我不是最 top 的研究者，可能只是一个二流研究者。
《晚点》：还好吧，你的论文在 Google Scholar 上有接近 3 万次引用。
闫俊杰：全世界最 top 的那个人可能是 30 万。
《晚点》：你说要把公司当函数，那你觉得自己是一个什么函数？
闫俊杰：（想了很久）之前上学的时候学泰勒展开，我看到一个复杂的东西是可以用一些简单的函数组合来逼近的。
也就是说，你可以用一组基函数来逼近任意的函数。我感觉自己好像慢慢变成了一些基函数，通过一些不同权重的组合，在需要的时候变成不同的形态。
《晚点》：聊了这么久，发现还没有谈到改变世界、改变人类。
闫俊杰：真正想做的事不应该天天说。
《晚点》：那今天可以说说吗？
闫俊杰：还是 “Intelligence with everyone”，这句话有两个解释，一是我们希望用最好的技术服务每一个人，二是我们实现 AGI 的过程中需要和用户一起迭代、成长。
以及我看到了比想象得更快的技术进步速度。
Facebook刷粉
TikTok刷粉
Telegram刷粉
