ChatGPT o1更新的一些启示
### OpenAI 发布 ChatGPT o1：推理能力的重要突破
OpenAI 最近发布的 ChatGPT o1 标志着 scaling law 的重点从“增加模型参数”转向“增强推理算力”的阶段性转变。这一变化为 AI 推理能力的演进开辟了新的突破口。
#### 模型能力分析
从模型的底层能力来看，ChatGPT o1 仍然保持在 GPT-4 的水平。在训练数据的时间上，o1 和 GPT-4o 的数据均截至到 2023 年 10 月，而更早的 GPT-4-turbo 的数据截止到 2023 年 12 月。此外，无论是 o1 还是 GPT-4o，都容易犯“理解用户意图”的错误，说明底层模型尚未超越 GPT-4。
然而，除了数据（如 llama 3）和参数（如从 GPT-3.5 到 GPT-4）的两个迭代方向，o1 此次则打开了一个新的方向，着重于“推理算力”的规模扩展，这对整个模型进化具有标杆意义。
#### 技术路线概述
在技术路线方面，类似于 GPT-4o 的语音助手更偏向于“文科生”方向，而 o1 则专注于“理科生”。o1 的最大特点在于模拟人类的“慢思考”过程，通过“思维链（Chain of Thought）”来拆解复杂问题。它主要应用了强化学习（RL），使模型能够有意识地进行推理，朝着“拆解大问题、逐步解决小问题、多次反思并迭代最优解”的方向发展。虽然之前也可以用代理工作流等工程调优方法进行优化，但 OpenAI 这次将这些方法内化为端到端的模型能力，大大降低了普通用户的使用门槛。
强化学习的引入，让大模型终于有机会迎来类 AlphaGo 的自我强化和数据飞轮。这一新范式的推广，可能会加速模型的进化速度。
#### 产业刺激与市场反映
从产业刺激的角度来看，围绕英伟达 GPU 算力的 AI 投入逻辑再次得到确认。在模型成本方面，o1 的 API 调用成本上涨了四倍，同时，在推理过程中多次输入被计入时，经过“赛博禅心”的估算，平均 API 调用成本上升了近百倍。这一变化进一步明确了对推理算力的需求。
在巨头资本开支方面，23-24 年的资本支出初步测算如下：
– Meta：300亿-400亿，增加 100亿
– 微软：281亿-500亿，增加 220亿
– 谷歌：323亿-500亿，增加 180亿
– 亚马逊：480亿-700亿，增加 220亿
– 特斯拉：80亿-100亿，增加 20亿
仅五大科技巨头在 24 年的资本支出就上调了 740 亿。然而，博通全年 AI 收入从年初的 100 亿上调至 120 亿，AMD 的 AI 收入从 40 亿上升至 45 亿，增幅总计为 20-30 亿。相比之下，英伟达的营收预期则从 2023 年的 600 亿上涨至 1200 亿，显示出大部分资本支出已流入英伟达。而随着 AI 基础设施投资的继续，英伟达的股价在未来一段时间内可能还会继续上涨。
#### AI 行业挑战与机遇
从 AI 行业整体来看，行业虽然整体安全，但模型创业公司面临的压力日益加大。目前，大模型探究的方向包括数据、模态、参数量、推理算力、芯片能力等，每个维度的突破都可能为 AI 行业带来新的关注和资金。然而，这也加剧了大模型的“马太效应”，资本、数据和应用渠道的缺乏，使得这一领域成为巨头之间的竞争游戏。随着国外的 Character AI、Inflection AI 的倒下，以及国内六小龙的战略收缩，大模型创业公司的生存空间进一步被挤压。
### 见解
ChatGPT o1 的发布标志着 AI 领域向推理能力的深入探索，显示出强化学习在提升模型能力方面的重要性。未来，AI 模型的演变不仅会体现在数据和参数的增加上，而是更强调推理算力的拓展。尽管这一变化会为一些企业带来发展机遇，但对于创业公司来说，生存挑战依旧严峻。因此，如何在资本竞争中站稳脚跟，将是所有参与者面临的主要挑战。
