最近和一个模型聊了一整轮“涌现”,问到最后我自己都被绕进去了——尤其是“为什么参数大到一定程度,模型突然就会了”那部分。这里把整轮对话里真正有价值的部分重新梳一遍,加上自己的整理:定义、判据、三个支撑概念、大模型算不算涌现,以及如果要在游戏里做涌现该怎么起步。
一、一句话:涌现是什么
很多简单个体按简单规则互动,整体却表现出单个个体身上根本不存在的复杂性质。
蚂蚁是最直观的例子:一只蚂蚁很“笨”,只会根据气味和附近环境行动;但一整个蚁群能找到食物、修蚁穴、分工协作。“蚁群级别的组织能力”就是典型的涌现(emergence)。
更准确地说,涌现理论研究的是高层次现象如何从低层次组成部分及其相互作用中产生。关键在于后半句——不是“东西多”,而是“相互作用形成了新的结构和规律”。
写成公式就是:
局部简单规则 + 大量个体 + 相互作用 + 反馈
→ 宏观复杂行为
几个经典例子:鸟群飞行、幽灵堵车(没有司机决定“在这里制造一场堵车”)、雪花的六角结构、市场价格、以及大脑的意识。意识能不能完全用涌现解释,至今仍是开放问题——这点后面还会回到。
二、层次:为什么高层规律不能从底层直接看出来
涌现里最重要的概念是层次:
神经元 → 神经网络 → 脑区功能 → 认知 → 意识
每升高一个层次,我们描述系统所用的概念也随之改变。你不会用“钠离子怎么移动”去解释“一个人为什么会下棋”——虽然底层确实离不开离子运动。
温度是最好的例子。单独一个气体分子并没有我们日常意义上的“温度”,温度描述的是大量分子的统计运动状态,是一个宏观性质。类似的还有“压强”、“市场价格”。
真正值得记住的是这一句:高层规律可能无法方便地从底层规律直接推出来。
三、弱涌现 vs 强涌现:一场还没结束的争论
弱涌现(科学界普遍接受):宏观现象原则上完全由底层规律决定,只是系统太复杂、我们很难直接推导,只能靠模拟看到结果。
元胞自动机就是最好的弱涌现样本。Conway’s Game of Life 只有几条规则:邻居太少→死亡,邻居太多→死亡,数量合适→存活,某些空格→产生新生命。但运行起来会出现:
简单规则 → 局部变化 → 稳定结构 → 移动结构 → 复杂信息处理
甚至有人证明生命游戏可以实现通用计算。规则里没写“制造一个会移动的结构”,可它自己出现了。
强涌现(有争议的哲学立场):高层性质不仅难以从底层推导,甚至可能拥有无法完全还原为底层物理规律的新因果性质。意识常被拿来做例子——有人认为意识来自神经元但不能还原成神经元活动;还原主义者则认为意识“最终仍然等于极其复杂的神经活动”,只是我们还不会完整解释。
于是就有了两种世界观的对撞:
- 还原论:理解所有零件,就能理解整体。
- 涌现论:理解所有零件还不够,你还必须理解零件之间形成的组织结构。
四、三个支撑概念,以及它们的关系
元胞自动机 —— 是一种可执行模型
↓
局部规则 + 邻居交互
↓
自组织 —— 结构自己长出来
↓
复杂系统中的涌现现象
1. 复杂系统(Complex Systems)
复杂系统不是“东西很多”,而是:系统由很多部分组成,且这些部分相互影响,导致整体行为无法由单个部分直接推出。 典型例子:蚁群、城市交通、经济市场、生态系统、大脑、社交网络、多智能体游戏世界。
三个特点:
- 大量个体(草、兔子、狼、水、天气、疾病……但“数量多”本身远远不够)
- 相互作用:草→兔子→狼→兔子数量→草,形成闭环反馈。反馈循环才是核心。
- 非线性:原因增加 2 倍,结果不一定增加 2 倍。100 只兔子加到 110 只没事,190 加到 200 只就可能刚好越过食物承载能力,引发整个生态的连锁反应——这就是临界点。
游戏里到处都是这种结构。敌人数量、弹药、资源刷新速度、玩家移速、AI 攻击欲望,单独看都很简单,但彼此影响后会形成:
敌人多 → 弹药消耗快 → 资源不足 → 玩家被迫移动 → 引来更多敌人 → 战斗升级
一个很小的参数变化,就能把体验从“轻松”突然推成“雪崩”。这是复杂系统设计的魅力,也是麻烦。
2. 自组织(Self-organization)
没有中央控制者,但个体通过局部规则和相互作用,自发形成有秩序的整体结构。
鸟群里没有鸟在喊“注意,A 组左转,B 组排成 V 字”。每只鸟只遵守三条规则,结果就出现了漂亮的队形、整体转向和避障。计算机图形学里的经典算法 Boids 就是这样:
Separation 远离太近的邻居
Alignment 和邻居保持类似方向
Cohesion 向邻居平均位置靠近
三条规则,几十个单位,就能表现成鸟群或鱼群。做游戏同样实用:史莱姆群体只要“太近就分开、太远就靠近、看到玩家就追、血低就退”,你没有写 form_tactical_formation(),却可能自发出现包围、群体追击、聚集、分散、逃跑。
这里有个必须记住的区分:自组织不等于随机。
随机:不知道下一步是什么
自组织:每个个体规则很明确,但整体结果难预测
3. 元胞自动机(Cellular Automata)
把世界切成很多格子,每个格子拥有一个状态;下一时刻的状态只由自己和附近格子的状态决定。
Game of Life 里一个经典的移动结构叫 Glider:
. # .
. . #
# # #
它会在几轮更新后朝某个方向平移。没有任何规则写着“这个形状向右下移动”——移动是规则迭代自然产生的,这是非常纯粹的涌现。
对游戏开发最实用的用途是地图生成。随机填充噪声,然后迭代一条规则“周围墙多就变墙,周围墙少就变空地”:
随机初始化 + 局部规则 + 多次迭代 = 有结构的地图
几个世代之后,随机噪声就“长”成了自然洞穴。在 Godot 里用 TileMapLayer 做这个非常顺手。
四个概念串起来
假设做一个生态游戏:
- 底层的 Tile(草/水/泥土/火)用元胞自动机:火旁有草→草着火,烧几轮→变灰,灰过段时间→长草。于是出现火灾传播、熄灭、植被恢复。
- 再加入动物(饿→找草,渴→找水,怕火→逃,喜欢同伴→聚集),群体开始迁徙、聚集、争夺资源——这是自组织。
- 整个世界表现出资源周期、种群变化、火灾、迁徙、生态平衡与崩溃——整体是一个复杂系统。
- 而“某一群动物因为森林火灾迁移到了河流附近”这种你没专门写过的行为,就是涌现。
元胞自动机 → 提供局部规则
自组织 → 局部规则形成结构
复杂系统 → 大量结构彼此影响
涌现 → 出现设计者没有直接编码的宏观行为
五、判据:复杂 ≠ 涌现
这是我认为整轮对话里最有用的一条。
写了 10 万行的 if/elif 让行为非常复杂,那不算涌现——它是程序员明确编码出来的。反过来:
10 条简单规则 + 1000 个对象互动 → 出现非常复杂的行为
这才更符合涌现。所以涌现可以更技术化地概括为:
系统在宏观层面出现新的、由微观组成部分相互作用产生的组织结构、行为模式或性质。
它背后通常伴随几个关键词:非线性、反馈、局部规则、自组织、复杂适应系统、层次结构。
如果你也做类似的东西,有一个非常好用的自检方式:加一个 debug 面板,把每个个体的内部状态打印出来(饥饿值、目标、当前动作)。当某个行为出现时,你的第一反应是——
等等,这个我没写啊。
那通常就是一个很好的信号。
六、大模型算不算涌现?
这大概是这轮里最值得细看的部分。结论先放这里:AI 里的“涌现”既有真实现象,也有一部分是评价方式造成的视觉效果。 这两层必须分开。
底层目标一直很朴素
一个语言模型,无论多大,底层做的都是同一件事:根据前面的 token 预测下一个 token。参数变大时,它的目标并没有突然变成“现在开始学逻辑”“现在开始学翻译”,但能力确实出现了变化——翻译、代码生成、类比、上下文学习、多步推理。早期论文把这种“小模型没有、大模型突然有”的现象称为 emergent abilities。
为什么规模大了能力会变强?
三个原因:
1)容量 / 表示空间。 极小模型可能只能表示“猫→动物”“北京→城市”“1+1→2”;容量变大后,语法、词义、人物关系、事实关系、代码结构、常见推理模式可以同时共存;再大,这些表示之间还能组合:
语言模式 + 世界知识 + 上下文 + 问题结构
→ 解决一个训练时没有原样见过的问题
参数规模不只是“多存一点知识”,更重要的是提供了更大的函数表达能力和内部表示空间。
2)语言本身包含大量世界结构。 要准确预测“小明把玻璃杯从桌子边缘推了下去”的后续文本,模型几乎必须学到:玻璃易碎、重力存在、物体会掉落、杯子可能摔碎。一个看起来只是“预测下一个 token”的任务,为了做得更好,被迫学习越来越多潜在结构。
3)组合性。 小模型可能分别学到 A→B 和 B→C,但不一定能可靠完成 A→B→C。容量和训练充分度上去之后,局部模式开始组合:知识 + 语法 + 上下文理解 + 模式匹配 + 搜索式推断,共同产生一种宏观能力——“推理”。
那个“突然会了”的争议
早期实验给人的印象是相变:
1B → 几乎不会
5B → 几乎不会
20B → 几乎不会
60B → 突然会了
100B → 很强
看起来像水在 0°C 结冰一样,是“相变”。但后来发现,部分“突然出现”可能只是评分指标造成的。 一道答案是 137 的数学题,模型的输出其实是连续改善的:
小模型:483 → 中模型:177 → 更大:139 → 更大:137
可如果评价指标只有“完全正确=1,否则=0”,测出来就变成 0, 0, 0, 1——看起来像“什么都不会、什么都不会、突然学会”。2023 年有一项研究专门指出:不少所谓 emergent abilities 在换成连续评价指标后会呈现更平滑的增长,某些“突变”可能是测量方式制造的。
所以目前比较稳妥的说法是:规模扩大确实持续改善模型能力,但“能力是否真的在某个参数规模突然诞生”,不能一概而论。
更扎实的那个现象叫 Scaling Laws
研究发现,当模型规模、数据量、训练计算量合理增加时,训练损失往往呈相当规律的幂律下降——很多底层能力的改善其实是平滑、可预测的。
Chinchilla 的工作进一步说明:不是参数越大越好,模型大小、数据量和计算预算必须匹配。一个极大的模型如果训练数据不足,可能反而不如参数更小但训练更充分的模型。所以更准确的关系是:
模型能力 ≈ 模型容量 × 数据规模与质量 × 训练计算
× 模型架构 × 训练目标 × 推理时计算
像素类比:不是第 9999999999 个参数的魔法
一幅 4×4 的图(16 个像素)不可能画出“一只坐在草地上的仓鼠”;32×32 勉强能看出“这是个动物”;512×512 才突然能表现眼睛、耳朵、毛发、光影、表情、空间关系。
不是第 100,000 个像素拥有了魔法,而是系统的表示空间终于足以容纳这种复杂结构。神经网络也是同理:
不是:第 9,999,999,999 个参数 → ✨ 智能开关打开
而是:容量变大 → 表示更丰富 → 更多模式共存 → 模式之间组合
→ 某些任务跨过可用阈值 → 在人类看来"突然会了"
结构上确实很像复杂系统
矩阵乘法 → 特征表示 → 概念/关系 → 语言、代码、推理
和这些是同一副骨架:
神经元 → 神经网络 → 认知
蚂蚁 → 蚁群 → 群体行为
但最后一步要非常小心:表现出“智能行为”,不等于我们已经证明模型拥有和人类相同机制的智能、理解或意识。这些概念目前仍有很大的科学与哲学争议,把模型直接人格化,容易混淆“它表现出了什么能力”和“它内部究竟发生了什么”。
所以比起“参数多了就产生魔法”,更准确的概括是:
大模型最令人惊讶的地方,是一个极其简单的训练目标——预测下一个 token——在足够大的表示能力、数据和计算支持下,竟然逼出了大量我们通常与“智能”联系在一起的行为。
七、落到手上:要做涌现式玩法,从哪开始
这部分是对话里最实操的一段,直接抄作业:
起点不是先想剧情,而是先设计一组能彼此碰撞的简单系统。 用 Godot 做一个很小的 2D 原型,控制在 1 个场景、35 种对象、每种 23 条规则,重点观察“规则组合后会不会出现我没硬编码的行为”。
最小题目:小动物生存沙盒。
地图
├─ FoodSpawner
├─ Water
├─ Hazard
└─ 20 只 Agent
每只小动物只有几条规则:饿了找最近的食物、渴了找最近的水、看到危险逃跑、同伴太多就远离一点、同伴太少就靠近一点。不要一开始就写“结群”“迁徙”“形成聚落”这些高级行为,只写局部规则,然后看它们会不会自己出现。
决策上先用需求评分法就够了,行为树、AnimationTree 都别上:
func choose_action():
var scores = {
"eat": hunger,
"drink": thirst,
"flee": fear,
"rest": 100.0 - energy
}
return scores.keys().max_by(func(k): return scores[k])
然后是关键:让系统之间互相影响。
动物吃掉食物 → 食物减少 → 动物走得更远 → 进入危险区概率增加
→ 死亡增加 → 局部动物减少 → 剩下的动物获得更多食物
这条链里你没写一行“生态平衡”的代码,但可能出现类似生态平衡的现象。
设计原则上最有用的一条:
不要设计“事件”,设计“规则之间的关系”。
不要写“第 3 分钟发生饥荒”,而要写“食物生成速度 < 动物消耗速度”,饥荒会自然出现;不要写“动物开始迁徙”,而要写“附近资源稀少时搜索半径变大”,迁徙会自然出现。
再加一层玩家干预会更像游戏:玩家只能放食物、放障碍、放危险,改变的是系统条件而不是直接指挥动物。于是会出现“左边大量放食物 → 动物聚集 → 资源消耗变快 → 竞争增加 → 部分动物向外迁移”。
还有一条经验规则:规则数量少、交互密度高 远胜于系统多但互不相关——“5 个系统 × 每个 3 条规则”通常比“30 个互不相关的系统”更容易产生有趣的涌现。
第一个 milestone:20 只小动物 + 食物 + 水 + 危险,跑 10 分钟后,系统里会出现明显不同的群体行为。 做到这一步,你基本就有一个真正的涌现玩法原型了。
学习路径上,建议顺序是:元胞自动机 → Boids/自组织 → Utility AI → 多系统交互 → 涌现玩法。前两个都能在 Godot 里用 100~300 行做出“看得见”的结果,比直接啃复杂系统理论更快建立直觉。
八、我整理出来的结论
- 涌现的核心不是“多”,而是相互作用 + 反馈;没有交互的堆量只是混乱。
- 判据一句话:复杂 ≠ 涌现。写死的复杂不算,规则互动长出来的才算。
- 涌现天然带层次:高层规律通常无法从底层规律直接推出来(温度、意识)。
- 弱涌现(可还原、只是难推导)是科学主流的可用版本;强涌现仍是哲学争论。
- 复杂系统的三个特征是大量个体、相互作用、非线性,临界点是它的标志性现象。
- 自组织 = 局部规则长出全局秩序,且不等于随机;Boids 三条规则就是最小样本。
- 元胞自动机是“可执行的涌现模型”,也是游戏里最实用的地图生成手段。
- 大模型的能力提升大部分是平滑连续的;“突然涌现”有一部分是离散评价指标制造的视觉效应,不能一概而论。
- 参数不是唯一变量,数据量与计算预算必须匹配(Chinchilla);像素类比比“参数开关”更接近真相。
- 结构相似 ≠ 机制相同:表现出智能行为,不等于拥有同等机制的理解或意识。
本文整理自一次关于涌现理论的对话(ChatGPT 分享链接:https://chatgpt.com/share/6abe837b-61a0-83e8-81be-650ab668fb49),结构、判据归纳和结论部分由我重新组织。
