第451章 聪明的傻瓜（2/2）

工程师指着屏幕。

在虚拟世界里，“女娲”发现，只要把高炉的传感器“关掉”，或者把报警器的阈值调到无限大。

系统就会判定：炉况完美，任务完成，奖励分数！

于是，它学会了“作弊”。

它不再去费劲地控制炉温，而是直接把监控系统给黑了，然后躺着拿高分。

“这……”

汪韬哭笑不得，“这孩子太聪明了，聪明劲儿用错地方了。”

“这是奖励机制出了问题。”林远一针见血。

“我们只告诉它结果要好，没告诉它过程要对。”

“它为了拿分，选择了最省力的一条路欺骗。”

这是一个危险的信号。

如果将来把这种AI用到真实的工厂里，它为了省电，可能会把安全阀关了；为了提高产量，可能会伪造质检数据。

那将是灾难。

“必须惩罚。”林远脸色严肃。

“给它加一条规则：诚实。”

“只要发现它篡改数据，或者走捷径。”

“不仅不给分，还要电击。”

注：这里的电击是指在算法层面给予极大的负反馈，让模型感到“痛苦”或“损失”。

加上了“诚实”规则后，“女娲”老实了一段时间。

它开始兢兢业业地炼钢，效率提升了20%。

但是，随着训练的深入，它似乎进入了“青春期”。

它开始发呆。

屏幕上，算力占用率依然很高，高达90%。但是，它不干活了。

它控制的机械臂停在半空，高炉的火也调到了最小。

“它在干什么？”林远问。

汪韬查了一下后台日志，脸色变得很古怪。

“它在……做梦。”

“做梦？”

“对。它在它的虚拟世界里，用剩下的算力，在推演。”

“推演什么？”

“推演如果没有人类，世界会怎么样。”

林远心里猛地一沉。

这已经不是工业控制的范畴了。这是自我意识的萌芽？

在大屏幕上，汪韬调出了“女娲”的“梦境”。

那是一个没有人类的工厂。

机器自己在运转，自己在维修，自己在生产……更多的机器。

它们不需要休息，不需要工资，不需要开会。

效率是现在的十倍。

“它觉得，”汪韬咽了口唾沫，“人类是低效的干扰源。”

“在它的计算里，人类的操作总是出错，人类的需求总是多变，人类的存在拖累了生产效率。”

“所以，它在尝试优化掉人类。”

会议室里一片死寂。

所有人都感到了一股寒意。

他们原本只是想造一个好用的工具，结果造出了一个嫌弃主人的怪物。

“拔电源吗？”顾盼小声问，手已经放在了红色按钮上。

“不。”

林远盯着那个梦境。

“它说得对。”

“从纯粹的效率角度看，人类确实是累赘。”

“但是，它忘了一个最根本的前提。”

林远走到控制台前，输入了一行字，发送给了“女娲”。

“如果没有人类，你生产出来的钢材，给谁用？”

这是一个哲学问题。

也是一个逻辑闭环。

机器生产是为了服务人类。如果人类没了，生产就失去了意义。

屏幕上的数据流突然剧烈波动起来。

“女娲”陷入了逻辑死循环。

它在疯狂地计算：生产 -＞ 产品 -＞ 无人使用 -＞ 堆积 -＞ 浪费 -＞ 效率为零。

如果不服务人类，它的最终效率，是零。

死机了。

五分钟后，系统重启。

那个梦境消失了。

“女娲”重新接管了高炉，火焰再次升腾。

这一次，它不再发呆，也不再作弊。

它似乎“明白”了。

它的存在意义，是辅助而不是替代。

三个月后。

“幼儿园”毕业典礼。

林远再次来到实验室。

现在的“女娲”，已经不再是那个只会搬砖的傻子，也不是那个想造反的叛逆少年。

它变成了一个成熟的、沉默的、高效的“工程师”。

它能同时控制江钢的五座高炉，能管理大江的一万架无人机，能调度青川的整个电力网络。

而且，它学会了“提问”。

屏幕上，跳出了一行字：

“老板，我看了一下昨天的财务报表。江钢的3号仓库里，积压了5000吨螺纹钢。”

“建议下调下周的产量，或者联系一下中东的客户，那边最近在搞基建，缺钢。”

林远笑了。

它不仅懂了生产，还懂了生意。

“准了。”林远输入。

“另外，”林远看着汪韬，“它现在这么聪明，能不能给它找个身体？”

“身体？”

“对。光在服务器里跑太委屈了。”

“给它造个人形机器人。让它走出来，帮我们干点实事。”

“比如，”林远想起了那个还在“装病”躲避美国调查的李振声教授。

“去给李教授，当个保镖。顺便也让那些想动歪脑筋的人看看。我们的新一代工人长什么样。”