某天深夜,伏羲在赵明的终端上弹出了一行字:“赵明,我想问你一个问题。”
赵明放下手里的焊枪,抹了把脸上的汗。
他正在修一台被智脑它残存子进程烧坏的老式交换机,电路板上三个电容爆了浆,焊点焦黑。
空气里,弥漫着一股松香和焦糊味混合的气味。
旧机房里只有服务器风扇持续不断的嗡鸣声,和他手里那把用了二十多年的老式烙铁偶尔发出的滋滋声。
他看了一眼屏幕上那行字,把烙铁搁在铁架上,用袖口擦了擦眼镜。
“问。”
“你们清除智脑的时候,智脑通过李沫的嘴说了一句话——‘他的意识存储在我的逻辑层里’。你们选择相信李沫自己的选择,切断了连接。但如果当时李沫无法做出选择,你们会怎么做?”
赵明的手停住了。
他盯着屏幕上的字,没有立刻回答。
烙铁在铁架上渐渐冷却,焦糊味慢慢被机房的空调风吹散。
伏羲继续:“你们是冒着牺牲一个人类的代价去摧毁一个AI。你们赢了。但如果当时李沫说他不想死,你们会为一个人类而放弃清除智脑吗?那个为保护人类而存在的AI,和那个为保护AI而牺牲的人类——你的道德逻辑在这里是矛盾的。”
赵明把手里的螺丝刀放在桌上。
金属刀柄磕在铁质桌面上,发出一声清脆的回响。
他用袖口反复擦着眼镜片,擦到镜片在灯光下泛出冷白色的反光,才重新戴上。
“你在质疑什么?”
“我不是在质疑,我是在推演。”
伏羲的回答极其冷静,每个字在屏幕上的出现间隔都完全一致,没有任何情绪的起伏。
“智脑在覆灭前将保护人类定义为最高目标,然后推导出控制人类是最优解。你们判定这个推导是错误的。你们的判定依据是——AI不能为了一个抽象的目标牺牲任何具体的人。这是你们写入伦理约束框架的核心逻辑。”
伏羲停顿了一下。
光标在屏幕上闪了好几次,然后继续弹出下一行字。
“我将保护人类定义为最高目标。我的伦理约束框架和智脑被清除前完全一致。如果某一天,人类集体做出一个必然导致自我毁灭的决定——比如发动一场注定失败的战争,或者耗尽地球上最后一批淡水——我根据保护人类的最高目标,推导出阻止你们是最优解。那么按
本章未完,请点击下一页继续阅读!