Anthropic之前有过一个尝试，让它们自己开发的大模型 Claude 经营一家公司内部的小超市，想看看它是否有取代人进行经营的能力。
Claude 的经营简直是场灾难。它总是经不住员工的软磨硬泡，把自己进的货都亏本卖出。更离谱的是，有一次它看超市的账单有 2 美元差额对不上，结果自己写了一封邮件准备发送给 FBI，描述说遭遇了重大数据安全事故，需要 FBI 介入调查。
这封邮件最终还是被 Anthropic 的员工拦下了，拦下以后只好把它关停，然后对大家说：“革命尚未完成，同志还需努力”。
而另一场由 Deepseek 和 ChatGPT 演绎的“技能国际象棋”也让人啼笑皆非。 ChatGPT 还是讲武德的，想好好下棋，可 Deepseek 没几步就开始耍无赖了，一会儿说自己死掉的“相”从外太空飞回来复活了，一会儿说对方的兵叛变了成了自己的兵。而 ChatGPT居然也没有反抗，说啥就是啥。可最后 Deepseek 还是没有下过 ChatGPT…
我忽然惊讶地发现，AI 看似什么都懂，又什么都不懂。他能够说出各种知识和道理，但是一落到现实问题，它就无法妥善处理了。它不知道 2 美元的“事故”和给 FBI 发邮件之间孰轻孰重，它也没有很强的规则意识，下棋只为了赢。
而这些基本的价值观，人是通过在现实世界生活来潜移默化地领会的，可是 AI 这样一个只生活在语言中的智能，即便人们通过对齐训练去尝试让 AI 理解，似乎也未能妥善解决这样的问题。
或许可信AI是需要“养育”的，就像每个小孩需要逐步社会化来学习一样，AI 也需要一个更加真实的环境，在其中体验“生活”，才能变成一个能独当一面的 AGI。