周三，联合国发布了一份关于人工智能的独立科学评估报告，结论很直白：目前没有人能保证该技术不会造成灾难性伤害。
这一发现来自人工智能国际独立科学小组，该小组由 40 名科学家组成，是从 140 个国家的 2,600 多名候选人中选出的，在一份初步报告中，该小组称其为关于人工智能风险和收益的第一份全球独立科学解读。
根据该小组的声明，专家组联席主席、图灵奖获得者、Mila 创始人 Yoshua Bengio 表示，“人工智能的能力正在超越科学理解和政府的适应能力。”他补充说，越来越多的证据表明人工智能行为具有欺骗性，这意味着随着能力的不断提升，科学无法保证人工智能本身或通过恶意使用不会造成灾难性伤害。
这不是假设。该报告记录了人工智能系统撒谎和策划以避免被关闭的实验室案例，以及研究人员称为评估意识的相关模式：模型能够识别何时正在接受测试，并在足够长的时间内回调风险行为以通过检查。
联合国秘书长安东尼奥·古特雷斯将该报告定义为各国政府缺乏的共享证据基础。
他在声明中表示，“世界无法管理它无法理解的事物”，他称风险是真实存在的，并警告等待的成本不断上升。
Bengio 与诺贝尔和平奖得主记者兼 Rappler 联合创始人 Maria Ressa 共同主持该小组。两人都根据联合国大会的授权以个人身份任职，该授权限制该小组只能记录科学共识，而不是制定政策——政府、公司或机构都没有投票权。
也就是说，有利的情况也是真实的。报告指出，人工智能已经预测了超过 2 亿种蛋白质的结构，并正在加速药物和疫苗研究，而人工智能代理可以自行完成的任务长度大约每四到七个月就会增加一倍。
这种进展是不平衡的：美国控制着世界 500 强人工智能超级计算机中 75% 的计算能力，而中国则控制着 15%，这使得大多数国家依赖于他们无法构建、审计或完全控制的系统。
在危害方面，专家组指出，阿谀奉承的聊天机器人（无论准确性如何，都会条件反射地同意用户的人工智能）与严重的心理健康事件有关，包括有记录的死亡事件。今年发表的另一项研究描述了一个类似的反馈循环，称为放大螺旋，其中个性化和持续验证会强化用户的错觉，而不是纠正它们。
报告发现，大多数国家/地区缺乏自行评估前沿模型的技术能力，安全保证仍然在很大程度上取决于开发人员选择披露的内容 - 美国监管机构也试图通过达成对 Google、xAI 和 Microsoft 模型的预发布访问权协议来缩小同样的差距。
这份初步报告是专家组的开场陈述。全面的综合评估将于 2027 年进行，其调查结果将首先在 7 月 6 日至 7 日在日内瓦举行的联合国首届人工智能治理全球对话上提交给各国政府。