人工智能是否带来了“机器反叛人类”等巨大风险？今天举行的世界顶尖科学家智能科学大会上，世界顶尖科学家协会奖“智能科学或数学奖”得主、加州大学伯克利分校杰出冠名教授迈克尔·乔丹在演讲中表示，没必要聚焦科幻作品里的人工智能风险，科学家的当务之急是提高大语言模型等人工智能系统的可信度，让“AI4S”（科学智能）输出更准确的科研结论。
　　本月初，首届人工智能安全峰会在英国举行，包括中国在内的28个国家与欧盟共同签署了《布莱切利宣言》。这是人类历史上第一份就遏制人工智能风险达成的国际性声明，承诺为了全人类利益，将力求以“安全、以人为中心、值得信赖、负责任”的方式设计、开发、部署和使用人工智能，呼吁制定跨境政策以防范人工智能风险，包括虚假信息和“故意或无意的灾难性危害”等。
　　世界顶尖科学家智能科学大会上，一些科学家在演讲中也谈到了《布莱切利宣言》。中国工程院院士、复旦大学教授邬江兴表示，对人工智能不能采取“先发展，后治理”的策略，而是发展和治理“两手都要硬”，通过科研团队“自律”和法律、政策治理“他律”，实现对人工智能的有序有效管理，防范其潜在的社会危害。
　　作为计算机科学和统计学专家，乔丹在演讲中指出，我们在讨论人工智能的负面影响时，不必聚焦毁灭性风险，因为那属于科幻小说和电影。对科学家来说，不断提升人工智能系统的可信度，是一个有价值的科研方向。
　　ChatGPT等大模型的问世，让人工智能系统有了更强大的功能，但乔丹提醒听众，所有人工智能系统都存在不确定性问题。以ChatGPT为例，它在回答问题、给出文案时会产生“幻觉”，即一本正经地胡说八道，提供虚假信息。深度思维公司研发的“阿尔法折叠2”也存在缺陷，预测一些蛋白质折叠结构时会出错。虽然“阿尔法折叠2”是一个诺奖级成果，已让研发团队负责人戴米斯·哈萨比斯和约翰·贾伯获得拉斯克基础医学研究奖，但它并不能预测准确每个蛋白质的三维结构。
　　因此，乔丹认为，科研人员要对“AI4S”保持警惕，不能把人工智能输出的科研结论当作“正确答案”。近年来，他带领团队在这个领域开展了深入研究，可以给每个人工智能系统设立其“置信区间”。如果“置信区间”很窄（小于1），那么这个系统的可信度就有待提升。
　　为了提高大模型等AI系统的可信度，乔丹带领团队通过优化调整系数、输入先验数据等方法，能有效扩大系统的“置信区间”。“我们采用的主要是数学方法。”在演讲的一页幻灯片上，观众看到了密密麻麻的数学公式。也许是因为用数学方法改进了并不可靠的AI系统，乔丹说，人工智能其实不是一种“智能”，科学家有必要持续提高其可信度，才能让它更好地为人类服务。
（文章来源：上观新闻）