人工智能（AI）为人类社会按下了加速键。新研究、新技术、新产品，方方面面都在飞速更新。然而，假如AI发展过快，人类跟不上节拍怎么办？

昨天举行的2024年世界顶尖科学家论坛智能科学大会上，国内外专家学者围绕“为人类永续发展制定科学的AI治理框架”发表真知灼见。其中有一种声音格外令人警醒，那就是：人类把人工智能带到这个已知的世界，但决不能让人工智能把人类引向无法掌控的未知世界，否则后果不堪设想。

构建AI驱动的科研基础设施

学术研究的深入，将人工智能不断推向新的高度，而层出不穷的人工智能工具，也正推动科学研究不断迈上新台阶。

中国科学院院士、北京科学智能研究院院长、北京大学国际机器学习研究中心主任鄂维南指出，在传统科学研究中，理论建模与模拟的一大难处在于“维数灾难”，即在高维度数据空间中，数据分析和处理将异常艰难。而今，深度学习技术提供了解决办法。比如，研究人员可以对包含数十亿个原子的系统进行具有量子力学精度的分子动力学模拟。这项成果让鄂维南在2020年荣获素有“超算界诺贝尔奖”之称的美国计算机协会ACM戈登贝尔奖。

鄂维南表示，科研所需的三大基本方法或资源是理论、实验和科学文献。人工智能的兴起，在这三方面引起了天翻地覆的改变，科学研究的方式也随之迭代。大语言模型和AI数据库的出现使研究人员能够更高效、更智慧地运用现成的知识；分子动力学、量子多体、密度泛函理论等重要理论工具的背后，是基于AI的算法；而智能化的下一代实验设备将大幅提升数据收集的效率和精度。

鄂维南说，我们正在经历一场科研范式变革，基于人工智能的一系列工具将颠覆传统科研模式。为此，我们需要准备好“AI驱动的基础设施”，需要将“作坊式”的科研模式切换到“安卓式”，即开发一些大平台，以平台为基础，针对具体问题搭建应用，并针对具体的应用场景构建垂直整合的团队。

科研领域的范式变革正在不断转化为成果。本届智能科学大会围绕智能科学前沿应用领域首次推出“科技创新卓越案例研讨”，探讨数字化与AI公司及机构的创新案例。

会上，赛诺菲高级副总裁、临床科学与运营全球负责人莱昂内尔·巴斯克莱斯介绍，AI已经在疾病生物学、药物研发、临床试验等各环节开始赋能。比如公司将AI与自动化结合，加速小分子药物的发现；开发mRNA大语言模型CodonBERT，以千万mRNA序列为训练数据，用于mRNA疫苗候选的表达预测；开发生成式AI系统，用于生成临床研究报告，大幅提升效率，缩短药品研发周期。

英矽智能也带来了名为PreciousGPT的大语言模型。公司创始人兼首席执行官亚历克斯·扎沃隆科夫表示，这款模型可用于产生对生物系统有一定影响的化合物、模拟临床研究、生成合成患者、对组学实验的结果作注释，以及将化合物特性类推到新领域。

算法设计不能一味“争强”

人工智能引领的这场辐射全社会、影响各行业的变革，也引起了不少专家学者的警惕。

2007年图灵奖得主、国际嵌入式系统研究中心Verimag实验室名誉研究主任、南方科技大学斯发基斯可信自主系统研究院院长约瑟夫·斯发基斯，谈到了AI系统的风险评估与管控。他认为，人工智能的风险有两种：技术风险与人为风险。前者包括算法需求的不完整性、算法设计的缺陷，以及算法部署时可能面临的外部环境威胁。后者又细分为两种，客户或投资方对AI系统提出的目标或需求可能不合法或不道德，用户也可能将系统用于歪门邪道。

对此，斯发基斯主张，应针对算法设计者和使用者的人为风险以及算法设计部署阶段的技术风险，分别制定相应对策。

他认为，人类尚不可以对人工智能报以百分百的信任，因为除了技术特性外，AI系统还具有“主观特性”，所以需要向人类价值观对齐，具备公平性、可靠性、安全性、隐私性、包容性、透明性等特征。然而，由于目前并没有针对此类特性的严格认证方法，所以难以全面严谨地评估AI风险。

2024顶科协奖“智能科学或数学奖”得主、康奈尔大学计算机科学和信息科学讲席教授乔恩·克莱因伯格指出，当前人工智能发展存在三个风险点：一是人类自身的排外偏见会导致算法与生俱来的偏见，进而引发人类社会的一系列混乱。

二是受到经济激励的影响，人们在设计算法时容易陷入“单作”的状态。这个概念借用自农业。假如一片农田为了经济效益而只种植一种作物，那么只需一种病原体就能消灭一整片农田。同样的，“单作”算法也会“引火上身”，让恶意软件更加有的放矢。当外在条件或宏观环境发生变化时，“单作”算法还可能触发多米诺骨牌效应，引起连锁性灾难。

三是人类在面对超越人类的AI系统时，认知上的落后会带来麻烦。在和此类AI系统开展合作时，控制权往往不在人类自己手里。但假如人工智能突然把控制权交了出来，那么人类就可能犯下严重错误，因为AI知道该怎么做，而人类未必。

所以克莱因伯格认为，在设计时既要追求算法的强大，也要注意，万一到了不得不由人类掌控局面的时候，事态不能发展到失控的地步。