何光沪：建立国际监管，预防人类浩劫 [人工智能问题系列思考之二]
从去年年底到今年年初，我在关于人工智能问题的一些演讲和文章中提出了一个呼吁：“学会自我规限，预防灭顶之灾”！
那是从宗教角度对这个问题所作的一点理论思考——从上帝赋予人以自己的形象或性质，思考人类赋予机器以自己的形象或性质；人类特有的这些性质，第一是自由，第二是心智，第三是创造性或爱心；人类创造机器人，即人工智能，就是把自己的部分形象或性质，比如，把“智能”即理性思考的能力，赋予了机器。
从宗教角度出发，会发现人类在这件事情上，既滥用了天赋的创造性，又受制于天生的局限性。一方面，人想要创造出具备智能甚至超级智能的机器，有几何级数增长的学习能力，有威胁人类生存的繁殖能力的机器。另一方面，人没有能力赋予机器或者人工智能以良心，同时又没有能力防止它们获得自由，即自行抉择的能力。于是人工智能就可能有智而无心；很多专家认为，超级人工智能会获得自行决策的能力，即哲学上说的自由。机器人有自由而没良心，那会极其恐怖。
另外，人工智能的创造要依靠物质、需要能源和原材料，这可能导致与人类争夺资源，导致冲突，因此会有极大的风险。
前面谈的主要是一般性的问题。现在我想提出一个比较具体的呼吁：“建立国际监管，预防人类浩劫”！
这是从现实角度对这个问题进一步思考，可以分成三点。
一．
现代科学技术的发展及其社会结果，有很多例证都说明，对之进行监管十分必要。或者反过来说，现代科学技术发展证明，听之任之是危险的，毫无规限地任其发展，对其应用缺乏适当的监督、管理和指导，会带来极大的危害。
例如，避孕技术的发展，对传统性道德造成了很大的破坏；人工受精和代孕技术的发展，对亲子概念和亲子关系造成了冲击；堕胎手术的便利，已经杀死了很多婴儿；胎儿性别鉴定的技术，如果不加以监管，在很多传统文化的环境当中，比如在中国和印度传统文化的环境当中，会造成人口性别的严重失衡，以及婚姻方面巨大的社会难题。
又例如，如果对生物克隆技术不加以监管，在那些仅仅追求利润或名声，或是仅仅被求知或好奇所驱动的海量的研究人员或研究机构那里，难免会埋下危险的种子——有朝一日造出克隆人或半人半兽怪物，从而威胁人类社会的伦理、法律等等基本秩序。
还有许多例证，例如对制冷技术对地球臭氧层的破坏，热能发展和碳排放对大气层和气候的破坏等等，更是总所周知。
由于绝大多数科学家和技术人员很难超越自己的专业领域，去思考这些涉及到社会伦理、法律权利，甚至历史发展、文化文明、人性变化的问题，所以，伦理学家、社会学家、法学家、哲学家、宗教学家等社会科学、人文学科的专业人士，就应当而且必须对这些表面上只属于自然科学和技术科学的问题，提出意见、建言献策，甚至提出监督管理的建议。进一步说，国家的立法机构更应当考虑和讨论这类建议，并采取及时而必要的立法行动，制定措施，督促执法机构加以执行。
因为这些问题，关系到社会中每一个人的生活，甚至关系到全人类的命运。
二．
事实上，现在我们需要的，不仅是国内的监管，而且是国际的监管。
由于科学的发展进步没有国界，技术的应用结果没有国界，知识和信息的传播也是跨国进行；又由于交通和通讯技术的飞跃，使得现代社会进入了国际化和全球化的时代，因此，科技发展的影响，不论是好是坏，绝不会局限于一个国家或一些国家。在这种情况下，对影响重大的科技发展，就必须进行国际监管。
人工智能现在正在开始发挥越来越重大的影响，而且即将对全人类的生活产生全面的、深远的、颠覆性的影响，在这个领域进行国际监管，应该立即提上国际合作的日程。
原子能方面的科学技术及其应用，是一个重要的例证。首先，核武器的使用会造成巨大规模的人员伤亡，会使得更大规模的人群罹患绝症，非常痛苦，生不如死，甚至会造成人类文明的灭亡，以及一切生物的灭绝和地球生态的毁灭。其次，核能的和平利用，尤其是核电的使用，也未彻底解决核废料长达 10 亿年之久的放射性危害的问题，而且未能完全杜绝核泄漏的发生（切尔诺贝利和福岛都是例证），而泄露的污染和危害范围，也是超越国界的。这里还未提到一些国家掩盖了针对别国的、为着战争目的的核能发展。
因此种种，从爱因斯坦这类科学家和广岛投弹美军飞行员的反思，到国际原子能委员会的成立及其国际检查活动，反映了人类对这类科技成果负面作用的共识。这种亡羊补牢式的思考当然很重要，但是有些事情，如果亡羊再来补牢，则为时晚矣！
因为超级人工智能极可能来得很快，并以几何级数的速度迅猛发展，所以，对人工智能研发的国际监管，事实上越早越好！
三．
斯蒂芬•霍金（ S. Hawking ）指出，人工智能的出现 , 在人类历史上的意义不亚于核武器。这已经向我们指出了事情的严重程度。他又说，人工智能的出现，是人类历史上最好的事情，也可能是最坏的事情。我们当然应该争取最好的事情、避免最坏的事情。不仅如此，正如卡鲁姆•蔡斯（ K. Chace ）在《人工智能革命》中所说，对付人工智能的巨大挑战，这场战争不能输，因为获胜的奖品是绚烂的未来——坐享一切，长生不老；失败的惩罚是灭顶之灾——人类灭绝，甚至更糟。
既然是灭顶之灾，那么即使只有万分之一的可能，也应该作出一万分的努力去避免。实际上，在当今的国际局势下，人工智能的研发，分散在不同的国家、不同的机构，包括国家机构、军队机构，以及数不清的跨国公司、私人机构甚至“车库”当中，这就大大增加了危险发生的可能性。总所周知，军事机构研发的，可能首先是破坏性的或杀人的机器人，所以负面作用或危险发生的可能性，也因此大大增加。
在一些人工智能研发能力很强的国家当中，民族主义的高涨当然也会大大地增加危险。例如在全世界人工智能研发能力最强的中国和美国，如果让民族主义和民粹主义占据主导地位，让“零和思维方式”、“高地思维方式”（“占领高地”是军事用语）占据主导地位，人类的命运就岌岌可危了。在这种情况下，光讲“自我规限”是远远不够的。“自律”的因素必须加上“他律”和“共治”的因素，加上“法治”和“强制”的因素。或许，要比国际原子能机构的监管更强、更严才行。或许，应该由联合国安理会这样的机构，来对各国和各机构的人工智能研发进行适当的监督、管理和指导。
在此我谨建议，这项工作应该从下述三件事情开始：
要研讨并且确认人工智能现在已经和未来将会对全人类 （不止是对一个人群、一个国家）产生的益处和害处、福利和危险。
要研讨如何整合全世界的研发资源 , 共同防止“强人工智能”获得自我决策能力或脱离人类控制的能力（包括防止作战机器人滥杀平民）。这需要在科学上和技术上（不仅在哲学上）定义“自主决策”。
要研讨制定规程，让各国、各机构定期报告和专项报告研究项目、研究计划和研究进展，接受检查和核查，并且执行国际监管机构的决议。
谢谢！
2018 年 7 月于北京
[ 何光沪 著名宗教哲学家，曾任中国人民大学宗教学系教授、博士生导师，中国社会科学院世界宗教研究所研究员、学术委员会委员。本文为作者 2018 年 7 月 11 日在「人工智能与道德风险」云豹沙龙的演讲，图片与说明为中评周刊编辑所加，转载请注明 ]
注释：
现在霍金（ S. Hawking ）、盖茨（ B. Gates ）还有马斯克（ E. Mask ），都联名呼吁要立法限制人工智能研发。
文章版权归原作者所有。
