【导读】本文节选自俄罗斯国际事务委员会网站2018年11月发表的题为《人工智能的发展前景和可能后果》的文章，文章主要介绍了当今世界人工智能技术的发展现状、未来趋势以及可能导致的国际和社会后果。文章认为，当前，人工智能还处于“弱人工智能”发展阶段，但已经对个人、社会和国家安全构成足够的潜在威胁。当前人工智能技术发展面临的最大问题包括“人工智能民族主义”和“人工智能国家化”。同时，人工智能技术和第四次工业革命将对社会职业发展、法律伦理产生难以预测的巨大影响。

人工智能发展的主要问题和潜在威胁

尽管今天的神经生物学取得了很多成就，但到目前为止，还没人准确地知道，自然的智能是如何形成的。因此也就没人准确地知道究竟如何研制人工智能。目前要研制出人工智能还存在系列亟待解决的问题，关于解决问题的优先方向也存在不同的观点。比如，开放式代码OpenCog和SingularityNET人工智能国际研发项目负责人本·戈策尔（Ben Goertzel）认为，研究通用人工智能所必须的所有技术原则上都已经研制成功，只不过需要通过正确的方式进行联结以产生增效作用，最终就会出现通用人工智能。其余专家则更倾向于持怀疑的态度。他们认为，必须解决许多下面即将列出的原则性问题。专家对强人工智能出现时间的评估也相距甚远：从十年到几十年不等。

无论是普通的自主或者自适应智能系统，还是通用或强人工智能系统的出现，都会产生不同程度的威胁，这些威胁即便在当下也已经非常现实。其中包括：

研制所谓的致命自主武器系统（Lethal Autonomous Weapons Systems，LAWS），比如雇佣杀人用的无人机；

新一轮军备竞赛，各国将完善自主毁伤兵器的智能水平；

不一定是作战使用的智能系统，可以是工业或者生活智能系统，不仅能够进行有目的的行动，还能进行有意识的目标定向，在此情况下，系统自主制定目标可能导致目标与人的目标相违背；

程度更高的自动化将大多数人排除出物质生产环节，这可能导致更大的社会阶层差距，降低“社会阶梯”的效率，增加“多余人口”的数量并导致相应的社会后果。

2018年8月，在位于布拉格的捷克技术大学同时举行了主题分别为人类水平人工智能、通用人工智能、生物激励认知结构和神经-符号技术的代表大会。大会上，来自人工智能研究领域前沿公司和组织（Microsoft，Facebook，DARPA，MIT，GoodAI）的主要专家发表了报告。这些报告列举了人工智能领域研究的现状，指出了社会所面临的问题以及在该项技术下一步研究中可能出现的威胁。在本段概述中，作者将尽量简要说明主要的问题和威胁，并指出应对这些威胁可能的途径。

首先必须明确与人工智能相关的一些术语：弱人工智能或者专业人工智能，自主人工智能（Autonomous AI），自适应人工智能（Adaptive AI），通用人工智能（Artificial General Intelligence，AGI），强人工智能（Strong AI），人类水平人工智能（Human-Level AI），超人类水平人工智能（Super-human AI）。

弱人工智能或者专业人工智能毫无疑问就是指目前的技术方案，能够自动完成某一具体任务，比如围棋或者摄像头的人脸识别功能。这种人工智能不能独立学习其它任务，除非人类对其进行重新编程。

自主人工智能是指系统能够长时间在没有操作员参与的情况下运行。比如，它能够让配备太阳能电池的无人机从香榭丽舍大道飞到红场或者沿相反的路线飞行，独立选择路线、充电经停地点，同时规避可能的障碍。

自适应人工智能要求系统具备适应新环境的能力，能够获取研制过程中没有预置的知识。比如，能够让俄语对话支持系统独立掌握新的语言，适应新的语言环境或者在学习语言教学资料的基础上，在对话中运用这些知识。

通用人工智能同样要求具备高水平的适应性，具备通用人工智能技术的系统在经过相应学习后，能够在各种截然不同的活动中使用。学习过程可以是独立的，也可以是有针对性的（在指导员的帮助下）。目前也经常使用强人工智能来与弱人工智能和专业人工智能进行对比。

人类水平人工智能要求系统的适应性水平能够与人类的适应性水平相当，也就是说系统能够在与人类学习相当的期限内掌握同样的技能。

超人类水平人工智能要求具备更高水平的适应性和学习速度。因此，系统能够学习人类基本难以胜任的知识和能力。

强人工智能研制中的原则性问题

在总体进化框架下，强人工智能的出现完全是符合规律的，就像原子组成分子，分子组成细胞，细胞组成机体，专门的细胞构成中央神经系统，就像社会组织的出现，语言、文字的发展，最终出现了信息技术一样是有规律的。在进化过程中，信息结构和组织方法不断复杂化的规律已经被瓦连京·图尔钦很好地证明。如果人类文明没有灭亡，那么这种进化将是不可避免的，在很久以后的未来，这将拯救人类，因为只有信息的非生物存在样式能够逃过太阳系的灭亡，将我们的文明信息密码保存在宇宙当中。

与此同时，必须要承认的是，要研制出强人工智能，并不一定要知道自然的人工智能是如何运行的，就像制造导弹不一定要知道鸟类如何飞行一样。显然，这迟早会通过这样或者那样的方法实现，或许，能够通过几种方法来实现。

大部分专家认为，要研制出通用或者强人工智能，还要解决以下几个原则性问题：

快速学习（few-shot learning）——必须让系统学习的资料规模变小，而不是像现在的深度学习系统那样，需要大量的专门准备的学习资料。

强大的概括能力（strong generalisation）——研制情景识别技术，被识别目标出现在与学习资料完全不同的环境当中。

学习生成模型（generative models）——研制一种学习技术，当记忆对象并非识别对象的特征，而是其构成原则时，这能够反映识别目标更加深层次的实质，能够让学习变得更快，具备更强的概括归纳能力。

结构化预测和学习（structured prediction and learning）——在将学习对象展现为多层、多级结构的基础上，开发学习技术，在这种结构中，低层级要素决定更高层级要素，这也可能成为解决快速学习和强概括能力的一种方法。

解决灾难性遗忘（catastrophic forgetting）问题——这个问题在现有系统当中普遍存在，起初学习了一类目标，之后学习识别新一类目标时，失去识别第一类目标的能力。

具备增量学习（incremental learning）能力——让系统能够积累知识并逐渐完善自身能力，与此同时不丧失先前所获得的知识，且自然语言对话交流系统获得新的知识。理想状态是通过“婴儿图灵测试”（Baby Turing Test），系统应当逐渐具备从婴儿至成人的语言水平。

解决意识问题（consciousness）——建立可靠的意识行为工作模型，通过建立“内部世界图景”保证进行有效的预测和有针对性的行为，在这一图景框架下，能够在不与现实世界实际交互的情况下，寻找达成既定目标的最佳行动战略，这大大提高了安全性，检验假说的能力，提升了检验的速度和效能，从而也使得有生或者智能系统在自我意识的“虚拟世界”中具备了自我学习的能力。从应用的观点看，意识问题存在两个方面。一方面，研制具备意识的人工智能系统能够大大提高其效能。另一方面，研制这样的系统会导致额外的风险，包括伦理层面的问题，因为这些系统在某一阶段将具备与人类相当的自我意识水平，并因此可能导致法律方面的后果。

人工智能的潜在威胁

无论是自主或者自适应系统，还是通用或者强人工智能系统的出现，都伴随着不同程度威胁的产生，这些威胁在当前也已经迫在眉睫。

第一，对人类构成威胁的不一定是强人工智能、通用人工智能、人类水平人工智能或者超人类水平人工智能，因为具备大量信息，速度极快的自主系统就已经极具威胁。在自主系统的基础上可研制所谓的致命自主武器系统，最简单的例子就是3D打印机批量生产以及人工小批量制作的雇佣型杀人用无人机。

第二，对于国家的威胁是，另一个国家（潜在敌人）获得了自主性、自适应性更强，具备通用人工智能技术的武器，其反应速度更快，能力更强。

第三，对于全世界的威胁是由上一个威胁衍生而来的，各个国家陷入军备竞赛，致力于改进自主杀伤和摧毁兵器的智能水平，斯坦尼斯拉夫·莱姆几十年前就曾如此预言。

第四，对于各方来说威胁可能是任何智能系统，不一定是作战智能系统，也可以是具备一定自主性和自适应性的工业或日常智能系统，不仅能够进行有针对性的行动，还能有意识地进行目标定向，而且系统自主设置的目标可能与人类的目标相违背，而系统达成目标的能力要强得多，因为其运行速度更快，处理信息能力、预测能力更强。遗憾的是，这一威胁的程度还没有得到应有的重视和研究。

第五，对于社会的威胁是，资本主义（极权主义）社会中的生产关系进入新的发展阶段，越来越少的人具备控制物质生产的能力，通过越来越高级的自动化，大部分人被排除出物质生产，这可能导致更加严重的社会差距，降低“社会阶梯”的效能，增加“多余人口”的数量，导致相应的社会后果。

最后，对于整个人类的威胁是，基于全球网络的全球数据处理、信息传播和决策计算系统的自主化，因为这些系统的信息传播速度和影响能力可能导致现有经验和管理模式所预想不到的社会现象。比如，当今中国所采取的社会贷款体系就是一种独一无二的文明实验，它所导致的后果今天还不得而知。

目前对人工智能系统的监控非常困难，原因之一就包括现有基于“深度神经网络”应用方案的“封闭性”，使得难以在决策执行前对决策的正确性进行核实，甚至都不能对及其决策进行事实分析。可解释人工智能（Explainable Artificial  Intelligence，EAI）这一新的方向目前被用来解决这一难题，将关联（神经网络）和符号（基于逻辑）方法结合起来解决这一问题也出现了新的进展。

应对威胁的方法

毫无疑问，必须采取以下措施防止人工智能技术发展及其应用可能导致的灾难性后果。

国际社会对致命自主武器系统予以取缔并研究、采取执行监督措施。

国家支持旨在解决上述问题的工作，特别是可解释人工智能，方法融合，研究目标定向机制建立的原则以获得有效的编程和智能系统监控工具，程序设计的工具不是规则，而是价值观，监控的对象不是行为，而是目标。

获得人工智能技术和方法的民主化，比如，依靠对智能系统应用于大众计算、认知技术学习所得收入的再投资，以及研究具有开放式密码的人工智能方案，制定措施鼓励现有“封闭式”人工智能系统开放密码。比如，Aigents项目旨在为普通用户研制自主工作，不受集中控制的个人人工智能助手。

在国际层面规定人工智能算法、分布式数据处理系统和决策系统工作协议的开放性，使国际和国家组织以及私人具有独立审计的能力。密码开放人工智能平台和生态系统SingularityNET的创建就是在该方向的创造性探索之一。

关键词：