Page 117 - 高中 信息技术 选择性必修4 人工智能初步

 5.1 人工智能应用系统的安全风险和伦理挑战

5 . 1 . 2 人工智能应用系统的安全风险

人工智能应用系统最大的特征是能够实现无人干预、基于知识并能够自我修正的自动
化运行。在启动人工智能系统后，人工智能系统进行决策不再需要操控者进一步的指令，
这种决策可能会产生预料不到的结果，引发危及人类安全的问题。人工智能应用系统面临

的安全风险主要包括物理安全、数据安全、程序安全和运行安全等几个方面。
1. 物理安全风险
人工智能应用系统是计算机信息系统和物理系统的统一体。物理安全风险包括计算机
设备、设施（含网络、物理装置等）以及其他媒体因遇到地震、水灾、火灾、有害气体或
广东教育出版社
其他环境事故（如电磁污染等）而遭受破坏的问题。物理安全的首要问题是保障设备的稳
定性、可靠性和可用性。
2. 数据安全风险

人工智能应用系统依赖传感器和训练数据进行深度学习，形成自身的知识库，如果传
感器被干扰或训练数据被恶意篡改，系统自身可能被欺骗或入侵。因此，数据安全风险指
数据财产被故意地或偶然地非授权泄露、更改、破坏，或使数据被非法系统辨识、控制。

确保数据信息的完整性、保密性、可用性和可控性，对数据安全至关重要。
3. 程序安全风险
人工智能应用系统的“大脑”是经过数据训练的计算机信息系统。计算机信息系统的

运行逻辑是靠程序实现的。程序是算法的表达，因此算法及其程序的正确性和可靠性直接
影响到人工智能应用系统的安全。例如，基于机器学习算法的人工智能应用系统是大量数
据训练出来的概率判断系统，也许可以有99.99%的概率保证识别是正确的，但是对于安全

来讲，它只要出现一次识别错误，就会造成严重后果。
4. 运行安全风险
系统的运行安全是人工智能应用系统安全的重要环节，因为只有系统运行安全得到保

证，才能完成对信息的正确处理，达到发挥系统各项功能的目的。然而，由于系统可能存
在漏洞，很多木马和病毒具有极强的隐蔽性，在被触发以前，看不出有任何的危害，一旦
触发，就会对系统造成极强的破坏，如拒绝服务攻击、降维攻击、逃逸攻击、控制流劫持
和数据污染等。

利用人工智能可以达到攻击规模和攻击效率两者平衡。更高效、更精准、更隐蔽将成
为安全威胁的新特征。以更高效为例，传统计算机攻击中，攻击者往往需要在攻击规模和
攻击效率两者之间取舍，而人工智能系统使得自动完成的网络攻击更高效。以更精准为

例，在规模和效率均能达到最优效果之后，攻击者便有精力将其攻击限制在特定目标上，
识别和分析潜在目标进行更为精准的攻击。以更隐蔽为例，攻击者只需使用人工智能自动
化攻击系统进行攻击，而无须亲自执行，事后难以查出罪魁祸首。

109109

21Y3228.indd 109 2019/10/10 14:24:56