人工智能和机器学习不仅带来了好处，也带来了新的漏洞。本文描述了几家公司如何将风险降到最低。

当企业采用新技术时，安全往往处于次要地位，似乎更重要的是以最低的成本尽快向客户提供新产品或服务。

人工智能(AI)和机器学习(ML)提供了与早期技术进步相同的漏洞和错误配置机会，而这些风险也有其特有的风险。随着公司开始人工智能驱动的数字转型，这些风险可能会变得更大。"伯斯艾伦汉密尔顿(Boss Allen Hamilton)首席科学家爱德华(EdRafwardf)(BoozAllenHamilton)表示："不要匆忙进入这一领域。

与其他技术相比，人工智能和机器学习需要更多的数据和更复杂的数据。数学家和数据科学家从研究项目中开发算法。拉尔夫说，在科学界，他直到最近才开始认识到人工智能的安全问题。

此外，更有经验的企业也没有遵循基本的安全实践，比如对所有AI和ML项目进行全面审计和测试。Loucks表示，该公司在实施这些领域方面做得不太好。

对AI和ML数据的需求带来了风险

AI和ML系统需要三组数据：

训练数据建立预测模型

评估模型运行情况的测试数据

模型投入使用时的操作数据

虽然实时交易或运营数据显然是一项有价值的企业资产，但很容易忽视培训和测试数据池，后者也包含敏感信息。

用于保护其他系统中的数据的许多原则可以应用于AI和ML项目，包括匿名、令牌化和加密。第一步是询问是否需要数据。在准备AI和ML项目时，收集所有可能的数据，看看你能做些什么。

人工智能安全设计

一家有大量数据需要保护的公司是Box，一家在线文件共享平台。Box使用人工智能来提取元数据，提高搜索、分类等能力。Box的CISO Lakshmi Hansper(LakshmiHanspal)表示，Box可以从合同中提取条款、更新和定价信息。Box的大多数客户内容类别要么是用户定义的，要么是完全被忽略的。它们位于一堆可能对数字转换有用的数据上。

汉斯·帕尔说，保护数据是Box的一个重要问题，同样的数据保护标准也适用于人工智能系统，包括培训数据。Box建立并维护信任。

这意味着，所有系统，包括新的人工智能项目，都是围绕核心数据安全原则构建的，包括加密、日志记录、监控、认证和访问控制。汉斯·帕尔(Hans Parr)指出，数字信任是其平台固有的，他们将其付诸实践。

Box对传统代码和由新AI和ML支持的系统都有一个安全的开发过程。"在开发安全产品方面，我们符合ISO的行业标准，"Hansper说。设计安全性是内置的，具有制衡机制，包括渗透测试和红色团队。

数学家和数据科学家在为AI和ML算法编写代码时通常不会担心潜在的漏洞。当企业构建人工智能系统时，他们会借鉴现有的开源算法，使用商用的"黑匣子"人工智能系统，或者从头开始构建自己的人工智能系统。

对于开放源码，攻击者可能嵌入恶意代码，或者代码可能包含漏洞或易受攻击的依赖项。专有业务系统还使用开源代码以及企业客户通常无法查看的新代码。

反向攻击是一个主要威胁

AI和ML系统通常是开源库和非安全工程师新编写的代码的结合。此外，没有编写安全人工智能算法的标准最佳实践。由于缺乏安全专家和数据科学家，这两个领域的专家供应甚至更少。

人工智能和ML算法是最大的潜在风险之一，也是对艾伦·汉密尔顿(BoozAllenHamilton)的Raff最担心的长期威胁之一，这可能会向攻击者泄露训练数据。有一些反向攻击，使得人工智能模型能够向你提供关于自己及其接受的培训的信息，"他说。如果它是根据pi数据进行培训的，你可以让模型向你披露这些信息。实际的pi可能会被暴露。