影子 AI 的隐患

大多数企业团队最初并没有预料到人工智能会接管他们的工作流程。一切始于一些简单的工具，这些工具承诺可以加快写作速度、简化会议流程并提升客户洞察力。员工们在浏览器中安装了人工智能助手，将它们连接到电子邮件，添加到 Zoom 会议软件中，并尝试使用 Slack 和 Google Workspace。

但早期试验的发展速度远超企业管控，并迅速蔓延至运营整个公司的SaaS系统，最终人工智能融入日常工作之中。而这正是影子人工智能——当今现代企业中最被低估的风险之一——的由来。在大多数组织内部，影子人工智能早在领导者意识到它与敏感数据密切相关之前就已经悄然滋生。

“影子人工智能”指的是未经批准、缺乏透明度且通常缺乏安全防护措施就在组织内部运行的人工智能工具。一旦这些工具直接与 Salesforce、Zoom 或 Microsoft 365 等平台集成，它们就能访问领导者认为安全的信息。这种危险已经显现，例如合规性问题、数据流不受监控以及 AI Agent 做出出乎意料的行为等事件。

多年来，我们与许多自认为拥有强大安全体系的公司合作。然而，当我们帮助他们调查其SaaS环境时，他们却发现数百个未经授权的活跃AI连接。其中一些连接已运行数月之久，而另一些则属于已经离职的员工。影子AI之所以能够悄无声息地增长，是因为它的运行速度远超监管能力，也远超大多数组织的检测能力。

01

不可见的数据管道

故事往往始于美好的愿望：销售代表想要写出更好的邮件，客户成功经理想要重要会议的文字记录，工程师想要更快捷的代码审查。人工智能工具让这些任务变得轻松无比，因此员工很快就接受了它们。但接受仅仅是第一步。

许多此类工具通过 OAuth、浏览器扩展或 API 密钥请求广泛的权限。一旦获得授权，它们就能访问 CRM 记录、客户备注、内部消息或机密源代码。

我们已经目睹了接下来发生的事情。在一个案例中，一个团队发现连接到 Salesforce 的人工智能助手在一个周末内生成了超过四百份报告。起初，大家都以为是系统故障。然而，人工智能获得了广泛的访问权限。它开始以任何人类分析师都无法企及的规模自动执行任务。敏感的销售预测和客户信息出现在了本不该出现的地方，仅仅因为人工智能工具擅自行动。

另一家公司部署了人工智能转录服务来辅助其客户服务团队。该服务记录了每一次会议，并收集了有关定价、客户问题、未来计划和竞争对手分析等详细信息。所有这些信息都直接导入第三方系统，没有任何协议，也无法了解数据的存储或使用方式。这种情况越来越普遍，因为人工智能工具的运行方式与传统软件截然不同。它读取的数据更多，处理速度更快，而且往往不受明确的界限约束。

随着人工智能的普及，攻击面也将不断扩大。特别是模型上下文协议（MQP）的兴起，使得人工智能能够直接与企业数据交互，从而增强了其功能。然而，这种便利也为供应链攻击和权限提升打开了新的方便之门。

高管们必须明白，现代人工智能并不适合公司仍然依赖的旧安全模型，因为这些人工智能工具存在于您的系统内部，而不是在边缘，这使得它们更难被发现，也更难管理。

02

传统安全工具的局限性

大多数安全程序的设计初衷是基于这样的场景：应用程序运行在企业网络内部，用户通过可预测的模式进行连接。然而，人工智能打破了这种模式。现代工具运行在SaaS平台中，而非企业服务器上。它们通过API而非网络进行通信。它们持续不断地读写数据，并且其行为方式是传统监控系统无法解读的。

我们的经验表明，企业往往低估了其环境中人工智能工具的数量。许多企业不清楚哪些集成处于活动状态，也不清楚这些权限存在了多久。还有一些企业认为单点登录或防火墙规则足以保障安全，但事实并非如此。影子人工智能在身份系统、权限层以及安全团队很少审查的第三方集成中肆意滋生。它隐藏在企业疏忽之处，以及员工为了加快速度而安装的工具中。

向嵌入式人工智能的转变使这项工作变得更加困难。Microsoft 365、Google Workspace、Slack 和 Salesforce 等平台现在都内置了人工智能功能。有些功能默认启用，有些则只需单击一下即可激活。企业可能已经在使用人工智能功能，却不了解这些功能消耗了哪些数据，或者系统如何存储输出结果。风险不仅来自员工添加的内容，也来自供应商引入的内容。

03

重新掌控

影子人工智能不应被视为员工的失职，而是技术快速发展的必然结果。领导者需要了解其发展现状，而不是追究责任。第一步是假定影子人工智能的存在，并开始绘制人工智能与关键系统交互的路径图。第二步是建立一套经批准的人工智能工具，以便团队能够安全地进行创新。阻止人工智能的发展是不现实的，提供安全的选择才是唯一可持续的途径。

实时监管也至关重要。季度审查无法跟上那些能在数小时内窃取数据的工具。企业需要持续了解哪些 AI Agent 处于活动状态、它们拥有哪些权限，以及这些权限是否符合最小权限原则。在与高管团队合作时，我们鼓励他们提出直接的问题：哪些工具可以访问客户系统？哪些工具可以连接到生产环境？哪些工具在用户离职后仍然保持活动状态？

我们看到一些组织将这种困惑转化为清晰的认识。一旦领导者了解人工智能在其系统中的运行方式，他们就可以设置适当的限制，并让团队安全地使用它。那时，人工智能就不再是风险，而是真正的优势。

影子人工智能并非未来才会出现的东西，它已经存在。但那些在它演变成危机之前就着手应对的组织，将引领人工智能时代。