View a markdown version of this page

Amazon Quick 中的 AI 和代理安全 - Amazon Quick

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Quick 中的 AI 和代理安全

Amazon Quick 包括读取内容、采取行动和运行自动化工作流程的人工智能功能。这些功能引入了与传统 BI 功能不同的属性。使用此页面来了解这些功能的不同之处、如何应用可用控件以及这些控件的局限性。有关相应的安全清单,请参阅Quick 中的安全性

是什么让这些功能与众不同

三个属性将 AI 和代理功能与仪表板和数据集等传统功能区分开来。

  • 该助手会读取您的用户未创作的内容,知识库、网络搜索、第三方研究提供商和连接器都提供源自组织外部的内容。来自您的信任边界之外的任何内容都是潜在的对抗输入来源。有关内容源的完整列表,请参阅Two-condition 对抗内容风险模型

  • 该助手可以在服务之外采取具有效果的操作 ——通过连接器、模型上下文协议 (MCP) 服务器工具和网络搜索查询,该助手可以导致外部系统发生变化。有关出站路径的完整清单,请参阅Amazon Quick 中的出站连接和数据出口

  • 有些功能无需人员监视即可运行 — 自动化工作流程按计划执行或响应事件执行,无需交互式用户会话。这会改变您评估每项操作风险的方式。有关更多信息,请参阅 自主权和身份

这些属性都不是亚马逊 Quick 独有的。它们在各种 AI-powered服务中都很常见。它们加在一起意味着您对传统仪表板进行相同的安全审查并不能完全解决代理或自动化工作流程的风险状况。

Two-condition 对抗内容风险模型

对抗内容采取行动的风险需要同时存在两个条件:

  1. 助手可以从您的信任边界之外读取内容。

  2. 助手可以采取相应的行动。

缩小任一条件都会降低曝光量。信任边界是您认为安全且受控制的一组内容来源。顾名思义,任何从该边界之外进入助手上下文的内容都是不可信的。

读取表面

以下来源可以为助手的上下文提供内容。每个点都是你非作者可以输入的内容的地方。

  • 知识库和索引检索(包括从亚马逊 Q Business 自带索引)

  • 上传到空间的文件

  • 聊天中上传的文件

  • 网络搜索结果

  • Third-party 研究提供商数据

  • 操作连接器返回的内容

  • 远程 MCP 服务器工具返回的内容

保留的上下文也有助于提高阅读面积。过去的对话以及 Quick Desktop 上从互联数据源中提取的实体会持续存在于会话中,可以为以后的回复提供信息。有关更多信息,请参阅 记忆和保留的上下文

并非所有这些来源都具有同等的风险。您自己的用户在聊天中上传的文件在您的信任范围内。网络搜索查询返回到开放互联网的内容不是。查看配置时,根据您的信任边界评估每个来源。

动作表面

以下路径允许助手在 Amazon Quick 之外造成影响。每一个点都是可能发生相应行动的地方。

  • On-demand 通过第三方和 AWS 服务连接器执行的操作

  • 通过服务级别连接器自动执行工作流程操作

  • 远程 MCP 服务器工具调用

  • Web 搜索查询(向外部发送上下文)

  • Quick Apps 桥接 API 调用(沙盒化)

  • 在 Quick Desktop 上执行代码(在配置的文件夹权限内,在用户计算机上执行文件效果;其他代码执行界面被沙盒化,无法外部访问)

  • 定时执行代理

有关出站路径的完整清单,包括每条路径可以留下的数据以及谁控制这些路径,请参阅Amazon Quick 中的出站连接和数据出口

自主权和身份

Amazon Quick 支持两种具有不同安全特征的调用模型。相同的连接器或操作会带来不同的风险,具体取决于调用它的模型。

On-demand 行动

On-demand 操作由用户发起且具有交互性。他们使用个人用户的个人凭证进行身份验证,并充当调用用户。每个按需操作都受该用户的连接器权限的限制,并且在执行该操作时会话中有一个人在场。

自动化工作流

自动化工作流程是预设的或由事件触发的,并且是非交互式的。他们在服务级别进行身份验证,而不是以个人用户身份进行身份验证。由于它们使用服务级别身份验证,因此它们不受单个用户的连接器权限的限制,而且它们是在无人值守的情况下运行的。

您审查的结果是,自动化工作流程可以达到服务级别凭证允许的任何资源,无论是哪个用户创建了工作流程。没有交互式会话来观察执行期间会发生什么。当您按需调用某项操作时,该操作可能带来有限的风险。当自动化工作流程在服务级别范围内调用相同的操作时,也会带来更大的风险。

添加审阅步骤

要向自动化工作流程添加审阅步骤,请使用人机在环任务中心。对于您希望某项操作在执行之前获得人员批准的工作流程,任务中心会暂停执行并在工作流程继续之前收集批准。有关更多信息,请参阅 Human-in-the-loop 任务中心

人为监督

您可以在人工智能和代理能力生命周期的五个阶段应用人工批准门禁。它们共同构成了人类监督的分层模型。

  1. 权能批准(默认拒绝)— 受限类别中的新 AI 功能在启动时会被拒绝,除非管理员明确允许这些功能。在任何用户都可使用某项功能之前,此门即生效。有关更多信息,请参阅 默认拒绝

  2. Build-time 同意(应用程序集成同意)— 当应用程序代理向应用程序添加集成(操作连接器、空间、仪表板视觉或 AI 推断)时,它会提示作者批准。已发布的应用程序从不包含未经批准的集成,应用程序查看者继承批准的集成范围,而不是更广泛的访问权限。有关更多信息,请参阅 集成同意模型

  3. 共享批准(Flow s)-自定义权限控制哪些用户可以查看和批准流程共享请求,以及创建者是否可以在未经批准的情况下共享流程。管理员通过自定义权限配置文件配置这些功能。有关更多信息,请参阅 自定义权限

  4. 运行时审查(Human-in-the-loop 任务中心)— 对于您希望某项操作在执行前获得人员批准的工作流程,Human-in-the-Loop 任务中心会暂停执行并收集批准。此门是可选的,并且是按工作流程进行的。有关更多信息,请参阅 Human-in-the-loop 任务中心

  5. Per-action 用户控制(桌面、预览)— 在 Quick Desktop 上,可以单独启用或禁用每个系统工具,并支持三层权限模型:完全访问权限、只读和每次询问,每项操作都精细化。完全访问权限在不提示确认的情况下运行操作。每次询问都会确认每项操作。这会将您启用的工具的批准决定权交到您手中。有关更多信息,请参阅访问级别管理权限

在适用每项操作提示的情况下,它是用户可配置的选择。在桌面上,您可以将工具设置为 “每次询问” 以确认每项操作,或将工具设置为 “完全访问权限” 以在不提示的情况下运行。在 Web 体验中,按需操作在您触发时即会执行,而自动化工作流程在设计上是非交互式的,而能力、构建和共享时间的大门决定了这些操作。

Per-action 因此,可以确认,但不是普遍的。这取决于表面,也取决于您如何配置每个工具。

对于无人值守运行的自动化工作流程,不存在可以确认任何内容的交互式会话。对于这些工作流程,审核工作属于批准时间,即评估自动化可以达到的范围和能做什么。

AI 和代理能力的控制和限制

Amazon Quick 提供以下与 AI 和代理功能相关的控件。对每种控件及其限制进行了描述。

强制执行检索权限

对于启用了文档级访问控制列表 (ACL) 支持的知识库,Amazon Quick 会在每次检索时强制执行同步文档权限。支持的集成包括亚马逊 S3、谷歌云端硬盘、微软 SharePoint、Atlassian Confluence Cloud 和微软。 OneDrive如果 Amazon Quick 无法评估查询的文档权限,则它不会返回任何文档,而不是未筛选的结果。

限制 — 强制执行 ACL 仅适用于在 ACL 支持下创建的知识库。在不支持 ACL 的情况下创建的知识库不强制执行文档级权限。ACL 配置是永久性的,创建后无法更改。有关更多信息,请参阅 知识库中管理 ACL 的最佳实践

自定义权限并默认拒绝

自定义权限限制了每个角色的可用能力。他们无法授予用户尚未拥有的权能。最具体的级别获胜:用户级别覆盖角色级别,后者覆盖账户级别。AI 能力类别的默认拒绝选项限制了当前和未来的所有人工智能功能,因此,在您明确允许之前,新功能在发布当天会被拒绝。

限制 — 自定义权限需要企业订阅。他们缩小了访问范围,但无法扩展访问权限。有关更多信息,请参阅自定义权限默认拒绝

Organization-level 控制及其极限

自定义权限适用于账户级别,该账户的管理员可以对其进行更改。如果您使用管理多个帐户 AWS Organizations,则可以添加个人账户管理员无法覆盖的组织级控件。这些控制措施适用于 AWS API 操作和账户注册。了解他们能达到什么和没有达到什么。

  • 限制谁注册 Quick — 服务控制政策 (SCP) 控制哪些账户、版本和身份类型可以创建 Quick 订阅,因此新账户无法在您的批准范围之外开始订阅。有关更多信息,请参阅 使用服务控制政策限制 Amazon Quick 注册选项

  • 限制管理 API 操作 — SCP 拒绝创建和管理代理、流程、空间和知识库的 Quick API 操作。在政策适用的情况下,委托人无法通过 AWS 命令行界面、 AWS 软件开发工具包或创建这些资源。 CloudFormation

  • 使用自定义权限限制 AI 功能的可用性,而不是 SCP ——SCP 根据 AWS API 操作和账户注册进行操作。他们无法控制用户在产品中看到或可以使用哪些 AI 功能。要限制用户的 AI 功能,请使用自定义权限和 AI 功能类别的默认拒绝选项。有关更多信息,请参阅 默认拒绝

限制 -每个控件强制执行不同的层。SCP 控制整个组织的账户注册和 API-based 管理,任何账户管理员都无法对其进行改动。自定义权限控制您的用户可以使用哪些 AI 功能,账户管理员可以对其进行更改。要检测自定义权限更改,请记录快速管理 API 操作 AWS CloudTrail 并查看这些操作。有关更多信息,请参阅 Amazon Quick 中的事件响应、记录和监控

工具和连接器供应链

只有通过管理员创建的集成才能使用工具 AI 助手。MCP 集成需要企业订阅。集成模型限制了外部工具的传输和发现路径。

  • 仅支持远程 MCP 服务器。不支持本地 stdio 连接。

  • 在连接期间,Amazon Quick 会发现并注册 MCP 服务器提供的工具。发现完成后,每个工具都列为可以查看和打开的操作。工具不会自动变为可用。

  • 您可以通过可通过网络访问服务器的 VPC 连接连接到专用 MCP 服务器。

  • 管理员可以通过自定义权限限制单个连接器。每个连接器支持三种权限:创建和更新操作共享操作使用操作。有关更多信息,请参阅 自定义权限

有关配置 MCP 集成的更多信息,请参阅模型上下文协议 (MCP) 集成

限制 -身份验证选项因连接器类型而异。对于远程 MCP 服务器、代理到代理连接器和通用 HTTP 连接器,无需身份验证即可进行连接是一个可选选项。连接的完整性取决于其配置方式。该服务不评估第三方 MCP 服务器的可信度或其暴露的工具的行为。这个评估是你自己做的。

护栏屏蔽和屏蔽的词语

Built-in 内容安全筛查会检查用户对有害内容的请求,包括仇恨言论、侮辱、色情内容、暴力和不当行为。这些检查还会评估用户的即时攻击请求。您最多可以配置 50 个被屏蔽的单词和短语,Amazon Quick 会根据用户请求和生成的响应来检查这些单词和短语。

限制 — 这些控制措施有助于降低风险。但是,它们并不能取代您为用例配置访问权限、权限、代理、流程和数据源的责任。 Blocked-word 检查使用完全匹配的字符串比较,而不是语义分析,并且限制为 50 个条目,每个条目最多 36 个字符。 Blocked-word 支票仅适用于亚马逊 Quick 网络体验中的聊天代理和流程。有关更多信息,请参阅 亚马逊 Quick 中的 AI 护栏

代码执行隔离

AI 助手可以在四个表面上编写和运行 Python 代码。每个表面都在沙盒环境中运行代码,该环境旨在包含代码的效果。代码的运行位置和可以到达的范围不同。

  • 快速桌面 — 代码在用户计算机上的 OS-level 沙箱(macOS 安全带或 Windows AppContainer)中运行。沙箱内的文件访问遵循用户配置的文件夹权限,永久命名空间在对话中运行的代码中携带变量。 Pre-installed 仅限 Python 软件包;不支持软件包安装 (pip install)。有关更多信息,请参阅 代码执行

  • 网络体验聊天 — 代码在隔离的、由服务管理的沙箱中运行,无法访问互联网。来自沙箱的出站网络请求失败。对话结束后,沙盒不会持续存在。

  • 自动化工作流程(快速自动化)— 代码操作和自定义代理代码在受限的 Python 环境中运行。代码操作不是到达外部系统的路径:外部 API 调用属于 REST API 集成,文件系统或数据库访问属于相应的集成。有关更多信息,请参阅 代码

  • Office 扩展程序 — 该助手在 Office 应用程序沙箱(Outlook、Excel、Word 和)中创建和 PowerPoint执行代码。有关更多信息,请参阅 使用扩展程序将 Amazon Quick 连接到您的现有工具

自定义权限中的本地执行代码功能限制了配置文件所适用的用户在 Quick Desktop 中执行代码。扩展程序访问控制可以限制扩展功能,包括在 Office 应用程序中执行代码。有关更多信息,请参阅自定义权限扩展访问权限

限制 — 在桌面上,无论配置的文件夹权限如何,沙箱始终可以访问系统临时目录。在桌面上,永久命名空间意味着先前运行的代码加载的数据仍然可供以后在同一会话中运行的代码使用。沙盒包含代码可以达到的内容;它不评估代码如何处理对话上下文中已有的内容。像查看任何其他助手输出一样查看生成的代码输出。

记录和审计范围

AWS CloudTrail 记录 API-level 活动(谁做了什么)。出售的日志记录对话内容(所说的内容和回应的内容)。它们共同提供了 AI 和代理活动的事后可见性。

限制 -记录不会阻止任何操作。它在事后提供了可见性。该服务不包括实时警报;如果您需要近乎实时的通知,则必须单独配置 CloudWatch 警报。出售的聊天记录不捕获检索返回的源文档的内容。有关更多信息,请参阅 Amazon Quick 中的事件响应、记录和监控

限额表述得很明确

以下限制适用于 Amazon Quick 中的 AI 和代理功能:

  • 筛查可以降低风险,但不能取代配置 —— Built-in 筛查和护栏有助于降低风险。它们并不能取代您为用例配置访问权限、权限、代理、流程和数据源的责任。

  • 没有普遍的人为审查要求 ——人为审查不是全系统的行动要求。 Per-action如果为其配置了工具(在桌面上,通过 “每次询问” 访问级别),则可以进行确认,而Human-in-the-Loop任务中心可用于您选择添加审阅步骤的工作流程。但是,Web 体验中的按需操作会立即执行,自动化工作流程无需用户干预即可执行。

  • 身份验证选项因连接器类型而异 -可用的身份验证方法取决于连接器类型。对于远程 MCP 服务器、代理到代理连接器和通用 HTTP 连接器,无需身份验证即可进行连接是一个可选选项。

记忆和保留的上下文

聊天记忆通过记住你的偏好、背景和过去的互动,对回复进行个性化设置。聊天代理引用存储的信息来提供更相关的回复,而无需您在每次对话中重复信息。有关更多信息,请参阅 记忆和响应个性化

在 Quick Desktop 上,“我的上下文” 界面提供一个知识图选项卡,该选项卡显示从互联数据源中提取的实体和关系,以及一个显示从对话中学到的事实、程序和模式的 “内存” 选项卡。有关更多信息,请参阅 我的背景

为什么保留的上下文对安全很重要

保留的上下文是中描述的阅读界面的一部分Two-condition 对抗内容风险模型。与单次对话不同,保留的上下文在会话中持续存在。助手从过去的互动中记住的信息可能会影响未来会话中的反应和行动。

控件

  • 隔离 — 内存是特定于个人用户的,不与其他用户共享。

  • 用户控制 — 您可以通过 “对话记录” 查看聊天记录。在桌面上,您还可以管理 Quick 是否从对话中学习、搜索对话历史记录以及从互联服务中提取实体。您还可以查看、编辑和删除单个记忆。有关更多信息,请参阅 隐私控制

  • 完全重置(桌面)-“清除所有数据” 选项不可逆转地删除所有对话、知识图谱数据、保存的凭据和用户首选项。有关更多信息,请参阅 清除所有数据

  • 管理员控制 — 自定义权限包括限制在 Quick Desktop 中创建和管理密文(用户写作风格和模式的配置文件)以及创建和访问知识记忆的功能。有关更多信息,请参阅 自定义权限

  • 无需培训 — Quick 不会使用您的对话、文件或个人背景来训练或改进 AI 模型。

限制

  • 使用 AWS KMS 客户管理密钥配置的账户不支持聊天记忆。需要客户管理密钥的组织无法获得聊天记忆。有关更多信息,请参阅 记忆和响应个性化

  • “快捷桌面” 处于预览状态。我的上下文界面、知识图选项卡、查看、编辑和删除单个记忆的功能以及 “清除所有数据” 选项均为桌面功能。在 Web 体验中,您可以通过 “对话历史记录” 查看聊天记录。确认您部署的表面上有哪些控件可用,而不是假设桌面和 Web 之间是对等的。

后续工作