Amazon FSx (NetApp ONTAP) - Amazon Kendra

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon FSx (NetApp ONTAP)

Amazon FSx (NetApp ONTAP) 是一个完全托管的、基于云的文件服务器系统,提供共享存储功能。如果您是 Amazon FSx (NetApp ONTAP) 用户,则可以使用 Amazon Kendra 索引您的 Amazon FSx (NetApp ONTAP) 数据源。

您可以使用Amazon Kendra 控制台TemplateConfigurationAPI Amazon Kendra 连接到您的 Amazon FSx (NetApp ONTAP) 数据源。

要对您的 Amazon Kendra Amazon FSx (NetApp ONTAP) 数据源连接器进行故障排除,请参阅数据来源故障排除

支持的特征

Amazon Kendra Amazon FSx (NetApp ONTAP) 数据源连接器支持以下功能:

  • 字段映射

  • 用户访问控制

  • 包含和排除过滤器

  • 完整内容和增量内容同步

  • Virtual Private Cloud (VPC)

先决条件

在使用 Amazon Kendra 索引 Amazon FSx (NetApp ONTAP) 数据源之前,请先检查您的 Amazon FSx (NetApp ONTAP) 和的详细信息。 AWS 账户

对于 Amazon FSx (NetApp ONTAP),请确保您具有

  • 使用读取和挂载权限进行设置 Amazon FSx (NetApp ONTAP)。

  • 已记下您的文件系统 ID。您可以在 Amazon FSx (NetApp ONTAP) 控制台的文件系统控制面板上找到您的文件系统 ID。

  • 已记下用于文件系统的存储虚拟机 (SVM) ID。您可以前往 Amazon FSx (NetApp ONTAP) 控制台中的文件系统仪表板,选择您的文件系统 ID,然后选择存储虚拟机,找到您的 SVM ID。

  • 使用您的 Amazon FSx (NetApp ONTAP) 文件系统所在 Amazon VPC 位置配置虚拟私有云。

  • 记下您的 Amazon FSx (NetApp ONTAP) Active Directory 用户帐户身份验证凭据。这包括你的 Active Directory 用户名以及你的 DNS 域名(例如 user@corp.example.com)和密码。如果您的 (NetApp ONTAP) 文件系统使用网络文件系统 Amazon FSx (NFS) 协议,则身份验证凭据包括左 ID、右 ID 和预共享密钥。

    注意

    仅使用连接器运行所需的必要凭据。请勿使用诸如域管理员之类的特权凭据。

    注意

    我们建议您定期刷新或轮换您的凭证和密码。为了安全起见,请仅提供必要的访问权限级别。我们建议不要跨数据来源以及连接器版本 1.0 和 2.0(如果适用)重复使用凭证和密钥。

  • 已选中每个文档在 Amazon FSx (NetApp ONTAP) 中以及计划用于同一索引的其他数据源中都是唯一的。您要用于编制索引的每个数据来源在所有数据来源中都不能包含相同的文档。文档 ID 对索引来说是全局性的,并且每个索引都必须是唯一的。

在你的 AWS 账户,请确保你有:

  • 已创建 Amazon Kendra 索引,如果使用 API,则记下索引 ID。

  • 为您的数据源@@ 创建了一个 IAM 角色,如果使用 API,请记下该角色的 ARN。 IAM

    注意

    如果您更改了身份验证类型和证书,则必须更新您的 IAM 角色才能访问正确的 AWS Secrets Manager 密钥 ID。

  • 将您的 Amazon FSx (NetApp ONTAP) 身份验证凭据存储在 AWS Secrets Manager 密钥中,如果使用 API,则记下该密钥的 ARN。

    注意

    我们建议您定期刷新或轮换您的凭证和密码。为了安全起见,请仅提供必要的访问权限级别。我们建议不要跨数据来源以及连接器版本 1.0 和 2.0(如果适用)重复使用凭证和密钥。

如果您没有现有的 IAM 角色或密钥,则可以在将 Amazon FSx (NetApp ONTAP) 数据源连接到 Amazon Kendra时使用控制台创建新的 IAM 角色和 Secrets Manager 密钥。如果您使用的是 API,则必须提供现有 IAM 角色和 Secrets Manager 密钥的 ARN 以及索引 ID。

连接说明

要 Amazon Kendra 连接到您的 Amazon FSx (NetApp ONTAP)数据源,您必须提供您的 Amazon FSx (NetApp ONTAP)数据源的必要详细信息, Amazon Kendra 以便访问您的数据。如果您尚未配置 Amazon FSx (NetApp ONTAP) Amazon Kendra,请参阅先决条件

Console

Amazon Kendra 连接到您的 Amazon FSx (NetApp ONTAP) 文件系统

  1. 登录 AWS Management Console 并打开Amazon Kendra 控制台

  2. 在左侧导航窗格中,选择索引,然后从索引列表中选择要使用的索引。

    注意

    您可以选择在索引设置下配置或编辑您的用户访问控制设置。

  3. 入门页面上,选择添加数据来源

  4. 添加数据源页面上,选择 Amazon FSx (NetApp ONTAP) 连接器,然后选择添加连接器。如果使用版本 2(如果适用),请选择带有 “V2.0” 标签的 Amazon FSx (NetApp ONTAP) 连接器

  5. 指定数据来源详细信息页面上输入以下信息:

    1. 名称和描述中,在数据来源名称中输入您的数据来源的名称。可以包含连字符,但不能包含空格。

    2. (可选)说明 - 为数据来源输入说明。

    3. 使用默认语言-选择一种语言来筛选文档中的索引。除非另行指定,否则语言默认为英语。在文档元数据中指定的语言会覆盖所选语言。

    4. 标签中,用于添加新标签-包括可选标签以搜索和筛选您的资源或跟踪您的 AWS 成本。

    5. 选择下一步

  6. 定义访问权限和安全性页面上,请输入以下信息:

    1. 来源-提供您的文件系统信息。

      • 文件系统协议-选择您的 Amazon FSx (NetApp ONTAP) 文件系统的协议。你可以选择通用互联网文件系统 (CIFS) 协议,也可以选择适用于 Linux 的网络文件系统 (NFS) 协议。

      • Amazon FSx (NetApp ONTAP) 文件系统 ID-从下拉列表中选择从中获取的现有文件系统 ID Amazon FSx (NetApp ONTAP)。或者,创建 Amazon FSx (NetApp ONTAP) 文件系统。您可以在 Amazon FSx (NetApp ONTAP) 控制台的文件系统控制面板上找到您的文件系统 ID。

      • SVM IDAmazon FSx (NetApp ONTAP仅限 NetApp ONTAP)-提供您 Amazon FSx 的(ONTAP)的存储虚拟机 (SVM) ID(ONTAP)。NetApp NetApp ONTAP您可以前往 Amazon FSx (NetApp ONTAP) 控制台中的文件系统仪表板,选择您的文件系统 ID,然后选择存储虚拟机,找到您的 SVM ID。

    2. 授权-如果您有 ACL 并想将其用于访问控制,请打开或关闭文档的访问控制列表 (ACL) 信息。ACL 指定用户和群组可以访问哪些文档。ACL 信息用于根据用户或用户组对文档的访问权限来筛选搜索结果。有关更多信息,请参阅用户上下文筛选

    3. 身份验证-选择现有 AWS Secrets Manager 密钥,或创建新密钥来存储您的文件系统凭据。如果您选择创建新密钥,则会打开 AWS Secrets Manager 密钥窗口。

      提供一个用于存储您的用户名和密码的身份验证凭据的密钥。用户名必须包含您的 DNS 域名。例如,user@corp.example.com

      如果您的 Amazon FSx (NetApp ONTAP) 文件系统使用 NFS 协议,请提供一个密钥来存储您的身份验证凭据,包括左 ID、右 ID 和预共享密钥。

      保存并添加您的密钥。

    4. 虚拟私有云 (VPC)-您必须选择您的 NetApp (ONTA Amazon VPC P) Amazon FSx 所在的位置。您包括 VPC 子网和安全组。请参阅配置 Amazon VPC

    5. IAM 角色-选择现有 IAM 角色或创建新 IAM 角色来访问您的存储库凭据和索引内容。

      注意

      IAM 用于索引的角色不能用于数据源。如果您不确定是否将现有角色用于编制索引或常见问题解答,为了避免出错,请选择创建新角色

    6. 选择下一步

  7. 配置同步设置页面上,请输入以下信息:

    1. 同步范围、正则表达式模式-添加正则表达式模式以包含或排除某些文件。

    2. 同步模式 - 选择在数据来源内容发生变化时更新索引的方式。首次与同步数据源时, Amazon Kendra 默认情况下会对所有内容进行抓取和索引。如果初始同步失败,即使您没有选择完全同步作为同步模式选项,也必须对数据进行完全同步。

      • 完全同步:对所有内容进行新索引,每次数据源与索引同步时都会替换现有内容。

      • 新增、已修改、已删除的同步:每次数据源与索引同步时,仅索引新内容、修改内容和已删除内容。 Amazon Kendra 可以使用数据源的机制来跟踪内容更改并索引自上次同步以来更改的内容。

    3. 同步运行计划-对于频率,选择同步数据源内容和更新索引的频率。

    4. 选择下一步

  8. 设置字段映射页面上,请输入以下信息:

    1. 从 Amazon Kendra 生成的文件默认字段中选择要映射到索引的字段。要添加自定义数据来源字段,请创建要映射到的索引字段名称和字段数据类型。

    2. 选择下一步

  9. 查看和创建页面上,请检查输入的信息是否正确,然后选择添加数据来源。您也可以选择在此页面上编辑信息。成功添加数据来源后,您的数据来源将显示在数据来源页面上。

API

Amazon Kendra 连接到您的 Amazon FSx (NetApp ONTAP) 文件系统

您必须使用 TemplateConfiguration API 指定数据来源架构的 JSON。您必须提供以下信息:

  • 数据源-将数据源类型指定为使用 TemplateConfigurationJSON 架构FSXONTAP时的类型。还要像调用 CreateDataSourceAPI TEMPLATE 时一样指定数据源。

  • 文件系统 ID- Amazon FSx (NetApp ONTAP) 文件系统的标识符。您可以在 Amazon FSx (NetApp ONTAP) 控制台的文件系统控制面板上找到您的文件系统 ID。

  • SVM ID-用于文件系统的存储虚拟机 (SVM) ID。您可以前往 Amazon FSx (NetApp ONTAP) 控制台中的文件系统仪表板,选择您的文件系统 ID,然后选择存储虚拟机,找到您的 SVM ID。

  • 协议类型-指定是使用通用互联网文件系统 (CIFS) 协议,还是用于 Linux 的网络文件系统 (NFS) 协议。

  • 文件系统类型-将文件系统的类型指定为任一FSXONTAP类型。

  • 虚拟私有云(VPC)- 指定 VpcConfiguration,以便调用 CreateDataSource。有关更多信息,请参阅 配置 Amazon Kendra 为使用 Amazon VPC

    注意

    您必须选择您的 Amazon VPC Amazon FSx (NetApp ONTAP) 所在的位置。您包括 VPC 子网和安全组。

  • 亚马逊秘密资源名称 (ARN)-提供包含您 Amazon FSx (ONTAP) 账户身份验证凭证的 Secrets Manager 密钥的亚马逊资源名称 (ARN)。NetApp 密钥必须使用具有以下键的 JSON 结构存储:

    { "username": "user@corp.example.com", "password": "password" }

    如果您的 Amazon FSx (NetApp ONTAP) 文件系统使用 NFS 协议,则密钥将存储在 JSON 结构中,其中包含以下密钥:

    { "leftId": "left ID", "rightId": "right ID", "preSharedKey": "pre-shared key" }
  • IAM 角色-指定RoleArn何时调用CreateDataSource以向 IAM 角色提供访问您的 Secrets Manager 密钥和调用 Amazon FSx (NetApp ONTAP) 连接器所需的公共 API 的权限,以及。 Amazon Kendra有关更多信息,请参阅 Amazon FSx (NetApp ONTAP) 数据源的IAM 角色

您还可以添加以下可选功能:

  • 同步模式-指定数据源内容发生变化时 Amazon Kendra 应如何更新索引。首次与同步数据源时, Amazon Kendra 默认情况下会对所有内容进行抓取和索引。如果初始同步失败,即使您没有选择完全同步作为同步模式选项,也必须对数据进行完全同步。您可以选择:

    • FORCED_FULL_CRAWL对所有内容进行全新索引,每次数据源与索引同步时都要替换现有内容。

    • FULL_CRAWL每次数据源与索引同步时,仅为新增、修改和删除的内容编制索引。 Amazon Kendra 可以使用数据源的机制来跟踪内容更改并索引自上次同步以来更改的内容。

  • 包含和排除筛选条件 - 指定是包含还是排除文件。

    注意

    大多数数据来源使用正则表达式模式,即称为筛选条件的包含或排除模式。如果您指定包含筛选条件,则只会为与包含筛选条件匹配的内容编制索引。不会为任何与包含筛选条件不匹配的文档编制索引。如果您指定包含和排除筛选条件,则不会为与排除筛选条件匹配的文档编制索引,即使它们与包含筛选条件相匹配。

  • 访问控制列表 (ACL)-如果您有 ACL 并希望将其用于访问控制,则指定是否要搜索文档的 ACL 信息。ACL 指定用户和群组可以访问哪些文档。ACL 信息用于根据用户或用户组对文档的访问权限来筛选搜索结果。有关更多信息,请参阅用户上下文筛选

    注意

    要对用户测试用户上下文筛选,在发出查询时,必须将 DNS 域名作为用户名的一部分包含在内。您必须拥有 Active Directory 域的管理权限。您也可以根据组名称测试用户上下文筛选。

  • 字段映射-选择将您的 Amazon FSx (NetApp ONTAP) 数据源字段映射到索引字段。 Amazon Kendra 有关更多信息,请参阅映射数据来源字段

    注意

    要搜索您的文档,必须输入文档正文字段或文档正文等效字段。 Amazon Kendra 您必须将数据源中的文档正文字段名称映射到索引字段名称_document_body。其他所有字段均为可选字段。

有关要配置的其他重要 JSON 密钥的列表,请参阅 Amazon FSx (NetApp ONTAP) 模板架构