微软 OneDrive 连接器 V2.0 - Amazon Kendra

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

微软 OneDrive 连接器 V2.0

Microsoft OneDrive 是一项基于云的存储服务,你可以用它来存储、共享和托管你的内容。您可以使用 Amazon Kendra 为 OneDrive数据源编制索引。

您可以使用Amazon Kendra 控制台OneDriveConfigurationAPI Amazon Kendra 连接到您的 OneDrive 数据源。

注意

对 Conn OneDrive ector V1.0/ OneDriveConfiguration API 的支持计划于 2023 年 6 月结束。我们建议使用 OneDrive 连接器 V2.0/ TemplateConfiguration API。版本 2.0 提供了其他 ACL 和身份爬网程序功能。

要对 Amazon Kendra OneDrive 数据源连接器进行故障排除,请参阅数据来源故障排除

支持的特征

Amazon Kendra OneDrive 数据源连接器支持以下功能:

  • 字段映射

  • 用户访问控制

  • 包含/排除筛选条件

  • 完整内容和增量内容同步

  • Virtual Private Cloud (VPC)

先决条件

在使用索 Amazon Kendra 引 OneDrive 数据源之前,请在 OneDrive 和 AWS 帐户中进行这些更改。

在中 OneDrive,请确保你有:

  • 已在 Office 365 中创建了一个 OneDrive 账户。

  • 记下了您的 Microsoft 365 租户 ID。在 Azure Active Directory 门户的“属性”或 OAuth 应用程序中可以找到您的租户 ID。

  • 在 Azure 门户中创建了一个 OAuth 应用程序,并记下了用于使用密钥进行身份验证的客户端 AWS Secrets Manager ID 和客户端密钥或客户端凭据。有关更多信息,请参阅 Microsoft 教程注册应用程序示例

    注意

    在 Azure 门户中创建或注册应用程序时,密钥 ID 代表实际的密钥值。在创建密钥和应用程序时,您必须立即记下或保存实际的密钥值。你可以通过在 Azure 门户中选择应用程序的名称,然后导航到证书和密钥上的菜单选项来访问你的密钥。

    你可以通过在 Azure 门户中选择应用程序的名称,然后导航到概述页面来访问你的客户端 ID。应用程序(客户端)ID 是客户端 ID。

    注意

    我们建议您定期刷新或轮换您的凭证和密码。为了安全起见,请仅提供必要的访问权限级别。我们建议不要跨数据来源以及连接器版本 1.0 和 2.0(如果适用)重复使用凭证和密钥。

  • 使用 AD 应用程序 ID 在 AD 站点上注册应用程序的密钥。该密钥必须包含应用程序 ID 和密钥。

  • 已复制组织的 AD 域。

  • 在 Microsoft Graph 选项上为您的 AD 应用程序添加了以下权限:

    • 读取所有网站集中的文件(File.Read.All)

    • 读取所有用户的完整个人资料(User.Read.All)

    • 阅读所有组(Group.Read.All)

    • 读取所有笔记(Notes.Read.All)

  • 复制必须为其文档编制索引的用户列表。您可以选择提供用户名列表,也可以在存储在 Amazon S3中的文件中提供用户名。创建数据来源后,您可以:

    • 修改用户列表。

    • 从用户列表更改为存储在存储 Amazon S3 桶中的列表。

    • 更改用户列表的 Amazon S3 存储桶位置。如果您更改存储桶位置,则还必须更新数据源的 IAM 角色,使其能够访问存储桶。

      注意

      如果您将用户名列表存储在 Amazon S3 存储桶中,则数据源的 IAM 策略必须提供对存储桶的访问权限以及对存储桶加密时使用的密钥(如果有)的访问权限。

      OneDrive 连接器使用 O nedrive 用户属性中显示的 “来自联系人信息的电子邮件”。确保您要爬取其数据的用户在联系信息页面中配置了电子邮件字段,因为对于新用户,该字段可能为空。

在您的 AWS 账户中,请确保您有:

  • 已创建 Amazon Kendra 索引,如果使用 API,则记下索引 ID。

  • 为您的数据源创建了一个 IAM 角色,如果使用 API,请记下该角色的 ARN。 IAM

  • 将您的 OneDrive 身份验证凭证存储在 AWS Secrets Manager 密钥中,如果使用 API,请记下该密钥的 ARN。

如果您没有现有的 IAM 角色或密钥,则可以在将 OneDrive 数据源连接到时使用控制台创建新的 IAM 角色和 Secrets Manager 密钥 Amazon Kendra。如果您使用的是 API,则必须提供现有 IAM 角色和 Secrets Manager 密钥的 ARN 以及索引 ID。

连接说明

要 Amazon Kendra 连接到您的 OneDrive 数据源,您必须提供 OneDrive 凭据的详细信息, Amazon Kendra 以便访问您的数据。如果您尚未进行配置 Amazon Kendra, OneDrive 请参阅先决条件

Console

要连接 Amazon Kendra 到 OneDrive

  1. 登录 AWS Management Console 并打开Amazon Kendra 控制台

  2. 在左侧导航窗格中,选择索引,然后从索引列表中选择要使用的索引。

    注意

    您可以选择在索引设置下配置或编辑您的用户访问控制设置。

  3. 入门页面上,选择添加数据来源

  4. 添加数据源页面上,选择OneDrive 连接器,然后选择添加连接器。如果使用版本 2(如果适用),请选择带有 “V2.0” 标签的OneDrive 连接器

  5. 指定数据来源详细信息页面上输入以下信息:

    1. 名称和描述中,在数据来源名称中输入您的数据来源的名称。可以包含连字符,但不能包含空格。

    2. (可选)说明 - 为数据来源输入说明。

    3. 使用默认语言-选择一种语言来筛选文档中的索引。除非另行指定,否则语言默认为英语。在文档元数据中指定的语言会覆盖所选语言。

    4. 标签中,用于添加新标签-包括可选标签以搜索和筛选您的资源或跟踪您的 AWS 成本。

    5. 选择下一步

  6. 定义访问权限和安全性页面上,请输入以下信息:

    1. OneDrive 租户 ID-输入不带协议的 OneDrive 租户 ID。

    2. 授权-如果您有 ACL 并想将其用于访问控制,请打开或关闭文档的访问控制列表 (ACL) 信息。ACL 指定了用户和群组可以访问哪些文档。ACL 信息用于根据用户或用户组对文档的访问权限来筛选搜索结果。有关更多信息,请参阅用户上下文筛选

    3. 身份验证 中 - 选择新建现有

      1. 如果您选择现有,请为选择密钥选择现有密钥。

      2. 如果您选择新建,请在新的 AWS Secrets Manager 密钥部分中输入以下信息:

        1. 密钥名称 - 密钥的名称。前缀 “AmazonKendra-OneDrive-” 会自动添加到您的密钥名称中。

        2. 对于客户端 ID客户机密钥-输入客户端 ID 和客户机密钥。

    4. 虚拟私有云(VPC)- 您可以选择使用 VPC。如果是这样,则必须添加子网VPC 安全组

    5. I Amazon Kendra dent@@ ity Crawler-指定是否开启身份搜寻器。Identity Crawler 使用文档的访问控制列表 (ACL) 信息,根据用户或其群组对文档的访问权限筛选搜索结果。如果您的文档有 ACL 并选择使用您的 ACL,则也可以选择开启身份爬网程序来配置搜索结果 Amazon Kendra的用户上下文筛选。否则,如果身份搜寻器已关闭,则可以公开搜索所有文档。如果您想对文档使用访问控制并且身份搜寻器已关闭,则可以使用 PutPrincipalMappingAPI 上传用户和群组访问信息以进行用户上下文筛选。

    6. IAM ro le —选择现有 IAM 角色或创建新 IAM 角色来访问您的存储库凭据和索引内容。

      注意

      IAM 用于索引的角色不能用于数据源。如果您不确定是否将现有角色用于编制索引或常见问题解答,为了避免出错,请选择创建新角色

    7. 选择下一步

  7. 配置同步设置页面上,请输入以下信息:

    1. 对于同步范围-选择要为哪些用户 OneDrive 的数据编制索引。您可以手动添加最多 10 个用户。

    2. 对于其他配置 - 添加正则表达式模式以包含或排除某些内容。最多可以添加 100 个模式。

    3. 同步模式 - 选择在数据来源内容发生变化时更新索引的方式。首次与同步数据源时, Amazon Kendra 默认情况下会对所有内容进行抓取和索引。如果初始同步失败,即使您没有选择完全同步作为同步模式选项,也必须对数据进行完全同步。

      • 完全同步:对所有内容进行新索引,每次数据源与索引同步时都会替换现有内容。

      • 修改过的新同步:每次数据源与索引同步时,仅为新增和修改过的内容编制索引。 Amazon Kendra 可以使用数据源的机制来跟踪内容更改并索引自上次同步以来更改的内容。

      • 新增、已修改、已删除的同步:每次数据源与索引同步时,仅索引新内容、修改内容和已删除内容。 Amazon Kendra 可以使用数据源的机制来跟踪内容更改并索引自上次同步以来更改的内容。

    4. 同步运行计划中,对于频率-选择同步数据源内容和更新索引的频率。

    5. 选择下一步

  8. 设置字段映射页面上,请输入以下信息:

    1. 默认数据源字段-从 Amazon Kendra 生成的默认数据源字段中选择要映射到索引的字段。

    2. 选择下一步

  9. 查看和创建页面上,请检查输入的信息是否正确,然后选择添加数据来源。您也可以选择在此页面上编辑信息。成功添加数据来源后,您的数据来源将显示在数据来源页面上。

API

要连接 Amazon Kendra 到 OneDrive

您必须使用 TemplateConfigurationAPI 指定数据源架构的 JSON。您必须提供以下信息:

  • 数据源-将数据源类型指定为使用 TemplateConfigurationJSON 架构ONEDRIVEV2时的类型。还要像调用 CreateDataSourceAPI TEMPLATE 时一样指定数据源。

  • 租户 ID - 指定 Microsoft 365 租户 ID。在 Azure Active Directory 门户的“属性”或 OAuth 应用程序中可以找到您的租户 ID。

  • 同步模式-指定数据源内容发生变化时 Amazon Kendra 应如何更新索引。首次与同步数据源时, Amazon Kendra 默认情况下会对所有内容进行抓取和索引。如果初始同步失败,即使您没有选择完全同步作为同步模式选项,也必须对数据进行完全同步。您可以选择:

    • FORCED_FULL_CRAWL对所有内容进行全新索引,每次数据源与索引同步时都要替换现有内容。

    • FULL_CRAWL每次数据源与索引同步时,仅为新增、修改和删除的内容编制索引。 Amazon Kendra 可以使用数据源的机制来跟踪内容更改并索引自上次同步以来更改的内容。

    • CHANGE_LOG每次数据源与索引同步时,仅索引新的和修改过的内容。 Amazon Kendra 可以使用数据源的机制来跟踪内容更改并索引自上次同步以来更改的内容。

  • 亚马逊秘密资源名称 (ARN)-提供包含您在账户中创建的身份验证凭证的 Secrets Manager 密钥的亚马逊资源名称 (ARN)。 OneDrive

    如果您使用 OAuth 2.0 身份验证,密钥将存储在 JSON 结构中,其中包含以下键:

    { "clientId": "client ID", "clientSecret": "client secret" }
  • IAM ro le —指定RoleArn何时调用CreateDataSource以向 IAM 角色提供访问您的 Secrets Manager 密钥和调用 OneDrive 连接器所需的公共 API 的权限,以及 Amazon Kendra。有关更多信息,请参阅 OneDrive 数据源的IAM 角色

您还可以添加以下可选功能:

  • 虚拟私有云(VPC)- 指定 VpcConfiguration,以便调用 CreateDataSource。有关更多信息,请参阅 配置 Amazon Kendra 为使用 Amazon VPC

  • 包含和排除筛选器-您可以指定是包含还是排除某些文件、 OneNote 章节和 OneNote 页面。

    注意

    大多数数据来源使用正则表达式模式,即称为筛选条件的包含或排除模式。如果您指定包含筛选条件,则只会为与包含筛选条件匹配的内容编制索引。不会为任何与包含筛选条件不匹配的文档编制索引。如果您指定包含和排除筛选条件,则不会为与排除筛选条件匹配的文档编制索引,即使它们与包含筛选条件相匹配。

  • I Amazon Kendra dent@@ ity Crawler-指定是否开启身份搜寻器。Identity Crawler 使用文档的访问控制列表 (ACL) 信息,根据用户或其群组对文档的访问权限筛选搜索结果。如果您的文档有 ACL 并选择使用您的 ACL,则也可以选择开启身份爬网程序来配置搜索结果 Amazon Kendra的用户上下文筛选。否则,如果身份搜寻器已关闭,则可以公开搜索所有文档。如果您想对文档使用访问控制并且身份搜寻器已关闭,则可以使用 PutPrincipalMappingAPI 上传用户和群组访问信息以进行用户上下文筛选。

  • 字段映射-只能映射连接器的内置或常用索引字段。 Amazon Kendra OneDrive 由于 API 限制,自定义字段映射不适用于 OneDrive 连接器。有关更多信息,请参阅映射数据来源字段

有关要配置的其他重要 JSON 密钥的列表,请参阅OneDrive 模板架构