创建 Vertica 连接 - AWS 连接词

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建 Vertica 连接

先决条件:

  • 读取和写入数据库时用于临时存储的 Amazon S3 存储桶或文件夹,也称为 tempS3Path

    注意

    在 AWS Glue 任务数据预览中使用 Vertica 时,临时文件可能不会自动从 tempS3Path 中删除。为确保删除临时文件,请在数据预览窗格中选择结束会话,以直接结束数据预览会话。

    如果无法保证数据预览会话直接结束,请考虑将 Amazon S3 生命周期配置设置为删除旧数据。我们建议根据最大作业运行时间加一定的裕度移除已存在超过 49 小时的数据。有关配置 Amazon S3 生命周期的更多信息,请参阅 Amazon S3 文档中的 管理存储生命周期

  • 对您的 Amazon S3 路径具有适当权限,并且您可以将其关联到您的 AWS Glue 作业角色的 IAM policy。

  • 如果您的 Vertica 实例位于某个 Amazon VPC 中,请确保您的 Amazon VPC 配置允许您的 AWS Glue 作业与 Vertica 实例进行通信,并且无需通过公共互联网路由流量。

    在 Amazon VPC 中,确定或创建 AWS Glue 将在执行作业时使用的 VPC子网安全组。此外,您的 Amazon VPC 配置需要允许您的 Vertica 实例与该位置之间的网络流量。您的作业需要与您的 Vertica 客户端端口(默认为 5433)建立 TCP 连接。根据您的网络布局,这可能需要更改安全组规则、网络 ACL、NAT 网关和对等连接。

配置 Vertica 连接:
  1. 在 AWS Secrets Manager 中,使用您的 Vertica 凭证 verticaUsernameverticaPassword 创建一个密钥。要在 Secrets Manager 中创建密钥,请按照 AWS Secrets Manager 文档中创建 AWS Secrets Manager 密钥中的教程进行操作。创建密钥后,保留密钥名称 secretName,以供下一步使用。

    • 在选择键/值对时,请使用键 user 和值 verticaUsername 创建一个键值对。

    • 在选择键/值对时,请使用键 password 和值 verticaPassword 创建一个键值对。

  2. 在 AWS Glue 控制台中,按照 添加 AWS Glue 连接 中的步骤创建一个连接。创建连接后,保留连接名称 connectionName,以供下一步使用。

    • 选择连接类型时,请选择 Vertica。

    • 选择 Vertica 主机时,请提供您安装了 Vertica 的主机名。

    • 选择 Vertica 端口时,请提供可用于访问 Vertica 安装的端口。

    • 选择 AWS 密钥时,请提供 secretName

  3. 对于下列情况,您可能需要添加额外的配置:

    • 对于通过 Amazon VPC 在 AWS 云端托管的 Vertica 实例

      • 向 AWS Glue 连接提供用于定义 Vertica 安全凭证的 Amazon VPC 连接信息。创建或更新连接时,请在网络选项中设置 VPC子网安全组

您需要首先完成以下步骤,然后才能运行 AWS Glue 作业:

  • 向与您的 AWS Glue 作业关联的 IAM 角色授予对 tempS3Path 的权限。

  • 向与您的 AWS Glue 作业关联的 IAM 角色授予读取 secretName 的权限。