解决 AWS Glue 中的连接问题 - AWS 连接词

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

解决 AWS Glue 中的连接问题

当 AWS Glue 爬网程序或任务使用连接属性访问数据存储时,您在尝试连接时可能会遇到错误。AWS Glue 在您指定的 Virtual Private Cloud(VPC)和子网中创建弹性网络接口时,会在子网中使用私有 IP 地址。在 连接中指定的安全组应用于每个弹性网络接口上。请检查安全组是否允许出站访问,以及是否允许连接到数据库集群。

此外,Apache Spark 需要驱动程序和执行器节点之间的双向连接。其中一个安全组需要在所有 TCP 端口上允许入口规则。通过使用自引用安全组将安全组的源限制为自身,可以防止它对世界开放。

以下是您为解决连接问题可以采取的一些典型操作:

  • 检查连接的端口地址。

  • 检查连接或密钥中的用户名和密码字符串。

  • 对于 JDBC 数据存储,验证其是否允许传入连接。

  • 验证是否可以在您的 VPC 中访问您的数据存储。

  • 如果您使用 AWS Secrets Manager 存储连接凭证,请确保 AWS Glue 的 IAM 角色拥有访问密钥的权限。有关更多信息,请参阅《AWS Secrets Manager 用户指南》中的示例:检索密钥值的权限。根据网络设置,您可能还需要创建一个 VPC 端点,以在 VPC 与 Secrets Manager 之间建立私有连接。有关更多信息,请参阅使用 AWS Secrets Manager VPC 端点