解决 AWS Glue 中的连接问题

当 AWS Glue 爬网程序或任务使用连接属性访问数据存储时，您在尝试连接时可能会遇到错误。AWS Glue 在您指定的 Virtual Private Cloud（VPC）和子网中创建弹性网络接口时，会在子网中使用私有 IP 地址。在 连接中指定的安全组应用于每个弹性网络接口上。请检查安全组是否允许出站访问，以及是否允许连接到数据库集群。

此外，Apache Spark 需要驱动程序和执行器节点之间的双向连接。其中一个安全组需要在所有 TCP 端口上允许入口规则。通过使用自引用安全组将安全组的源限制为自身，可以防止它对世界开放。

以下是您为解决连接问题可以采取的一些典型操作：

• 检查连接的端口地址。

• 检查连接或密钥中的用户名和密码字符串。

• 对于 JDBC 数据存储，验证其是否允许传入连接。

• 验证是否可以在您的 VPC 中访问您的数据存储。

• 如果您使用 AWS Secrets Manager 存储连接凭证，请确保 AWS Glue 的 IAM 角色拥有访问密钥的权限。有关更多信息，请参阅《AWS Secrets Manager 用户指南》中的示例：检索密钥值的权限。根据网络设置，您可能还需要创建一个 VPC 端点，以在 VPC 与 Secrets Manager 之间建立私有连接。有关更多信息，请参阅使用 AWS Secrets Manager VPC 端点。