Amazon Athena PostgreSQL 连接器
Amazon Athena PostgreSQL 连接器使 Athena 可以访问 PostgreSQL 数据库。
先决条件
可以使用 Athena 控制台或 AWS Serverless Application Repository 将该连接器部署到您的 AWS 账户。有关更多信息,请参阅部署数据来源连接器或使用 AWS Serverless Application Repository 部署数据源连接器。
限制
术语
以下术语和概念与 PostgreSQL 连接器有关。
-
数据库实例 - 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。
-
处理程序 — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。
-
元数据处理程序 — 从您的数据库实例中检索元数据的 Lambda 处理程序。
-
记录处理程序 — 从您的数据库实例中检索数据记录的 Lambda 处理程序。
-
复合处理程序 — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。
-
属性或参数 — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。
-
连接字符串 — 用于建立数据库实例连接的文本字符串。
-
目录 — 向 Athena 注册的非 AWS Glue 目录,是
connection_string
属性的必要前缀。 -
多路复用处理程序 — 可以接受和使用多个数据库连接的 Lambda 处理程序。
参数
使用本节中的 Lambda 环境变量来配置 PostgreSQL 连接器。
连接字符串
使用以下格式的 JDBC 连接字符串连接到数据库实例。
postgres://${
jdbc_connection_string
}
使用多路复用处理程序
您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。
处理程序 | 类 |
---|---|
复合处理程序 | PostGreSqlMuxCompositeHandler |
元数据处理程序 | PostGreSqlMuxMetadataHandler |
记录处理程序 | PostGreSqlMuxRecordHandler |
多路复用处理程序参数
参数 | 描述 |
---|---|
$ |
必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为环境变量前缀。例如,如果向 Athena 注册的目录是 mypostgrescatalog ,则环境变量名称是 mypostgrescatalog_connection_string 。 |
default |
必需。默认连接字符串。当目录为 lambda:${ AWS_LAMBDA_FUNCTION_NAME } 时使用此字符串。 |
以下示例属性适用于支持两个数据库实例的 PostGreSql MUX Lambda 函数:postgres1
(默认)和 postgres2
。
属性 | 值 |
---|---|
default |
postgres://jdbc:postgresql://postgres1.host:5432/default?${Test/RDS/PostGres1} |
postgres_catalog1_connection_string |
postgres://jdbc:postgresql://postgres1.host:5432/default?${Test/RDS/PostGres1} |
postgres_catalog2_connection_string |
postgres://jdbc:postgresql://postgres2.host:5432/default?user=sample&password=sample |
提供凭证
要在 JDBC 连接字符串中为数据库提供用户名和密码,可以使用连接字符串属性或 AWS Secrets Manager。
-
连接字符串 — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。
重要
作为安全最佳实践,请勿在您的环境变量或连接字符串中使用硬编码凭证。有关将硬编码密钥移至 AWS Secrets Manager 的信息,请参阅《AWS Secrets Manager 用户指南》中的将硬编码密钥移至 AWS Secrets Manager。
-
AWS Secrets Manager - 要将 Athena 联合查询功能与 AWS Secrets Manager 配合使用,连接到您的 Lambda 函数的 VPC 应该拥有互联网访问权限
或者 VPC 端点,以连接到 Secrets Manager。 您可以将 AWS Secrets Manager 中的密钥名称放入您的 JDBC 连接字符串中。连接器将该密钥名称替换为来自 Secrets Manager 的
username
和password
值。对于 Amazon RDS 数据库实例,将紧密集成这种支持。如果您使用 Amazon RDS,我们强烈建议您使用 AWS Secrets Manager 和凭证轮换。如果您的数据库不使用 Amazon RDS,请按以下格式将凭证存储为 JSON:
{"username": "${username}", "password": "${password}"}
带有密钥名称的示例连接字符串
以下字符串带有密钥名称 ${Test/RDS/PostGres1}
。
postgres://jdbc:postgresql://postgres1.host:5432/default?...&${Test/RDS/PostGres1}&...
该连接器使用该密钥名称来检索秘密,并提供用户名和密码,如以下示例所示。
postgres://jdbc:postgresql://postgres1.host:5432/default?...&user=sample2&password=sample2&...
目前,PostgreSQL 连接器可以识别 user
和 password
JDBC 属性。
启用 SSL
要在 PostgreSQL 连接中支持 SSL,请在连接字符串中附加以下内容:
&sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory
示例
以下示例连接字符串不使用 SSL。
postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword
要启用 SSL,如下所示修改字符串。
postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword&sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory
使用单个连接处理程序
您可以使用以下单个连接元数据和记录处理程序连接到单个 PostgreSQL 实例。
处理程序类型 | 类 |
---|---|
复合处理程序 | PostGreSqlCompositeHandler |
元数据处理程序 | PostGreSqlMetadataHandler |
记录处理程序 | PostGreSqlRecordHandler |
单个连接处理程序参数
参数 | 描述 |
---|---|
default |
必需。默认连接字符串。 |
单个连接处理程序支持一个数据库实例,并且必须提供 default
连接字符串参数。将忽略所有其他连接字符串。
以下示例属性适用于 Lambda 函数支持的单个 PostgreSQL 实例。
属性 | 值 |
---|---|
default |
postgres://jdbc:postgresql://postgres1.host:5432/default?secret=${Test/RDS/PostgreSQL1} |
溢出参数
Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。
参数 | 描述 |
---|---|
spill_bucket |
必需。溢出桶名称。 |
spill_prefix |
必需。溢出桶密钥前缀。 |
spill_put_request_headers |
(可选)用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射(例如,{"x-amz-server-side-encryption" :
"AES256"} )。有关其他可能的标头,请参阅《Amazon Simple Storage Service API 参考》中的 PutObject。 |
数据类型支持
下表显示了适用于 JDBC、PostGreSQL 和 Arrow 的相应数据类型。
JDBC | PostGreSQL | Arrow |
---|---|---|
布尔值 | 布尔值 | 位 |
整数 | 不适用 | Tiny |
短型 | smallint | Smallint |
整数 | 整数 | Int |
长整型 | bigint | Bigint |
float | float4 | Float4 |
Double | float8 | Float8 |
Date | date | DateDay |
Timestamp | 时间戳 | DateMilli |
String | 文本 | Varchar |
字节 | bytes | Varbinary |
BigDecimal | numeric(p,s) | 十进制 |
ARRAY | 不适用(见注释) | 列出 |
注意
PostgreSQL 连接器支持该 ARRAY
类型,但具有以下限制:不支持多维数组(
或嵌套数组)。包含不受支持的 <data_type>
[][]ARRAY
数据类型的列将被转换为字符串元素数组 (array<varchar>
)。
分区和拆分
分区用于确定如何为该连接器生成拆分。Athena 将构建一个 varchar
类型的合成列,它将展示表的分区方案,以帮助该连接器生成拆分。该连接器不会修改实际的表定义。
Performance
PostgreSQL 支持本机分区。Athena PostgreSQL 连接器可从这些分区并行检索数据。如果您想查询具有统一分区分布的超大型数据集,强烈建议使用本机分区。
Athena PostgreSQL 连接器执行谓词下推,以减少查询扫描的数据量。LIMIT
子句、简单谓词和复杂表达式将下推到连接器,以减少扫描数据量并缩短查询执行的运行时间。但是,选择一部分列有时会导致查询执行的运行时间延长。
LIMIT 子句
LIMIT N
语句用于减少查询扫描的数据量。LIMIT N
下推时,连接器仅向 Athena 返回 N
行。
Predicates
谓词是 SQL 查询的 WHERE
子句中的表达式,其评估结果为布尔值并根据多个条件筛选行。Athena PostgreSQL 连接器可以组合这些表达式并将其直接推送到 PostgreSQL,以增强功能并减少扫描的数据量。
以下 Athena PostgreSQL 连接器运算符支持谓词下推:
-
布尔值:AND、OR、NOT
-
相等:EQUAL、NOT_EQUAL、LESS_THAN、LESS_THAN_OR_EQUAL、GREATER_THAN、GREATER_THAN_OR_EQUAL、IS_DISTINCT_FROM、NULL_IF、IS_NULL
-
算术:ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE
-
其他:LIKE_PATTERN、IN
组合下推示例
要增强查询功能,组合下推类型,如以下示例所示:
SELECT * FROM my_table WHERE col_a > 10 AND ((col_a + col_b) > (col_c % col_d)) AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') LIMIT 10;
传递查询
PostgreSQL 连接器支持传递查询。传递查询使用表函数将完整查询下推到数据来源来执行查询。
要在 PostgreSQL 中执行传递查询,可以使用以下语法:
SELECT * FROM TABLE( system.query( query => '
query string
' ))
以下示例查询将查询下推到 PostgreSQL 中的数据来源。该查询选择了 customer
表中的所有列,将结果限制为 10。
SELECT * FROM TABLE( system.query( query => 'SELECT * FROM customer LIMIT 10' ))
其他 资源
有关最新 JDBC 驱动程序版本信息,请参阅 GitHub.com 上适用于 PostgreSQL 连接器的 pom.xml
有关此连接器的更多信息,请访问 GitHub.com 上的相应站点