本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Amazon EMR 为数据加密创建密钥和证书
在使用安全配置指定加密选项前,确定要用于密钥和加密构件的提供程序。例如,您可以使用 AWS KMS 或您创建的自定义提供商。接下来,创建密钥或密钥提供程序,如本节中所述。
提供加密静态数据的密钥
在 Amazon EMR 中,您可以使用 AWS Key Management Service (AWS KMS) 或自定义密钥提供程序进行静态数据加密。使用时 AWS KMS,加密密钥的存储和使用将产生费用。有关更多信息,请参阅 AWS KMS 定价
本主题介绍可与 Amazon EMR 结合使用的 KMS 密钥的密钥策略详细信息,以及编写适用于 Amazon S3 加密的自定义密钥提供程序类的准则和代码示例。有关创建密钥的更多信息,请参阅《AWS Key Management Service 开发人员指南》中的创建密钥。
AWS KMS keys 用于加密
AWS KMS 加密密钥必须与您的 Amazon EMR 集群实例和与 EMRFS 一起使用的 Amazon S3 存储桶所在的区域创建。如果指定的密钥没有位于用于配置集群的账户中,则必须使用它的 ARN 指定密钥。
Amazon EC2 实例配置文件的角色必须具有使用您指定的 KMS 密钥的权限。Amazon EMR 中实例配置文件的默认角色是 EMR_EC2_DefaultRole
。如果您对实例配置文件使用不同的角色,或者对 Amazon S3 的 EMRFS 请求使用 IAM 角色,请确保根据需要将每个角色添加为密钥用户。这会为该角色授予使用该 KMS 密钥的权限。有关更多信息,请参阅《AWS Key Management Service 开发人员指南》和为向 Amazon S3 发出的 EMRFS 请求配置 IAM 角色中的使用密钥策略。
您可以使用将您的实例配置文件或 EC2 实例配置文件 AWS Management Console 添加到指定 KMS 密钥的密钥用户列表中,也可以使用 AWS CLI 或 S AWS DK 来附加相应的密钥策略。
请注意 Amazon EMR 仅支持对称 KMS 密钥。不能使用非对称 KMS 密钥加密 Amazon EMR 集群中的静态数据。要获取确定 KMS 密钥是对称还是非对称的帮助,请参阅识别对称密钥和非对称密钥。
以下步骤介绍了如何使用 AWS Management Console将 Amazon EMR 实例配置文件 EMR_EC2_DefaultRole
作为密钥用户添加。它假定您已创建一个 KMS 密钥。要创建新的 KMS 密钥,请参阅《AWS Key Management Service 开发人员指南》中的创建密钥。
将 Amazon EMR 的 EC2 实例配置文件添加到加密密钥用户列表中
-
登录 AWS Management Console 并在 https://console.aws.amazon.com/km
s 处打开 AWS Key Management Service (AWS KMS) 控制台。 -
要更改 AWS 区域,请使用页面右上角的区域选择器。
-
选择要修改的 KMS 密钥的别名。
-
在密钥详细信息页面的 Key Users (密钥用户) 下,选择 Add (添加)。
-
在 Add key users (添加密钥用户) 对话框中,选择适当的角色。默认角色的名称为
EMR_EC2_DefaultRole
。 -
选择 添加。
通过为 KMS 密钥提供额外的权限来启用 EBS 加密
从 Amazon EMR 版本 5.24.0 开始,您可以使用安全配置选项加密 EBS 根设备和存储卷。要启用此类选项,必须指定 AWS KMS 为密钥提供商。此外,您必须向服务角色EMR_DefaultRole
授予使用 AWS KMS key 您指定的权限。
您可以使用将服务角色 AWS Management Console 添加到指定 KMS 密钥的密钥用户列表中,也可以使用 AWS CLI 或 S AWS DK 来附加相应的密钥策略。
以下过程介绍如何使用将默认 Amazon EMR 服务角色添加EMR_DefaultRole
为关键用户。 AWS Management Console 它假定您已创建一个 KMS 密钥。要创建新的 KMS 密钥,请参阅《AWS Key Management Service 开发人员指南》中的创建密钥。
将 Amazon EMR 服务角色添加到加密密钥用户列表中
-
登录 AWS Management Console 并在 https://console.aws.amazon.com/km
s 处打开 AWS Key Management Service (AWS KMS) 控制台。 -
要更改 AWS 区域,请使用页面右上角的区域选择器。
-
在左侧边栏中选择 Customer managed keys (客户托管密钥)。
-
选择要修改的 KMS 密钥的别名。
-
在密钥详细信息页面的 Key Users (密钥用户) 下,选择 Add (添加)。
-
在添加密钥用户部分,选择适当的角色。Amazon EMR 的默认服务角色的名称为
EMR_DefaultRole
。 -
选择 添加。
创建自定义密钥提供程序
当使用安全配置时,您必须为本地磁盘加密和 Amazon S3 加密指定不同的提供程序类名。对自定义密钥提供程序的要求取决于您是否使用本地磁盘加密和 Amazon S3 加密,以及 Amazon EMR 发行版本。
根据您在创建自定义密钥提供程序时使用的加密类型,应用程序还必须实现不同的 EncryptionMaterialsProvider 接口。这两个接口在适用于 Java 的 AWS SDK 版本 1.11.0 及更高版本中都可用。
您可以使用任何策略为实施提供加密材料。例如,您可以选择提供静态加密材料,也可以选择与更复杂的密钥管理系统集成。
如果您使用的是 Amazon S3 加密,则必须AES/GCM/NoPadding对自定义加密材料使用加密算法。
如果您使用的是本地磁盘加密,则用于自定义加密材料的加密算法因 EMR 发行版而异。对于亚马逊 EMR 7.0.0 及更低版本,您必须使用。AES/GCM/NoPadding对于 Amazon EMR 7.1.0 及更高版本,您必须使用 AES。
该 EncryptionMaterialsProvider 类通过加密上下文获取加密材料。Amazon EMR 在运行时填充加密上下文信息,以帮助调用者确定要返回的正确加密材料。
例 示例:通过 EMRFS 使用自定义密钥提供程序对 Amazon S3 进行加密
当 Amazon EMR 从EncryptionMaterialsProvider 类中提取加密材料以执行加密时,EMRFS 可以选择在材料描述参数中填充两个字段:对象的 Amazon S3 URI 和 JobFlowId 集群的 URI,该类可以选择性地使用这两个字段来有选择地返回加密材料。EncryptionMaterialsProvider
例如,提供程序可能会为不同的 Amazon S3 URI 前缀返回不同的密钥。它是最终与 Amazon S3 对象一起存储的返回加密材料的描述,而不是 EMRFS 生成并传递给提供程序的 materialsDescription 值。解密 Amazon S3 对象时,加密材料描述会传递给该EncryptionMaterialsProvider 类,这样它就可以有选择地返回匹配的密钥来解密该对象。
下面提供了一个 EncryptionMaterialsProvider 参考实现。另一个自定义提供程序可从中获得 GitHub。EMRFSRSAEncryptionMaterialsProvider
import com.amazonaws.services.s3.model.EncryptionMaterials; import com.amazonaws.services.s3.model.EncryptionMaterialsProvider; import com.amazonaws.services.s3.model.KMSEncryptionMaterials; import org.apache.hadoop.conf.Configurable; import org.apache.hadoop.conf.Configuration; import java.util.Map; /** * Provides KMSEncryptionMaterials according to Configuration */ public class MyEncryptionMaterialsProviders implements EncryptionMaterialsProvider, Configurable{ private Configuration conf; private String kmsKeyId; private EncryptionMaterials encryptionMaterials; private void init() { this.kmsKeyId = conf.get("my.kms.key.id"); this.encryptionMaterials = new KMSEncryptionMaterials(kmsKeyId); } @Override public void setConf(Configuration conf) { this.conf = conf; init(); } @Override public Configuration getConf() { return this.conf; } @Override public void refresh() { } @Override public EncryptionMaterials getEncryptionMaterials(Map<String, String> materialsDescription) { return this.encryptionMaterials; } @Override public EncryptionMaterials getEncryptionMaterials() { return this.encryptionMaterials; } }
为通过 Amazon EMR 加密来加密传输中的数据提供凭证
使用 Amazon EMR 发行版 4.8.0 或更高版本,您有两个选项可指定使用安全配置对传输中的数据进行加密的构件:
-
nin 可以手动创建 PEM 凭证,将它们包含一个 zip 文件中,然后在 Amazon S3 中引用该 .zip 文件。
-
可以将一个自定义凭证提供程序作为 Java 类实现。在 Amazon S3 中指定应用程序的 JAR 文件,然后提供与应用程序声明中相同的完整提供程序类名。该类必须实现从 1.11.0 AWS SDK for Java 版本开始可用的TLSArtifacts提供者接口。
Amazon EMR 自动将构件下载到集群中的每个节点,然后使用它们实现开源传输中加密功能。有关可用选项的更多信息,请参阅传输中加密。
使用 PEM 凭证
在为传输中加密指定 .zip 文件时,安全配置要求 .zip 文件中的 PEM 文件的命名方式与下面完全一致:
文件名 | 必需/可选 | 详细信息 |
---|---|---|
privateKey.pem | 必需 | 私有密钥 |
certificateChain.pem | 必需 | 凭证链 |
trustedCertificates.pem | 可选 | 建议您提供未经 Java 默认受信任根证书颁发机构(CA)或可链接到 Java 默认受信任根 CA 的中间 CA 签名的证书。我们不建议您在使用通配符证书或禁用主机名验证 CAs时使用 public。 |
您可能需要将私有密钥 PEM 文件配置为支持访问您的集群实例所在的 Amazon VPC 域的通配符凭证。例如,如果您的集群位于 us-east-1(弗吉尼亚北部),则可以选择通过在凭证主题定义中指定 CN=*.ec2.internal
在凭证配置中指定一个通用名称以允许访问集群。如果您的集群位于 us-west-2(俄勒冈),则可以指定 CN=*.us-west-2.compute.internal
。
如果加密构件中提供的 PEM 文件在公用名称的域中没有通配符,则必须将 hadoop.ssl.hostname.verifier
的值更改为 ALLOW_ALL
。要在 Amazon EMR 7.3.0 及更高版本中执行此操作,请在向集群提交配置时添加 core-site
分类。在低于 7.3.0 的版本中,将配置 "hadoop.ssl.hostname.verifier": "ALLOW_ALL"
直接添加到 core-site.xml
文件中。必须进行此更改,因为默认主机名验证程序要求主机名不带通配符,而集群中的所有主机都使用通配符。有关 Amazon VPC 中的 EMR 集群配置的更多信息,请参阅 在 VPC 中为 Amazon EMR 配置联网。
以下示例演示如何使用 OpenSSLus-west-2
(俄勒冈)区域中的 Amazon EMR 集群实例,这是用
域名作为通用名称来表示的。*.us-west-2.compute.internal
指定其它可选项(如国家/地区 (C)、州/省 (S)、区域设置 (L) 等)。由于生成了自签名凭证,因此,该示例中的第二个命令会将 certificateChain.pem
文件复制到 trustedCertificates.pem
文件。第三个命令使用 zip
创建包含这些凭证的 my-certs.zip
文件。
重要
此示例仅供演 proof-of-concept示。不建议使用自签名凭证,可能存在潜在安全风险。对于生产系统,应使用可信凭证颁发机构 (CA) 颁发凭证。
$ openssl req -x509 -newkey rsa:2048 -keyout privateKey.pem -out certificateChain.pem -days 365 -nodes -subj '/C=US/ST=Washington/L=Seattle/O=MyOrg/OU=MyDept/CN=*.us-west-2.compute.internal' $ cp certificateChain.pem trustedCertificates.pem $ zip -r -X my-certs.zip certificateChain.pem privateKey.pem trustedCertificates.pem