亚马逊EMR组件 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊EMR组件

亚马逊EMR通过以下组件使用 Apache Ranger 实现了精细的访问控制。有关这些带有 Apache Ranger 插件的 Amazon EMR 组件的可视化表示,请参阅架构图

秘密特工 — 特工安全地存储机密并将机密分发给其他 Amazon EMR 组件或应用程序。密钥可以包括临时用户凭证、加密密钥或 Kerberos 票证。私有代理在集群中的每个节点上运行并拦截对实例元数据服务的调用。对于对实例配置文件角色凭证的请求,Secret Agent 在使用 S EMRFS 3 Ranger 插件授权请求后,根据请求的用户和请求的资源来出售凭证。私有代理以 emrsecretagent 用户身份运行,将日志写入 /emr/secretagent/log 目录。该过程依赖于一组特定 iptables 规则来发挥作用。务必要确保 iptables 没有被禁用。如果您自定义iptables配置,则必须保留NAT表格规则,并且保持不变。

EMR记录服务器-记录服务器接收来自 Spark 的数据访问请求。然后,它通过将请求的资源转发到亚马逊的Spark Ranger插件来授权请求。EMR记录服务器从 Amazon S3 读取数据,并根据 Ranger 策略返回用户有权访问的筛选数据。记录服务器以 emr_record_server 用户的身份在群集中的每个节点上运行,并将日志写入 /var/log/ 目录。emr-record-server