Amazon EMR 5.x 릴리스 버전 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 5.x 릴리스 버전

아래의 각 탭에는 각 Amazon EMR 5.x 릴리스 버전에 제공되는 애플리케이션 버전, 릴리스 정보, 구성 요소 버전 및 구성 분류가 나와 있습니다.

모든 릴리스의 애플리케이션 버전을 포괄적으로 보여주는 다이어그램은 Amazon EMR 5.x 릴리스의 애플리케이션 버전(PNG)을 참조하십시오.

클러스터를 시작할 때 Amazon EMR의 여러 릴리스 버전에서 선택할 수 있어 호환성 요구 사항에 적합한 애플리케이션 버전을 테스트하고 사용할 수 있습니다. 릴리스 레이블을 사용하여 릴리스 버전을 지정합니다. 릴리스 레이블은 emr-x.x.x. For example, emr-5.31.0.형식입니다.

New Amazon EMR release versions are made available in different regions over a period of several days, beginning with the first region on the initial release date. The latest release version may not be available in your region during this period.

5.31.0

릴리스 5.31.0 애플리케이션 버전

이 릴리스에서는 다음 애플리케이션이 지원됩니다. 깜박임, 신경절, 하둡, HBase, HCatalog, 벌집, , JupyterHub, 리비, 마하우트, MXNet, 우지, 피닉스, 돼지, 프레스토, 스파크, 스쿠프, TensorFlow, 테즈, 제펠린, 및 ZooKeeper.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

릴리스 5.31.0 릴리스 정보

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.31.0에 대한 정보가 포함됩니다. 변경 사항은 5.30.1에 관련됩니다.

최초 릴리스 날짜: 2020년 10월 9일

최종 업데이트 날짜: 2020년 10월 15일

업그레이드

  • Amazon Glue 커넥터가 버전 1.13.0으로 업그레이드됨

  • Amazon SageMaker Spark SDK가 버전 1.4.0으로 업그레이드됨

  • Amazon Kinesis 커넥터가 버전 3.5.9로 업그레이드됨

  • AWS Java SDK가 버전 1.11.852로 업그레이드됨

  • Bigtop-tomcat가 버전 8.5.56으로 업그레이드됨

  • EMR FS가 버전 2.43.0으로 업그레이드됨

  • EMR MetricsAndEventsApiGateway 클라이언트가 버전 1.4.0으로 업그레이드됨

  • EMR S3 Dist CP가 버전 2.15.0으로 업그레이드됨

  • EMR S3 Select가 버전 1.6.0으로 업그레이드됨

  • Flink가 버전 1.11.0으로 업그레이드됨

  • 하둡이 버전 2.10.0으로 업그레이드됨

  • Hive가 버전 2.3.7로 업그레이드됨

  • Hudi가 버전 0.6.0으로 업그레이드됨

  • Hue가 버전 4.7.1로 업그레이드됨

  • JupyterHub가 버전 1.1.0으로 업그레이드됨

  • Mxnet이 1.6.0으로 업그레이드됨

  • OpenCV가 버전 4.3.0으로 업그레이드됨

  • Presto가 버전 0.238.3으로 업그레이드됨

  • TensorFlow가 버전 2.1.0으로 업그레이드됨

변경 사항, 향상된 기능 및 해결된 문제

새로운 기능

  • Amazon EMR 5.31.0을 사용하면 Lake Formation과 통합된 클러스터를 시작할 수 있습니다. 이 통합은 AWS Glue 데이터 카탈로그의 데이터베이스 및 테이블에 대한 세분화된 열 수준 데이터 필터링을 제공합니다. 또한 엔터프라이즈 자격 증명 시스템에서 EMR 노트북 또는 Apache Zeppelin에 연동된 Single Sign-On을 사용할 수도 있습니다. 자세한 내용은 Amazon EMR 관리 안내서AWS Lake Formation과 Amazon EMR 통합을 참조하세요.

    Lake Formation과 함께 Amazon EMR은 현재 미국 동부(오하이오 및 버지니아 북부), 미국 서부(캘리포니아 북부 및 오레곤), 아시아 태평양(뭄바이, 서울, 싱가포르, 시드니, 도쿄), 캐나다(중부), 유럽(프랑크푸르트, 아일랜드, 런던, 파리, 스톡홀름), 남아메리카(상파울루) 등 16개의 AWS 리전에서 사용할 수 있습니다.

알려진 문제

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

릴리스 5.31.0 구성 요소 버전

이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 emr 또는 aws로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. AWS는 Amazon EMR에서 커뮤니티 릴리스를 최대한 빨리 제공할 수 있도록 노력하고 있습니다.

Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 CommunityVersion-amzn-EmrVersion 양식의 버전 레이블이 있습니다. EmrVersion은 0에서 시작합니다. 예를 들어, 버전 2.2의 myapp-component라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스 버전에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 2.2-amzn-2로 나열됩니다.

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.4.0 아마존 SageMaker 스파크 SDK
emr-ddb 4.15.0에서 아마존 DynamoDB Hadoop 에코시스템 애플리케이션용 커넥터
emr-goodies 2.13.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.5.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.15.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.6.0 엠알 S3Select 커넥터
emrfs 2.43.0에 따라 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.11.0 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
링크-작업 관리자-구성 1.11.0 Apache Flink용 EMR 노드에서 리소스 관리 JobManager.
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.10.0-오전 0시 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.10.0-오전 0시 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.10.0-오전 0시 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.10.0-오전 0시 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.10.0-오전 0시 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.10.0-오전 0시 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.10.0-오전 0시 Hadoop 기반 암호화 키 관리 서버 KeyProvider API.
hadoop-mapred 2.10.0-오전 0시 MapReduce 실행 엔진 라이브러리 MapReduce 응용 프로그램.
hadoop-yarn-nodemanager 2.10.0-오전 0시 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.10.0-오전 0시 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.10.0-오전 0시 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.13 을 위한 서비스 HBase 지역 조정 및 관리 명령 실행을 담당하는 클러스터입니다.
hbase-region-server 1.4.13 하나 이상의 봉사를 위한 서비스 HBase 지역.
hbase-client 1.4.13 HBase 명령줄 클라이언트.
hbase-rest-server 1.4.13 서비스 제공 RESTful 에 대한 HTTP 끝점 HBase.
hbase-thrift-server 1.4.13 다음에 Thrift 끝점을 제공하는 서비스 HBase.
hcatalog-client 2.3.7-암잔-1 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.7-암잔-1 서비스 제공 HCatalog, 분산형 애플리케이션을 위한 테이블 및 스토리지 관리 계층입니다.
hcatalog-webhcat-server 2.3.7-암잔-1 REST 인터페이스를 제공하는 HTTP 끝점 HCatalog.
hive-client 2.3.7-암잔-1 Hive 명령줄 클라이언트
hive-hbase 2.3.7-암잔-1 Hive-hbase 클라이언트
hive-metastore-server 2.3.7-암잔-1 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.7-암잔-1 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hudi 0.6.0-아름다운-0 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크.
후디-스파크 0.6.0-아름다운-0 Hudi 에서 Spark를 실행하기 위한 번들 라이브러리입니다.
hudi-presto 0.6.0-아름다운-0 Hudi로 Presto를 실행하기 위한 번들 라이브러리.
hue-server 4.7.1 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 1.1.0 Jupyter 노트북용 다중 사용자 서버
livy-server 0.7.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.6.0 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mariadb-server 5.5.64 MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.2.0 Oozie 명령줄 클라이언트
oozie-server 5.2.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 4.3.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.3-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.3-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.238.3-암잔-0 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.238.3-암잔-0 여러 쿼리를 실행하는 서비스.
presto-client 0.238.3-암잔-0 Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트.
pig-client 0.17.0 Pig 명령줄 클라이언트.
r 3.4.3 통계 컴퓨팅용 R 프로젝트
ranger-kms-server 1.2.0 Apache Ranger 키 관리 시스템
spark-client 2.4.6-amzn-0 Spark 명령줄 클라이언트.
spark-history-server 2.4.6-amzn-0 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.6-amzn-0 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.6-amzn-0 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 2.1.0 TensorFlow 고성능 수치 계산을 위한 오픈 소스 소프트웨어 라이브러리.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.2 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

릴리스 5.31.0 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.31.0 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

아마존 EMR에서 Apache에 대해 엄선한 설정 HBase.

hbase-env

의 값 변경 HBase의 환경.

hbase-log4j

의 값 변경 HBase의 hbase-log4j.속성 파일.

hbase-metrics

의 값 변경 HBase의 hadoop-metrics2-hbase.속성 파일.

hbase-policy

의 값 변경 HBase의 hbase-policy.xml 파일.

hbase-site

의 값 변경 HBase의 hbase-site.xml 파일.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

의 값 변경 HCatalog의 환경.

hcatalog-server-jndi

의 값 변경 HCatalog의 jndi.속성.

hcatalog-server-proto-hive-site

의 값 변경 HCatalog의 프로토타입-헤이브-사이트.xml.

hcatalog-webhcat-env

의 값 변경 HCatalog WebHCat의 환경.

hcatalog-webhcat-log4j2

의 값 변경 HCatalog WebHCat의 log4j2.속성.

hcatalog-webhcat-site

의 값 변경 HCatalog WebHCat의 webhcat-site.xml 파일.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

hudi-env

Hudi 환경의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

의 값 변경 JupyterHubs의 jupyterhub_config.py 파일.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

에서 값 변경 MapReduce 응용 프로그램의 환경.

mapred-site

에서 값 변경 MapReduce 응용 프로그램의 mappred-site.xml 파일입니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

ranger-kms-dbks-site

Ranger KMS에서 dbks-site.xml 파일의 값을 변경합니다.

ranger-kms-site

Ranger KMS에서 ranger-kms-site.xml 파일의 값을 변경합니다.

ranger-kms-env

Ranger KMS 환경의 값을 변경합니다.

ranger-kms-log4j

Ranger KM에서 kms-log4j.properties 파일의 값을 변경합니다.

ranger-kms-db-ca

에 대한 S3의 CA 파일에 대한 값 변경 MySQL Ranger KMS를 사용한 SSL 연결.

recordserver-env

EMR에서 값 변경 RecordServer 환경.

recordserver-conf

EMR에서 값 변경 RecordServer의 erver.properties 파일.

recordserver-log4j

EMR에서 값 변경 RecordServer의 log4j.속성 파일입니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop에서 값 변경 OraOop의 oraoop-site.xml 파일.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

의 값 변경 ZooKeeper의 동물원.cfg 파일.

zookeeper-log4j

의 값 변경 ZooKeeper의 log4j.속성 파일입니다.

5.30.x

5.30 시리즈 내에는 여러 릴리스가 있습니다. 이 탭에서 특정 릴리스의 정보를 보려면 아래 링크를 선택하십시오.

5.30.1 (최신) | 5.30.0

Amazon EMR 릴리스 5.30.1

릴리스 5.30.1 애플리케이션 버전

이 릴리스에서 지원되는 애플리케이션은 다음과 같습니다. 깜박임, 신경절, Hadoop, 힌지, HCATALOG, 하이브, 색조, Jupyterhub, 리비, 마히아웃, mxnet, 오지, 피닉스, 돼지, 프리스토, 스파크, Sqoop, 텐셔름, 테즈, 제펠린, 그리고 Zookeeper.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

릴리스 5.30.1 릴리스 정보

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.30.1에 대한 정보가 포함됩니다. 변경 사항은 5.30.0에 관련됩니다.

최초 릴리스 날짜: 2020년 6월 30일

최종 업데이트 날짜: 2020년 8월 24일

변경 사항, 향상된 기능 및 해결된 문제

  • 인스턴스 컨트롤러 프로세스가 무한한 수의 프로세스를 생성하는 문제가 해결되었습니다.

  • Hue가 Hive 쿼리를 실행할 수 없고 “데이터베이스가 잠겼습니다.”라는 메시지가 표시되고 쿼리 실행을 방해하는 문제가 해결되었습니다.

  • EMR 클러스터에서 더 많은 태스크를 동시에 실행할 수 있도록 Spark 문제가 해결되었습니다.

  • Jupyter 서버에서 “너무 많은 파일 열기 오류”를 발생시키는 Jupyter 노트북 문제가 해결되었습니다.

  • 클러스터 시작 시간 문제가 해결되었습니다.

새로운 기능

  • Tez UI 및 YARN 타임라인 서버 영구 애플리케이션 인터페이스는 Amazon EMR 버전 6.x, EMR 버전 5.30.1 이상에서 사용할 수 있습니다. 영구 애플리케이션 기록에 대한 원클릭 링크 액세스를 사용하면 SSH 연결을 통해 웹 프록시를 설정하지 않고도 작업 기록에 빠르게 액세스할 수 있습니다. 활성 클러스터 및 종료된 클러스터에 대한 로그는 애플리케이션이 종료된 후 30일 동안 사용할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서영구 애플리케이션 사용자 인터페이스 보기를 참조하세요.

  • EMR Notebook 실행 API는 스크립트 또는 명령줄을 통해 EMR Notebooks를 실행하는 데 사용할 수 있습니다. AWS 콘솔 없이 EMR 노트북 실행을 시작, 중지, 나열 및 설명하는 기능을 통해 EMR 노트북을 프로그래밍 방식으로 제어할 수 있습니다. 파라미터화된 노트북 셀을 사용하면 각 새 파라미터 값 집합에 대해 노트북 복사본을 생성하지 않고도 다른 파라미터 값을 노트북에 전달할 수 있습니다. EMR API 작업을 참조하세요. 샘플 코드는 EMR 노트북을 프로그래밍 방식으로 실행하는 샘플 명령을 참조하세요.

알려진 문제

  • EMR 노트북

    클러스터의 마스터 노드에 추가 Python 라이브러리와 커널을 설치할 수 있는 기능이 EMR 버전 5.30.1에서는 기본적으로 비활성화되어 있습니다. 이 기능에 대한 자세한 내용은 클러스터 마스터 노드에 커널 및 Python 라이브러리 설치를 참조하십시오.

    이 기능을 활성화하려면 다음을 수행합니다.

    1. EMR Notebooks의 서비스 역할에 연결된 권한 정책이 다음 작업을 허용하는지 확인합니다.

      elasticmapreduce:ListSteps

      자세한 내용은 EMR 노트북 서비스 역할 단원을 참조하십시오.

    2. AWS CLI를 사용하여 다음 예제와 같이 EMR 노트북이 설정된 클러스터에서 단계를 실행합니다. 자세한 내용은 AWS CLI를 사용하여 클러스터에 단계 추가 단원을 참조하십시오.

      aws emr add-steps --cluster-id MyClusterID --steps 'Type=CUSTOM_JAR,Name=EMRNotebooksSetup,ActionOnFailure=CONTINUE,Jar=s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://awssupportdatasvcs.com/bootstrap-actions/EMRNotebooksSetup/emr-notebooks-setup.sh"]'
  • 관리형 조정

    Presto가 설치되지 않은 5.30.0 및 5.30.1 클러스터에서 관리되는 조정 작업으로 인해 애플리케이션 장애가 발생하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿이 ARRESTED 상태를 유지할 수 있으며, 이는 특히 축소 작업 후 빠르게 조정 작업이 수행되는 경우에 발생합니다.

    이 문제를 해결하려면 Presto가 필요하지 않은 경우에도 클러스터를 만들 때 설치할 애플리케이션으로 Presto를 선택합니다.

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

릴리스 5.30.1 구성 요소 버전

이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 emr 또는 aws로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. AWS는 Amazon EMR에서 커뮤니티 릴리스를 최대한 빨리 제공할 수 있도록 노력하고 있습니다.

Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 CommunityVersion-amzn-EmrVersion 양식의 버전 레이블이 있습니다. EmrVersion은 0에서 시작합니다. 예를 들어, 버전 2.2의 myapp-component라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스 버전에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 2.2-amzn-2로 나열됩니다.

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.3.0 Amazon SageMaker Spark SDK
emr-ddb 4.14.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.13.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.5.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.14.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.5.0 EMR S3Select 커넥터
emrfs 2.40.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.10.0 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-6 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-6 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-6 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-6 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-6 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-6 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-6 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-6 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-6 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-6 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-6 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.13 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.13 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.13 HBase 명령줄 클라이언트
hbase-rest-server 1.4.13 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.13 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.6-amzn-2 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.6-amzn-2 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.6-amzn-2 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.6-amzn-2 Hive 명령줄 클라이언트
hive-hbase 2.3.6-amzn-2 Hive-hbase 클라이언트
hive-metastore-server 2.3.6-amzn-2 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.6-amzn-2 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hudi 0.5.2-incubating 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크.
hudi-presto 0.5.2-incubating Hudi로 Presto를 실행하기 위한 번들 라이브러리.
hue-server 4.6.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 1.1.0 Jupyter 노트북용 다중 사용자 서버
livy-server 0.7.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.5.1 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mariadb-server 5.5.64 MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.2.0 Oozie 명령줄 클라이언트
oozie-server 5.2.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.3-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.3-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.232 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.232 여러 쿼리를 실행하는 서비스.
presto-client 0.232 Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트.
pig-client 0.17.0 Pig 명령줄 클라이언트.
-r 3.4.3 통계 컴퓨팅용 R 프로젝트
ranger-kms-server 1.2.0 Apache Ranger 키 관리 시스템
spark-client 2.4.5-amzn-0 Spark 명령줄 클라이언트.
spark-history-server 2.4.5-amzn-0 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.5-amzn-0 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.5-amzn-0 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.14.0 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.2 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

릴리스 5.30.1 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.30.1 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

hudi-env

Hudi 환경의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

ranger-kms-dbks-site

Ranger KMS에서 dbks-site.xml 파일의 값을 변경합니다.

ranger-kms-site

Ranger KMS에서 ranger-kms-site.xml 파일의 값을 변경합니다.

ranger-kms-env

Ranger KMS 환경의 값을 변경합니다.

ranger-kms-log4j

Ranger KM에서 kms-log4j.properties 파일의 값을 변경합니다.

ranger-kms-db-ca

Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다.

recordserver-env

EMR RecordServer 환경의 값을 변경합니다.

recordserver-conf

EMR RecordServer의 erver.properties 파일의 값을 변경합니다.

recordserver-log4j

EMR RecordServer의 log4j.properties 파일의 값을 변경합니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop OraOop oraoop-site.xml 파일의 값을 변경합니다.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

ZooKeeper zoo.cfg 파일의 값을 변경합니다.

zookeeper-log4j

ZooKeeper log4j.properties 파일의 값을 변경합니다.

Amazon EMR 릴리스 5.30.0

릴리스 5.30.0 애플리케이션 버전

이 릴리스에는 Flink, Ganglia, 하둡, HBase, HCatalog, Hive, Hue, JupyterHub, Livy, Mahout, MXNet, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, ZeppelinZooKeeper 애플리케이션이 지원됩니다.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

릴리스 5.30.0 릴리스 정보

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.30.0에 대한 정보가 포함됩니다. 변경 사항은 5.29.0에 관련됩니다.

최초 릴리스 날짜: 2020년 5월 13일

최종 업데이트 날짜: 2020년 6월 25일

업그레이드

  • AWS SDK for Java가 버전 1.11.759로 업그레이드됨

  • Amazon SageMaker Spark SDK가 버전 1.3.0으로 업그레이드됨

  • EMR 레코드 서버가 버전 1.6.0으로 업그레이드됨

  • Flink가 버전 1.10.0으로 업그레이드됨

  • Ganglia가 버전 3.7.2로 업그레이드됨

  • HBase가 버전 1.4.13으로 업그레이드됨

  • Hudi가 버전 0.5.2-incubating으로 업그레이드됨

  • Hue가 버전 4.6.0으로 업그레이드됨

  • JupyterHub가 버전 1.1.0으로 업그레이드됨

  • Livy가 버전 0.7.0-incubating으로 업그레이드됨

  • Oozie가 버전 5.2.0으로 업그레이드됨

  • Presto가 버전 0.232로 업그레이드됨

  • Spark가 버전 2.4.5로 업그레이드됨

  • 업그레이드된 커넥터 및 드라이버: Amazon Glue 커넥터 1.12.0, Amazon Kinesis 커넥터 3.5.0, EMR DynamoDB 커넥터 4.14.0

새로운 기능

  • EMR Notebooks – 5.30.0을 사용하여 만든 EMR 클러스터와 함께 사용하면 EMR 노트북 커널이 클러스터에서 실행됩니다. 이로써 노트북 성능이 향상되며, 커널을 설치하고 사용자 지정할 수 있습니다. 클러스터 마스터 노드에 Python 라이브러리를 설치할 수도 있습니다. 자세한 내용은 EMR 관리 안내서커널 및 라이브러리 설치 및 사용을 참조하십시오.

  • 관리형 조정 – Amazon EMR 버전 5.30.0 이상을 사용하면 EMR 관리형 조정을 활성화하여 워크로드에 따라 클러스터의 인스턴스 또는 유닛 수를 자동으로 늘리거나 줄일 수 있습니다. EMR은 클러스터 지표를 지속적으로 평가하여 비용과 속도 측면에서 클러스터를 최적화하는 조정 결정을 내립니다. 자세한 내용은 Amazon EMR 관리 안내서클러스터 리소스 조정을 참조하십시오.

  • Amazon S3에 저장된 로그 파일 암호화 – Amazon EMR 버전 5.30.0 이상에서는 Amazon S3에 저장된 로그 파일을 AWS KMS 고객 관리형 키로 암호화할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서Amazon S3에 저장된 로그 파일 암호화를 참조하십시오.

  • Amazon Linux 2 지원 – EMR 버전 5.30.0 이상에서는 EMR이 Amazon Linux 2 OS를 사용합니다. 새로운 사용자 지정 Amazon Machine Image(AMI)는 Amazon Linux 2 AMI를 기반으로 해야 합니다. 자세한 내용은 사용자 지정 AMI 사용을 참조하십시오.

  • Presto 정상적 자동 조정 – 5.30.0 버전을 사용하는 EMR 클러스터의 경우 자동 조정 제한 시간을 설정할 수 있습니다. 이 제한 시간은 노드가 서비스 해제되기 전에 실행을 완료하는 Presto 작업 시간을 제공합니다. 자세한 내용은 단계적 서비스 해제가 있는 Presto Auto Scaling 사용 단원을 참조하십시오.

  • 새로운 할당 전략 옵션으로 플릿 인스턴스 생성 – EMR 버전 5.12.1 이상에서 새 할당 전략 옵션을 사용할 수 있습니다. 이는 더 빠른 클러스터 프로비저닝과 더욱 정확한 스팟 할당을 제공하고 스팟 인스턴스 중단을 줄여줍니다. 기본이 아닌 EMR 서비스 역할에 대한 업데이트가 필요합니다. 인스턴스 플릿 구성을 참조하세요.

  • sudo systemctl stop 및 sudo systemctl start 명령 – Amazon Linux 2 OS를 사용하는 EMR 버전 5.30.0 이상에서는 EMR이 sudo systemctl stopsudo systemctl start 명령을 사용하여 서비스를 다시 시작합니다. 자세한 내용은 Amazon EMR에서 서비스를 다시 시작하려면 어떻게 해야 하나요?를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제

  • EMR 버전 5.30.0은 기본적으로 Ganglia를 설치하지 않습니다. 클러스터 생성 시 Ganglia를 설치하도록 명시적으로 선택할 수 있습니다.

  • Spark 성능 최적화

  • Presto 성능 최적화

  • Python 3는 Amazon EMR 버전 5.30.0 이상에 대한 기본값입니다.

  • 프라이빗 서브넷의 서비스 액세스에 대한 기본 관리형 보안 그룹이 새 규칙으로 업데이트되었습니다. 서비스 액세스에 대한 사용자 지정 보안 그룹을 사용하는 경우, 기본 관리형 보안 그룹과 동일한 규칙을 포함시켜야 합니다. 자세한 내용은 서비스 액세스에 대한 Amazon EMR 관리형 보안 그룹(프라이빗 서브넷)을 참조하십시오 Amazon EMR에 대해 사용자 지정 서비스 역할을 사용하는 경우 EMR에서 보안 그룹이 올바르게 생성되는지 여부를 검증할 수 있도록 ec2:describeSecurityGroups에 대한 권한을 부여해야 합니다. EMR_DefaultRole을 사용하는 경우 이 권한은 이미 기본 관리형 정책에 포함되어 있습니다.

알려진 문제

  • 관리형 조정

    Presto가 설치되지 않은 5.30.0 및 5.30.1 클러스터에서 관리되는 조정 작업으로 인해 애플리케이션 장애가 발생하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿이 ARRESTED 상태를 유지할 수 있으며, 이는 특히 축소 작업 후 빠르게 조정 작업이 수행되는 경우에 발생합니다.

    이 문제를 해결하려면 Presto가 필요하지 않은 경우에도 클러스터를 만들 때 설치할 애플리케이션으로 Presto를 선택합니다.

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

릴리스 5.30.0 구성 요소 버전

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.3.0 Amazon SageMaker Spark SDK
emr-ddb 4.14.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.13.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.5.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-notebook-env 1.0.0 emr 노트북용 Conda env
emr-s3-dist-cp 2.14.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.5.0 EMR S3Select 커넥터
emrfs 2.40.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.10.0 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-6 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-6 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-6 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-6 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-6 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-6 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-6 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-6 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-6 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-6 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-6 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.13 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.13 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.13 HBase 명령줄 클라이언트
hbase-rest-server 1.4.13 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.13 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.6-amzn-2 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.6-amzn-2 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.6-amzn-2 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.6-amzn-2 Hive 명령줄 클라이언트
hive-hbase 2.3.6-amzn-2 Hive-hbase 클라이언트
hive-metastore-server 2.3.6-amzn-2 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.6-amzn-2 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hudi 0.5.2-incubating 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크.
hudi-presto 0.5.2-incubating Hudi로 Presto를 실행하기 위한 번들 라이브러리.
hue-server 4.6.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 1.1.0 Jupyter 노트북용 다중 사용자 서버
livy-server 0.7.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.5.1 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mariadb-server 5.5.64 MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.2.0 Oozie 명령줄 클라이언트
oozie-server 5.2.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.3-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.3-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.232 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.232 여러 쿼리를 실행하는 서비스.
presto-client 0.232 Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트.
pig-client 0.17.0 Pig 명령줄 클라이언트.
-r 3.4.3 통계 컴퓨팅용 R 프로젝트
ranger-kms-server 1.2.0 Apache Ranger 키 관리 시스템
spark-client 2.4.5-amzn-0 Spark 명령줄 클라이언트.
spark-history-server 2.4.5-amzn-0 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.5-amzn-0 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.5-amzn-0 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.14.0 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.2 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

릴리스 5.30.0 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.30.0 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

hudi-env

Hudi 환경의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

ranger-kms-dbks-site

Ranger KMS에서 dbks-site.xml 파일의 값을 변경합니다.

ranger-kms-site

Ranger KMS에서 ranger-kms-site.xml 파일의 값을 변경합니다.

ranger-kms-env

Ranger KMS 환경의 값을 변경합니다.

ranger-kms-log4j

Ranger KM에서 kms-log4j.properties 파일의 값을 변경합니다.

ranger-kms-db-ca

Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다.

recordserver-env

EMR RecordServer 환경의 값을 변경합니다.

recordserver-conf

EMR RecordServer의 erver.properties 파일의 값을 변경합니다.

recordserver-log4j

EMR RecordServer의 log4j.properties 파일의 값을 변경합니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop OraOop oraoop-site.xml 파일의 값을 변경합니다.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

ZooKeeper zoo.cfg 파일의 값을 변경합니다.

zookeeper-log4j

ZooKeeper log4j.properties 파일의 값을 변경합니다.

5.29.0

5.29.0 애플리케이션 버전

이 릴리스에는 Flink, Ganglia, 하둡, HBase, HCatalog, Hive, Hue, JupyterHub, Livy, Mahout, MXNet, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, ZeppelinZooKeeper 애플리케이션이 지원됩니다.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

5.29.0 릴리스 정보

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.29.0에 대한 정보가 포함됩니다. 변경 사항은 5.28.1에 관련됩니다.

최초 릴리스 날짜: 2020년 1월 17일

업그레이드

  • AWS Java SDK가 버전 1.11.682로 업그레이드됨

  • Hive가 버전 2.3.6으로 업그레이드됨

  • Flink가 버전 1.9.1로 업그레이드됨

  • EmrFS가 버전 2.38.0으로 업그레이드됨

  • EMR DynamoDB Connector가 버전 4.13.0으로 업그레이드됨

변경 사항, 향상된 기능 및 해결된 문제

  • Spark

    • Spark 성능 최적화

  • EMRFS

    • 일관된 보기를 위해 관리 안내서에서 emrfs-site.xml 기본 설정이 업데이트됩니다.

알려진 문제

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

5.29.0 컴포넌트 버전

이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 emr 또는 aws로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. AWS는 Amazon EMR에서 커뮤니티 릴리스를 최대한 빨리 제공할 수 있도록 노력하고 있습니다.

Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 CommunityVersion-amzn-EmrVersion 양식의 버전 레이블이 있습니다. EmrVersion은 0에서 시작합니다. 예를 들어, 버전 2.2의 myapp-component라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스 버전에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 2.2-amzn-2로 나열됩니다.

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.2.6 Amazon SageMaker Spark SDK
emr-ddb 4.13.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.12.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.4.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.13.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.4.0 EMR S3Select 커넥터
emrfs 2.38.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.9.1 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-5 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-5 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-5 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-5 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-5 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-5 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-5 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-5 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-5 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-5 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-5 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.10 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.10 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.10 HBase 명령줄 클라이언트
hbase-rest-server 1.4.10 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.10 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.6-amzn-1 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.6-amzn-1 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.6-amzn-1 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.6-amzn-1 Hive 명령줄 클라이언트
hive-hbase 2.3.6-amzn-1 Hive-hbase 클라이언트
hive-metastore-server 2.3.6-amzn-1 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.6-amzn-1 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hudi 0.5.0-incubating 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크.
hudi-presto 0.5.0-incubating Hudi로 Presto를 실행하기 위한 번들 라이브러리.
hue-server 4.4.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 1.0.0 Jupyter 노트북용 다중 사용자 서버
livy-server 0.6.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.5.1 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mysql-server 5.5.54+ MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.1.0 Oozie 명령줄 클라이언트
oozie-server 5.1.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.3-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.3-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.227 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.227 여러 쿼리를 실행하는 서비스.
presto-client 0.227 Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트.
pig-client 0.17.0 Pig 명령줄 클라이언트.
r 3.4.1 통계 컴퓨팅용 R 프로젝트
spark-client 2.4.4 Spark 명령줄 클라이언트.
spark-history-server 2.4.4 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.4 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.4 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.14.0 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.2 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

5.29.0 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.29.0 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

ranger-kms-dbks-site

Ranger KMS에서 dbks-site.xml 파일의 값을 변경합니다.

ranger-kms-site

Ranger KMS에서 ranger-kms-site.xml 파일의 값을 변경합니다.

ranger-kms-env

Ranger KMS 환경의 값을 변경합니다.

ranger-kms-log4j

Ranger KM에서 kms-log4j.properties 파일의 값을 변경합니다.

ranger-kms-db-ca

Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다.

recordserver-env

EMR RecordServer 환경의 값을 변경합니다.

recordserver-conf

EMR RecordServer의 erver.properties 파일의 값을 변경합니다.

recordserver-log4j

EMR RecordServer의 log4j.properties 파일의 값을 변경합니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop OraOop oraoop-site.xml 파일의 값을 변경합니다.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

ZooKeeper zoo.cfg 파일의 값을 변경합니다.

zookeeper-log4j

ZooKeeper log4j.properties 파일의 값을 변경합니다.

5.28.x

5.28 시리즈에는 여러 릴리스가 있습니다. 이 탭에서 특정 릴리스의 정보를 보려면 아래 링크를 선택하십시오.

5.28.1 (최신) | 5.28.0

Amazon EMR 릴리스 5.28.1

릴리즈 5.28.1 애플리케이션 버전

이 릴리스에는 Flink, Ganglia, 하둡, HBase, HCatalog, Hive, Hue, JupyterHub, Livy, Mahout, MXNet, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, ZeppelinZooKeeper 애플리케이션이 지원됩니다.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

릴리즈 5.28.1 릴리즈 노트

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.28.1에 대한 정보가 포함됩니다. 변경 사항은 5.28.0에 관련됩니다.

최초 릴리스 날짜: 2020년 1월 10일

변경 사항, 향상된 기능 및 해결된 문제

  • Spark

    • Spark 호환성 문제를 수정했습니다.

  • CloudWatch 측정치

    • 여러 마스터 노드가 있는 EMR 클러스터에 Amazon CloudWatch 지표가 게시되는 문제를 수정했습니다.

  • 로그 메시지 비활성화

    • false 로그 메시지 "이전 버전(<4.5.8)의 Apache http 클라이언트를 사용..."을 비활성화했습니다.

알려진 문제

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

릴리즈 5.28.1 컴포넌트 버전

이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 emr 또는 aws로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. AWS는 Amazon EMR에서 커뮤니티 릴리스를 최대한 빨리 제공할 수 있도록 노력하고 있습니다.

Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 CommunityVersion-amzn-EmrVersion 양식의 버전 레이블이 있습니다. EmrVersion은 0에서 시작합니다. 예를 들어, 버전 2.2의 myapp-component라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스 버전에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 2.2-amzn-2로 나열됩니다.

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.2.6 Amazon SageMaker Spark SDK
emr-ddb 4.12.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.11.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.4.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.13.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.3.0 EMR S3Select 커넥터
emrfs 2.37.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.9.0 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-5 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-5 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-5 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-5 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-5 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-5 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-5 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-5 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-5 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-5 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-5 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.10 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.10 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.10 HBase 명령줄 클라이언트
hbase-rest-server 1.4.10 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.10 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.6-amzn-0 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.6-amzn-0 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.6-amzn-0 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.6-amzn-0 Hive 명령줄 클라이언트
hive-hbase 2.3.6-amzn-0 Hive-hbase 클라이언트
hive-metastore-server 2.3.6-amzn-0 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.6-amzn-0 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hudi 0.5.0-incubating 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크.
hudi-presto 0.5.0-incubating Hudi로 Presto를 실행하기 위한 번들 라이브러리.
hue-server 4.4.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 1.0.0 Jupyter 노트북용 다중 사용자 서버
livy-server 0.6.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.5.1 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mysql-server 5.5.54+ MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.1.0 Oozie 명령줄 클라이언트
oozie-server 5.1.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.3-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.3-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.227 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.227 여러 쿼리를 실행하는 서비스.
presto-client 0.227 Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트.
pig-client 0.17.0 Pig 명령줄 클라이언트.
r 3.4.1 통계 컴퓨팅용 R 프로젝트
spark-client 2.4.4 Spark 명령줄 클라이언트.
spark-history-server 2.4.4 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.4 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.4 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.14.0 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.2 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

릴리스 5.28.1 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.28.1 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

ranger-kms-dbks-site

Ranger KMS에서 dbks-site.xml 파일의 값을 변경합니다.

ranger-kms-site

Ranger KMS에서 ranger-kms-site.xml 파일의 값을 변경합니다.

ranger-kms-env

Ranger KMS 환경의 값을 변경합니다.

ranger-kms-log4j

Ranger KM에서 kms-log4j.properties 파일의 값을 변경합니다.

ranger-kms-db-ca

Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다.

recordserver-env

EMR RecordServer 환경의 값을 변경합니다.

recordserver-conf

EMR RecordServer의 erver.properties 파일의 값을 변경합니다.

recordserver-log4j

EMR RecordServer의 log4j.properties 파일의 값을 변경합니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop OraOop oraoop-site.xml 파일의 값을 변경합니다.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

ZooKeeper zoo.cfg 파일의 값을 변경합니다.

zookeeper-log4j

ZooKeeper log4j.properties 파일의 값을 변경합니다.

Amazon EMR 릴리스 5.28.0

릴리즈 5.28.0 애플리케이션 버전

이 릴리스에는 Flink, Ganglia, 하둡, HBase, HCatalog, Hive, Hue, JupyterHub, Livy, Mahout, MXNet, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, ZeppelinZooKeeper 애플리케이션이 지원됩니다.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

릴리즈 5.28.0 릴리즈 노트

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.28.0에 대한 정보가 포함됩니다. 변경 사항은 5.27.0에 관련됩니다.

최초 릴리스 날짜: 2019년 11월 12일

업그레이드

  • Flink가 버전 1.9.0으로 업그레이드됨

  • Hive가 버전 2.3.6으로 업그레이드됨

  • MXNet이 1.5.1로 업그레이드됨

  • Phoenix가 버전 4.14.3으로 업그레이드됨

  • Presto가 버전 0.227로 업그레이드됨

  • Zeppelin이 버전 0.8.2로 업그레이드됨

새로운 기능

  • 이제 클러스터를 생성할 때 Apache Hudi를 Amazon EMR에 설치할 수 있습니다. 자세한 내용은 Hudi(인큐베이팅) 단원을 참조하십시오.

  • (2019년 11월 25일) 이제 클러스터 사용률을 개선하고 비용을 절감하기 위해 여러 단계를 병렬로 실행하도록 선택할 수 있습니다. 대기 중인 단계와 실행 중인 단계를 모두 취소할 수도 있습니다. 자세한 내용은 AWS CLI 및 콘솔을 사용하여 단계 작업을 참조하십시오.

  • (2019년 12월 3일) 이제 AWS Outposts에서 EMR 클러스터를 생성하고 실행할 수 있습니다. AWS Outposts를 통해 온프레미스 시설에서 네이티브 AWS 서비스, 인프라 및 운영 모델을 사용할 수 있습니다. AWS Outposts 환경에서는 AWS 클라우드에서 사용하는 것과 동일한 AWS API, 도구 및 인프라를 사용할 수 있습니다. 자세한 내용은 AWS Outposts 기반 EMR 클러스터를 참조하십시오.

  • (2020년 3월 11일) Amazon EMR 버전 5.28.0부터는 로컬 영역를 지원하는 AWS 리전의 논리적 확장으로서 AWS 로컬 영역 서브넷에서 Amazon EMR 클러스터를 생성하고 실행할 수 있습니다. 로컬 영역을 사용하면 컴퓨팅 및 스토리지 서비스와 같은 Amazon EMR 기능 및 일부 AWS 서비스가 사용자와 더 가깝게 위치하므로 로컬로 실행되는 애플리케이션의 액세스 지연 시간이 매우 단축될 수 있습니다 사용 가능한 로컬 영역 목록은 AWS 로컬 영역을 참조하십시오. 사용 가능한 AWS 로컬 영역 액세스에 대한 자세한 내용은 리전, 가용 영역 및 로컬 영역을 참조하십시오.

    로컬 영역는 현재 Amazon EMR 노트북을 지원하지 않으며 인터페이스 VPC 엔드포인트(AWS PrivateLink)를 사용하는 직접 Amazon EMR 연결을 지원하지 않습니다.

변경 사항, 향상된 기능 및 해결된 문제

알려진 문제

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

릴리즈 5.28.0 컴포넌트 버전

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.2.6 Amazon SageMaker Spark SDK
emr-ddb 4.12.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.11.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.4.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.13.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.3.0 EMR S3Select 커넥터
emrfs 2.37.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.9.0 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-5 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-5 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-5 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-5 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-5 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-5 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-5 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-5 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-5 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-5 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-5 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.10 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.10 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.10 HBase 명령줄 클라이언트
hbase-rest-server 1.4.10 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.10 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.6-amzn-0 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.6-amzn-0 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.6-amzn-0 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.6-amzn-0 Hive 명령줄 클라이언트
hive-hbase 2.3.6-amzn-0 Hive-hbase 클라이언트
hive-metastore-server 2.3.6-amzn-0 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.6-amzn-0 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hudi 0.5.0-incubating 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크.
hudi-presto 0.5.0-incubating Hudi로 Presto를 실행하기 위한 번들 라이브러리.
hue-server 4.4.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 1.0.0 Jupyter 노트북용 다중 사용자 서버
livy-server 0.6.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.5.1 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mysql-server 5.5.54+ MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.1.0 Oozie 명령줄 클라이언트
oozie-server 5.1.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.3-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.3-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.227 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.227 여러 쿼리를 실행하는 서비스.
presto-client 0.227 Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트.
pig-client 0.17.0 Pig 명령줄 클라이언트.
r 3.4.1 통계 컴퓨팅용 R 프로젝트
spark-client 2.4.4 Spark 명령줄 클라이언트.
spark-history-server 2.4.4 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.4 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.4 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.14.0 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.2 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

릴리즈 5.28.0 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.28.0 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

ranger-kms-dbks-site

Ranger KMS에서 dbks-site.xml 파일의 값을 변경합니다.

ranger-kms-site

Ranger KMS에서 ranger-kms-site.xml 파일의 값을 변경합니다.

ranger-kms-env

Ranger KMS 환경의 값을 변경합니다.

ranger-kms-log4j

Ranger KM에서 kms-log4j.properties 파일의 값을 변경합니다.

ranger-kms-db-ca

Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다.

recordserver-env

EMR RecordServer 환경의 값을 변경합니다.

recordserver-conf

EMR RecordServer의 erver.properties 파일의 값을 변경합니다.

recordserver-log4j

EMR RecordServer의 log4j.properties 파일의 값을 변경합니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop OraOop oraoop-site.xml 파일의 값을 변경합니다.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

ZooKeeper zoo.cfg 파일의 값을 변경합니다.

zookeeper-log4j

ZooKeeper log4j.properties 파일의 값을 변경합니다.

5.27.0

5.27.0 애플리케이션 버전

이 릴리스에는 Flink, Ganglia, 하둡, HBase, HCatalog, Hive, Hue, JupyterHub, Livy, Mahout, MXNet, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, ZeppelinZooKeeper 애플리케이션이 지원됩니다.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

5.27.0 릴리스 정보

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.27.0에 대한 정보가 포함됩니다. 변경 사항은 5.26.0에 관련됩니다.

최초 릴리스 날짜: 2019년 9월 23일

업그레이드

  • AWS SDK for Java 1.11.615

  • Flink 1.8.1

  • JupyterHub 1.0.0

  • Spark 2.4.4

  • TensorFlow 1.14.0

  • 커넥터 및 드라이버:

    • DynamoDB 커넥터 4.12.0

새로운 기능

  • (2019년 10월 24일) 다음과 같은 EMR 노트북의 새로운 기능은 모든 Amazon EMR 릴리스에서 사용할 수 있습니다.

    • 이제 Git 리포지토리를 EMR 노트북과 연결하여 버전 제어 환경에서 노트북을 저장할 수 있습니다. 원격 Git 리포지토리를 통해 동료와 코드를 공유할 수 있고 기존 Jupyter 노트북을 재사용할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 Amazon EMR 노트북과 Git 리포지토리 연결을 참조하십시오.

    • 이제 EMR 노트북에서 nbdime 유틸리티를 사용하여 노트북 비교 및 병합을 간소화할 수 있습니다.  

    • 이제 EMR 노트북이 JupyterLab을 지원합니다. JupyterLab은 Jupyter 노트북과 완전히 호환 가능한 웹 기반 대화식 개발 환경입니다. 이제 JupyterLab 또는 Jupyter 노트북 편집기에서 노트북을 열 수 있는 옵션이 제공됩니다. 

  • (2019년 10월 30일) Amazon EMR 버전 5.25.0부터는 콘솔에서 클러스터 요약 페이지 또는 애플리케이션 이력 탭을 사용해 Spark 기록 서버 UI에 연결할 수 있습니다. SSH 연결을 통해 웹 프록시를 설정하는 대신, Spark 기록 서버 UI에 액세스하여 애플리케이션 지표를 보고 활성 클러스터 및 종료된 클러스터에 대한 관련 로그 파일에 액세스할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서영구 애플리케이션 사용자 인터페이스에 대한 클러스터 외부 액세스를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제

알려진 문제

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

5.27.0 컴포넌트 버전

이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 emr 또는 aws로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. AWS는 Amazon EMR에서 커뮤니티 릴리스를 최대한 빨리 제공할 수 있도록 노력하고 있습니다.

Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 CommunityVersion-amzn-EmrVersion 양식의 버전 레이블이 있습니다. EmrVersion은 0에서 시작합니다. 예를 들어, 버전 2.2의 myapp-component라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스 버전에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 2.2-amzn-2로 나열됩니다.

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.2.4 Amazon SageMaker Spark SDK
emr-ddb 4.12.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.11.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.4.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.13.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.3.0 EMR S3Select 커넥터
emrfs 2.36.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.8.1 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-4 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-4 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-4 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-4 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-4 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-4 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-4 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-4 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-4 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-4 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-4 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.10 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.10 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.10 HBase 명령줄 클라이언트
hbase-rest-server 1.4.10 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.10 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.5-amzn-1 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.5-amzn-1 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.5-amzn-1 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.5-amzn-1 Hive 명령줄 클라이언트
hive-hbase 2.3.5-amzn-1 Hive-hbase 클라이언트
hive-metastore-server 2.3.5-amzn-1 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.5-amzn-1 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hue-server 4.4.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 1.0.0 Jupyter 노트북용 다중 사용자 서버
livy-server 0.6.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.4.0 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mysql-server 5.5.54+ MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.1.0 Oozie 명령줄 클라이언트
oozie-server 5.1.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.2-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.2-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.224 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.224 여러 쿼리를 실행하는 서비스.
pig-client 0.17.0 Pig 명령줄 클라이언트.
r 3.4.1 통계 컴퓨팅용 R 프로젝트
spark-client 2.4.4 Spark 명령줄 클라이언트.
spark-history-server 2.4.4 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.4 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.4 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.14.0 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.1 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

5.27.0 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.27.0분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

ranger-kms-dbks-site

Ranger KMS에서 dbks-site.xml 파일의 값을 변경합니다.

ranger-kms-site

Ranger KMS에서 ranger-kms-site.xml 파일의 값을 변경합니다.

ranger-kms-env

Ranger KMS 환경의 값을 변경합니다.

ranger-kms-log4j

Ranger KM에서 kms-log4j.properties 파일의 값을 변경합니다.

ranger-kms-db-ca

Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다.

recordserver-env

EMR RecordServer 환경의 값을 변경합니다.

recordserver-conf

EMR RecordServer의 erver.properties 파일의 값을 변경합니다.

recordserver-log4j

EMR RecordServer의 log4j.properties 파일의 값을 변경합니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop OraOop oraoop-site.xml 파일의 값을 변경합니다.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

ZooKeeper zoo.cfg 파일의 값을 변경합니다.

zookeeper-log4j

ZooKeeper log4j.properties 파일의 값을 변경합니다.

5.26.0

5.26.0 애플리케이션 버전

이 릴리스에는 Flink, Ganglia, 하둡, HBase, HCatalog, Hive, Hue, JupyterHub, Livy, Mahout, MXNet, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, ZeppelinZooKeeper 애플리케이션이 지원됩니다.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

5.26.0 릴리스 정보

다음 출시 정보에는 Amazon EMR 릴리스 버전 5.26.0에 대한 정보가 포함됩니다. 변경 사항은 5.25.0에 관련됩니다.

최초 릴리스 날짜: 2019년 8월 8일

최종 업데이트 날짜: 2019년 8월 19일

업그레이드

  • AWS SDK for Java 1.11.595

  • HBase 1.4.10

  • Phoenix 4.14.2

  • 커넥터 및 드라이버:

    • DynamoDB 커넥터 4.11.0

    • MariaDB 커넥터 2.4.2

    • Amazon Redshift JDBC 드라이버 1.2.32.1056

새로운 기능

  • (베타) Amazon EMR 5.26.0에서는 Lake Formation과 통합된 클러스터를 시작할 수 있습니다. 이 통합은 AWS Glue 데이터 카탈로그의 데이터베이스 및 테이블에 대한 세분화된 열 수준 액세스를 제공합니다. 또한 엔터프라이즈 자격 증명 시스템에서 EMR 노트북 또는 Apache Zeppelin에 연동된 Single Sign-On을 사용할 수도 있습니다. 자세한 내용은 Amazon EMR과 AWS Lake Formation 통합(베타)을 참조하십시오.

  • (2019년 8월 19일) 보안 그룹을 지원하는 모든 Amazon EMR 릴리스에 Amazon EMR 퍼블릭 액세스 차단을 사용할 수 있습니다. 퍼블릭 액세스 차단은 각 AWS 리전에 적용되는 계정 차원의 설정입니다. 포트가 예외로 지정되지 않은 한, 퍼블릭 액세스 차단은 클러스터와 연결된 보안 그룹에 포트의 IPv4 0.0.0.0/0 또는 IPv6 ::/0(퍼블릭 액세스)에서 인바운드 트래픽을 허용하는 규칙이 있을 때 클러스터가 시작되지 않도록 합니다. 포트 22는 기본적으로 예외로 설정됩니다. 자세한 내용은 Amazon EMR 관리 안내서Amazon EMR 퍼블릭 액세스 차단 사용 단원을 참조하십시오.

변경 사항, 향상된 기능 및 해결된 문제

  • EMR 노트북

    • EMR 5.26.0 이상에서 EMR 노트북는 기본 Python 라이브러리 외에도 노트북 범위의 Python 라이브러리를 지원합니다. 클러스터를 다시 생성하거나 노트북을 클러스터에 다시 연결할 필요 없이 노트북 편집기 내에서 노트북 범위 라이브러리를 설치할 수 있습니다. 노트북 범위의 라이브러리는 Python 가상 환경에서 생성되므로 현재 노트북 세션에만 적용됩니다. 이를 통해 노트북 종속성을 분리할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서노트북 범위 라이브러리 사용을 참조하십시오.

  • EMRFS

    • fs.s3.consistent.metadata.etag.verification.enabledtrue로 설정하여 ETag 확인 기능(베타)을 활성화할 수 있습니다. 이 기능을 통해 EMRFS는 Amazon S3 ETag를 사용하여 읽고 있는 객체가 사용 가능한 최신 버전인지 확인합니다. 이 기능은 동일한 이름을 유지하면서 Amazon S3의 파일을 덮어쓰는 업데이트 후 읽기 사용 사례에 유용합니다. 이 ETag 확인 기능은 현재 S3 Select에서 작동하지 않습니다. 자세한 내용은 일관된 보기 구성 단원을 참조하십시오.

  • Spark

    • 동적 파티션 잘라내기, INTERSECT에 앞선 DISTINCT, JOIN-DISINCT 쿼리에 대한 SQL 계획 통계 추론의 개선, 스칼라 하위 쿼리 평면화, 최적화된 조인 재정렬 및 블룸 필터 조인과 같은 최적화가 이제 기본적으로 설정됩니다. 자세한 내용은 Spark 성능 최적화를 참조하십시오.

    • 정렬 병합 조인의 전체 스테이지 코드 생성 기능이 개선되었습니다.

    • 쿼리 조각 및 하위 쿼리 재사용이 개선되었습니다.

    • Spark 시작 시 실행기를 사전 할당하도록 개선되었습니다.

    • 조인의 작은 쪽에 브로드캐스트 힌트가 포함되어 있으면 블룸 필터 조인이 더 이상 적용되지 않습니다.

  • Tez의 Hive 실행 시간 비교

    • Tez 관련 문제를 해결했습니다. Tez UI가 이제 여러 마스터 노드를 포함하는 EMR 클러스터에서 올바르게 작동합니다.

알려진 문제

  • 정렬 병합 조인에 대한 향상된 전체 스테이지 코드 생성 기능을 사용하면 메모리 압력을 높일 수 있습니다. 이 최적화는 성능을 향상시키지만 spark.yarn.executor.memoryOverheadFactor가 충분한 메모리를 제공하도록 조정되지 않은 경우 작업 재시도 또는 실패를 초래할 수 있습니다. 이 기능을 비활성화하려면 spark.sql.sortMergeJoinExec.extendedCodegen.enabled를 false로 설정하십시오.

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

5.26.0 컴포넌트 버전

이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 emr 또는 aws로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. AWS는 Amazon EMR에서 커뮤니티 릴리스를 최대한 빨리 제공할 수 있도록 노력하고 있습니다.

Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 CommunityVersion-amzn-EmrVersion 양식의 버전 레이블이 있습니다. EmrVersion은 0에서 시작합니다. 예를 들어, 버전 2.2의 myapp-component라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스 버전에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 2.2-amzn-2로 나열됩니다.

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.2.4 Amazon SageMaker Spark SDK
emr-ddb 4.11.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.10.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.4.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.12.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.3.0 EMR S3Select 커넥터
emrfs 2.35.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.8.0 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-4 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-4 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-4 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-4 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-4 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-4 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-4 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-4 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-4 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-4 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-4 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.10 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.10 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.10 HBase 명령줄 클라이언트
hbase-rest-server 1.4.10 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.10 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.5-amzn-0 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.5-amzn-0 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.5-amzn-0 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.5-amzn-0 Hive 명령줄 클라이언트
hive-hbase 2.3.5-amzn-0 Hive-hbase 클라이언트
hive-metastore-server 2.3.5-amzn-0 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.5-amzn-0 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hue-server 4.4.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 0.9.6 Jupyter 노트북용 다중 사용자 서버
livy-server 0.6.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.4.0 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mysql-server 5.5.54+ MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.1.0 Oozie 명령줄 클라이언트
oozie-server 5.1.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.2-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.2-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.220 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.220 여러 쿼리를 실행하는 서비스.
pig-client 0.17.0 Pig 명령줄 클라이언트.
r 3.4.1 통계 컴퓨팅용 R 프로젝트
spark-client 2.4.3 Spark 명령줄 클라이언트.
spark-history-server 2.4.3 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.3 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.3 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.13.1 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.1 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

5.26.0 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.26.0 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties 파일의 값을 변경합니다.

presto-connector-mysql

Presto mysql.properties 파일의 값을 변경합니다.

presto-connector-postgresql

Presto postgresql.properties 파일의 값을 변경합니다.

presto-connector-raptor

Presto raptor.properties 파일의 값을 변경합니다.

presto-connector-redis

Presto redis.properties 파일의 값을 변경합니다.

presto-connector-redshift

Presto redshift.properties 파일의 값을 변경합니다.

presto-connector-tpch

Presto tpch.properties 파일의 값을 변경합니다.

presto-connector-tpcds

Presto tpcds.properties 파일의 값을 변경합니다.

recordserver-env

EMR RecordServer 환경의 값을 변경합니다.

recordserver-conf

EMR RecordServer의 erver.properties 파일의 값을 변경합니다.

recordserver-log4j

EMR RecordServer의 log4j.properties 파일의 값을 변경합니다.

spark

Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다.

spark-defaults

Spark spark-defaults.conf 파일의 값을 변경합니다.

spark-env

the Spark 환경의 값을 변경합니다.

spark-hive-site

Spark hive-site.xml 파일의 값을 변경합니다.

spark-log4j

Spark log4j.properties 파일의 값을 변경합니다.

spark-metrics

Spark metrics.properties 파일의 값을 변경합니다.

sqoop-env

Sqoop 환경의 값을 변경합니다.

sqoop-oraoop-site

Sqoop OraOop oraoop-site.xml 파일의 값을 변경합니다.

sqoop-site

Sqoop sqoop-site.xml 파일의 값을 변경합니다.

tez-site

Tez tez-site.xml 파일의 값을 변경합니다.

yarn-env

YARN 환경의 값을 변경합니다.

yarn-site

YARN yarn-site.xml 파일의 값을 변경합니다.

zeppelin-env

Zeppelin 환경의 값을 변경합니다.

zookeeper-config

ZooKeeper zoo.cfg 파일의 값을 변경합니다.

zookeeper-log4j

ZooKeeper log4j.properties 파일의 값을 변경합니다.

5.25.0

5.25.0 애플리케이션 버전

이 릴리스에는 Flink, Ganglia, 하둡, HBase, HCatalog, Hive, Hue, JupyterHub, Livy, Mahout, MXNet, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, ZeppelinZooKeeper 애플리케이션이 지원됩니다.

아래 다이어그램은 Amazon EMR의 이번 릴리스에서 사용 가능한 애플리케이션 버전과 이전 4개 Amazon EMR 릴리스의 애플리케이션 버전을 보여줍니다.

각 Amazon EMR 릴리스의 포괄적인 애플리케이션 버전 기록은 다음 다이어그램을 참조하십시오.

5.25.0 릴리스 정보

다음 릴리스 정보에는 Amazon EMR 릴리스 버전 5.25.0에 대한 정보가 포함됩니다. 변경 사항은 5.24.1에 관련됩니다.

최초 릴리스 날짜: 2019년 7월 17일

최종 업데이트 날짜: 2019년 10월 30일

Amazon EMR 5.25.0

업그레이드

  • AWS SDK for Java 1.11.566

  • Hive 2.3.5

  • Presto 0.220

  • Spark 2.4.3

  • TensorFlow 1.13.1

  • Tez 0.9.2

  • Zookeeper 3.4.14

새로운 기능

  • (2019년 10월 30일) Amazon EMR 버전 5.25.0부터는 콘솔에서 클러스터 요약 페이지 또는 애플리케이션 이력 탭을 사용해 Spark 기록 서버 UI에 연결할 수 있습니다. SSH 연결을 통해 웹 프록시를 설정하는 대신, Spark 기록 서버 UI에 액세스하여 애플리케이션 지표를 보고 활성 클러스터 및 종료된 클러스터에 대한 관련 로그 파일에 액세스할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서영구 애플리케이션 사용자 인터페이스에 대한 클러스터 외부 액세스를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제

  • Spark

    • Bloom 필터로 입력을 사전 필터링하여 일부 조인의 성능을 개선했습니다. 이 최적화는 기본적으로 비활성화되어 있으며, Spark 구성 파라미터 spark.sql.bloomFilterJoin.enabledtrue로 설정하여 활성화할 수 있습니다.

    • 문자열 형식 열을 기준으로 그룹화하는 성능을 개선했습니다.

    • HBase를 설치하지 않고 클러스터에 대한 R4 인스턴스 유형의 핵심 구성 및 기본 Spark 실행기 메모리를 개선했습니다.

    • 잘린 테이블이 조인의 왼쪽에 있어야 하는 이전의 동적 파티션 잘라내기 기능에 대한 문제를 해결했습니다.

    • 별칭과 관련된 추가 사례를 적용하기 위해 INTERSECT 이전 DISTINCT 최적화를 개선했습니다.

    • DISTINCT 쿼리 이전 JOIN에 대한 SQL 계획 통계 추론을 개선했습니다. 이 개선 사항은 기본적으로 비활성화되어 있으며, Spark 구성 파라미터 spark.sql.statsImprovements.enabledtrue로 설정하여 활성화할 수 있습니다. 이 최적화는 Intersect 이전 Distinct 기능에 필요하며 spark.sql.optimizer.distinctBeforeIntersect.enabledtrue로 설정할 경우 자동으로 활성화됩니다.

    • 테이블 크기 및 필터에 따라 조인 순서를 최적화했습니다. 이 최적화는 기본적으로 비활성화되어 있으며, Spark 구성 파라미터 spark.sql.optimizer.sizeBasedJoinReorder.enabledtrue로 설정하여 활성화할 수 있습니다.

    자세한 내용은 Spark 성능 최적화를 참조하십시오.

  • EMRFS

    • 이제 EMRFS 설정 fs.s3.buckets.create.enabled가 기본적으로 비활성화됩니다. 테스트 결과 이 설정을 비활성화하면 성능이 향상되고 의도치 않은 S3 버킷 생성이 방지된다는 사실을 확인했습니다. 애플리케이션이 이 기능을 사용하는 경우 emrfs-site 구성 분류에서 속성 fs.s3.buckets.create.enabledtrue로 설정하여 활성화할 수 있습니다. 자세한 내용은 클러스터를 생성할 때 구성 제공 단원을 참조하십시오.

  • 보안 구성의 로컬 디스크 암호화 및 S3 암호화 개선(2019년 8월 5일)

    • 보안 구성 설정에서 로컬 디스크 암호화 설정과 Amazon S3 암호화 설정이 분리되었습니다.

    • EBS 암호화를 활성화하는 옵션이 5.24.0 이상 릴리스에 추가되었습니다. 이 옵션을 선택하면 스토리지 볼륨뿐만 아니라 루트 디바이스 볼륨도 암호화됩니다. 이전 버전에서는 사용자 지정 AMI를 사용하여 루트 디바이스 볼륨을 암호화해야 했습니다.

    • 자세한 내용은 Amazon EMR 관리 안내서암호화 옵션 단원을 참조하십시오.

알려진 문제

  • Known issue in clusters with multiple master nodes and Kerberos authentication

    If you run clusters with multiple master nodes and Kerberos authentication in EMR releases 5.20.0 and later, you may encounter problems with cluster operations such as scale down or step submission, after the cluster has been running for some time. The time period depends on the Kerberos ticket validity period that you defined. The scale-down problem impacts both automatic scale-down and explicit scale down requests that you submitted. Additional cluster operations can also be impacted.

    Workaround:

    • SSH as hadoop user to the lead master node of the EMR cluster with multiple master nodes.

    • Run the following command to renew Kerberos ticket for hadoop user.

      kinit -kt <keytab_file> <principal>

      Typically, the keytab file is located at /etc/hadoop.keytab and the principal is in the form of hadoop/<hostname>@<REALM>.

    참고

    This workaround will be effective for the time period the Kerberos ticket is valid. This duration is 10 hours by default, but can configured by your Kerberos settings. You must re-run the above command once the Kerberos ticket expires.

5.25.0 컴포넌트 버전

이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 emr 또는 aws로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. AWS는 Amazon EMR에서 커뮤니티 릴리스를 최대한 빨리 제공할 수 있도록 노력하고 있습니다.

Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 CommunityVersion-amzn-EmrVersion 양식의 버전 레이블이 있습니다. EmrVersion은 0에서 시작합니다. 예를 들어, 버전 2.2의 myapp-component라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스 버전에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 2.2-amzn-2로 나열됩니다.

구성 요소 버전 설명
aws-sagemaker-spark-sdk 1.2.4 Amazon SageMaker Spark SDK
emr-ddb 4.10.0 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터
emr-goodies 2.9.0 편리한 하둡 에코시스템용 추가 라이브러리
emr-kinesis 3.4.0 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터.
emr-s3-dist-cp 2.11.0 Amazon S3용으로 최적화된 분사 복사 애플리케이션.
emr-s3-select 1.3.0 EMR S3Select 커넥터
emrfs 2.34.0 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터
flink-client 1.8.0 Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션
ganglia-monitor 3.7.2 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트.
ganglia-metadata-collector 3.7.2 Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기.
ganglia-web 3.7.1 Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션.
hadoop-client 2.8.5-amzn-4 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트
hadoop-hdfs-datanode 2.8.5-amzn-4 블록을 저장하는 HDFS 노드 수준 서비스
hadoop-hdfs-library 2.8.5-amzn-4 HDFS 명령줄 클라이언트 및 라이브러리
hadoop-hdfs-namenode 2.8.5-amzn-4 파일 이름 및 블록 위치를 추적하는 HDFS 서비스
hadoop-hdfs-journalnode 2.8.5-amzn-4 HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스
hadoop-httpfs-server 2.8.5-amzn-4 HDFS 작업에 대한 HTTP 엔드포인트
hadoop-kms-server 2.8.5-amzn-4 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버
hadoop-mapred 2.8.5-amzn-4 MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리
hadoop-yarn-nodemanager 2.8.5-amzn-4 개별 노드의 컨테이너를 관리하는 YARN 서비스
hadoop-yarn-resourcemanager 2.8.5-amzn-4 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스
hadoop-yarn-timeline-server 2.8.5-amzn-4 YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스
hbase-hmaster 1.4.9 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스
hbase-region-server 1.4.9 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스
hbase-client 1.4.9 HBase 명령줄 클라이언트
hbase-rest-server 1.4.9 HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스
hbase-thrift-server 1.4.9 HBase에 Thrift 엔드포인트를 제공하는 서비스
hcatalog-client 2.3.5-amzn-0 hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트
hcatalog-server 2.3.5-amzn-0 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스
hcatalog-webhcat-server 2.3.5-amzn-0 HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트
hive-client 2.3.5-amzn-0 Hive 명령줄 클라이언트
hive-hbase 2.3.5-amzn-0 Hive-hbase 클라이언트
hive-metastore-server 2.3.5-amzn-0 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스
hive-server2 2.3.5-amzn-0 Hive 쿼리를 웹 요청으로 수락하기 위한 서비스
hue-server 4.4.0 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션.
jupyterhub 0.9.6 Jupyter 노트북용 다중 사용자 서버
livy-server 0.6.0-incubating Apache Spark와 상호작용하기 위한 REST 인터페이스
nginx 1.12.1 HTTP인 nginx [engine x] 및 역방향 프록시 서버
mahout-client 0.13.0 머신 러닝을 위한 라이브러리.
mxnet 1.4.0 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리.
mysql-server 5.5.54+ MySQL 데이터베이스 서버.
nvidia-cuda 9.2.88 Nvidia 드라이버와 Cuda 도구 키트
oozie-client 5.1.0 Oozie 명령줄 클라이언트
oozie-server 5.1.0 Oozie 워크플로 요청을 수락하는 서비스
opencv 3.4.0 오픈 소스 컴퓨터 비전 라이브러리.
phoenix-library 4.14.1-HBase-1.4 서버 및 클라이언트의 phoenix 라이브러리
phoenix-query-server 4.14.1-HBase-1.4 Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버
presto-coordinator 0.220 presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스.
presto-worker 0.220 여러 쿼리를 실행하는 서비스.
pig-client 0.17.0 Pig 명령줄 클라이언트.
r 3.4.1 통계 컴퓨팅용 R 프로젝트
spark-client 2.4.3 Spark 명령줄 클라이언트.
spark-history-server 2.4.3 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI.
spark-on-yarn 2.4.3 YARN용 인 메모리 실행 엔진.
spark-yarn-slave 2.4.3 YARN 슬레이브에서 필요한 Apache Spark 라이브러리.
sqoop-client 1.4.7 Apache Sqoop 명령줄 클라이언트.
tensorflow 1.13.1 TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다.
tez-on-yarn 0.9.2 tez YARN 애플리케이션 및 라이브러리.
webserver 2.4.25+ Apache HTTP 서버.
zeppelin-server 0.8.1 대화형 데이터 분석이 가능한 웹 기반 노트북
zookeeper-server 3.4.14 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스.
zookeeper-client 3.4.14 ZooKeeper 명령줄 클라이언트.

5.25.0 구성 분류

구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.

emr-5.25.0 분류
분류 설명

capacity-scheduler

하둡 capacity-scheduler.xml 파일의 값을 변경합니다.

container-log4j

하둡 YARN의 container-log4j.properties 파일의 값을 변경합니다.

core-site

하둡 core-site.xml 파일의 값을 변경합니다.

emrfs-site

EMRFS 설정을 변경합니다.

flink-conf

flink-conf.yaml 설정을 변경합니다.

flink-log4j

Flink log4j.properties 설정을 변경합니다.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 설정을 변경합니다.

flink-log4j-cli

Flink log4j-cli.properties 설정을 변경합니다.

hadoop-env

모든 하둡 구성 요소에 대한 하둡 환경의 값을 변경합니다.

hadoop-log4j

하둡 log4j.properties 파일의 값을 변경합니다.

hadoop-ssl-server

hadoop ssl 서버 구성을 변경합니다.

hadoop-ssl-client

hadoop ssl 클라이언트 구성을 변경합니다.

hbase

Apache HBase에 대한 EMR 큐레이트 설정입니다.

hbase-env

HBase 환경의 값을 변경합니다.

hbase-log4j

HBase hbase-log4j.properties 파일의 값을 변경합니다.

hbase-metrics

HBase hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

hbase-policy

HBase hbase-policy.xml 파일의 값을 변경합니다.

hbase-site

HBase hbase-site.xml 파일의 값을 변경합니다.

hdfs-encryption-zones

HDFS 암호화 영역을 구성합니다.

hdfs-site

HDFS hdfs-site.xml의 값을 변경합니다.

hcatalog-env

HCatalog 환경의 값을 변경합니다.

hcatalog-server-jndi

HCatalog jndi.properties 환경의 값을 변경합니다.

hcatalog-server-proto-hive-site

HCatalog proto-hive-site.xml의 값을 변경합니다.

hcatalog-webhcat-env

HCatalog WebHCat 환경의 값을 변경합니다.

hcatalog-webhcat-log4j2

HCatalog WebHCat log4j2.properties의 값을 변경합니다.

hcatalog-webhcat-site

HCatalog WebHCat webhcat-site.xml 파일의 값을 변경합니다.

hive-beeline-log4j2

Hive beeline-log4j2.properties 파일의 값을 변경합니다.

hive-parquet-logging

Hive parquet-logging.properties 파일의 값을 변경합니다.

hive-env

Hive 환경의 값을 변경합니다.

hive-exec-log4j2

Hive hive-exec-log4j2.properties 파일의 값을 변경합니다.

hive-llap-daemon-log4j2

Hive llap-daemon-log4j2.properties 파일의 값을 변경합니다.

hive-log4j2

Hive hive-log4j2.properties 파일의 값을 변경합니다.

hive-site

Hive hive-site.xml 파일의 값을 변경합니다.

hiveserver2-site

Hive Server2 hiveserver2-site.xml 파일의 값을 변경합니다.

hue-ini

Hue ini 파일의 값을 변경합니다.

httpfs-env

HTTPFS 환경의 값을 변경합니다.

httpfs-site

하둡 httpfs-site.xml 파일의 값을 변경합니다.

hadoop-kms-acls

하둡 kms-acls.xml 파일의 값을 변경합니다.

hadoop-kms-env

하둡 KMS 환경의 값을 변경합니다.

hadoop-kms-log4j

하둡 kms-log4j.properties 파일의 값을 변경합니다.

hadoop-kms-site

하둡 kms-site.xml 파일의 값을 변경합니다.

jupyter-notebook-conf

Jupyter 노트북의 jupyter_notebook_config.py 파일에서 값을 변경합니다.

jupyter-hub-conf

JupyterHubs의 jupyterhub_config.py 파일에서 값을 변경합니다.

jupyter-s3-conf

Jupyter 노트북 S3 지속성 구성

jupyter-sparkmagic-conf

Sparkmagic의 config.json 파일의 값을 변경합니다.

livy-conf

Livy의 livy.conf 파일의 값을 변경합니다.

livy-env

Livy 환경의 값을 변경합니다.

livy-log4j

Livy log4j.properties 설정을 변경합니다.

mapred-env

MapReduce 애플리케이션 환경의 값을 변경합니다.

mapred-site

MapReduce 애플리케이션 mapred-site.xml 파일의 값을 변경합니다.

oozie-env

Oozie 환경의 값을 변경합니다.

oozie-log4j

Oozie oozie-log4j.properties 파일의 값을 변경합니다.

oozie-site

Oozie oozie-site.xml 파일의 값을 변경합니다.

phoenix-hbase-metrics

Phoenix hadoop-metrics2-hbase.properties 파일의 값을 변경합니다.

phoenix-hbase-site

Phoenix hbase-site.xml 파일의 값을 변경합니다.

phoenix-log4j

Phoenix log4j.properties 파일의 값을 변경합니다.

phoenix-metrics

Phoenix hadoop-metrics2-phoenix.properties 파일의 값을 변경합니다.

pig-env

Pig 환경에서 값을 변경합니다.

pig-properties

Pig pig.properties 파일의 값을 변경합니다.

pig-log4j

Pig log4j.properties 파일의 값을 변경합니다.

presto-log

Presto log.properties 파일의 값을 변경합니다.

presto-config

Presto config.properties 파일의 값을 변경합니다.

presto-암호-인증자

Presto의 password-authenticator.properties 파일의 값을 변경합니다.

presto-env

Presto의 presto-env.sh 파일에서 값을 변경합니다.

presto-node

Presto의 node.properties 파일에서 값을 변경합니다.

presto-connector-blackhole

Presto blackhole.properties 파일의 값을 변경합니다.

presto-connector-cassandra

Presto cassandra.properties 파일의 값을 변경합니다.

presto-connector-hive

Presto hive.properties 파일의 값을 변경합니다.

presto-connector-jmx

Presto jmx.properties 파일의 값을 변경합니다.

presto-connector-kafka

Presto kafka.properties 파일의 값을 변경합니다.

presto-connector-localfile

Presto localfile.properties 파일의 값을 변경합니다.

presto-connector-memory

Presto memory.properties 파일의 값을 변경합니다.

presto-connector-mongodb

Presto mongodb.properties