As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR versão 5.8.0
Versões 5.8.0 da aplicação
Os seguintes aplicativos são compatíveis com esta versão: Flink
A tabela abaixo lista as versões do aplicativo disponíveis nesta versão da Amazon EMR e as versões do aplicativo nas três EMR versões anteriores da Amazon (quando aplicável).
Para obter um histórico abrangente das versões do aplicativo para cada lançamento da AmazonEMR, consulte os seguintes tópicos:
| emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | |
|---|---|---|---|---|
| AWS SDKpara Java | 1.11.160 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 |
| HCatalog | 2.3.0 | 2.1.1 | 2.1.1 | 2.1.1 |
| Hadoop | 2.7.3 | 2.7.3 | 2.7.3 | 2.7.3 |
| Hive | 2.3.0 | 2.1.1 | 2.1.1 | 2.1.1 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0 | 4.11.0 | 4.11.0 | 4.9.0 |
| Pig | 0.16.0 | 0.16.0 | 0.16.0 | 0.16.0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.1.1 | 2.1.1 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (Em breve) SQL | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
Notas da versão 5.8.0
As notas de lançamento a seguir incluem informações para a EMR versão 5.8.0 da Amazon. As alterações são relativas à EMR versão 5.7.0 da Amazon.
Data da versão inicial: 10 de agosto de 2017
Última atualização de recurso: 25 de setembro de 2017
Atualizações
AWS SDK1.11.160
Flink 1.3.1
Hive 2.3.0. Para obter mais informações, consulte Notas de release
no site do Apache Hive. Spark 2.2.0. Para obter mais informações, consulte Notas de release
no site do Apache Spark.
Novos atributos
Adição de suporte para visualização do histórico de aplicativos (25 de setembro de 2017). Para obter mais informações, consulte Visualização do histórico do aplicativo no Amazon EMR Management Guide.
Alterações, melhorias e problemas resolvidos
-
Integração com o AWS Glue Data Catalog
Foi adicionada a capacidade do Hive e do Spark de usar SQL o AWS Glue Data Catalog como armazenamento de metadados do Hive. Para ter mais informações, consulte Usando o AWS Glue Data Catalog como metastore para o Hive e Use o AWS Glue Data Catalog como metastore para o Spark SQL.
-
Foi adicionado o histórico do aplicativo aos detalhes do cluster, o que permite que você visualize dados históricos dos YARN aplicativos e detalhes adicionais dos aplicativos Spark. Para obter mais informações, consulte Exibir histórico do aplicativo no Guia EMR de gerenciamento da Amazon.
Oozie
Porta traseira OOZIE-2748
.
Hue
HBase
Patch adicionado para expor a hora de início do servidor HBase mestre por meio de Java Management Extensions (JMX) usando
getMasterInitializedTime.Adicionado um patch que melhora a hora de início do cluster.
Problemas conhecidos
A inicialização do cluster falha quando todos os aplicativos são instalados e o tamanho padrão do volume EBS raiz da Amazon não é alterado. Como solução alternativa, use o
aws emr create-clustercomando do AWS CLI e especifique um--ebs-root-volume-sizeparâmetro maior.Por padrão, o Hive 2.3.0 define
hive.compute.query.using.stats=true. Isso faz com que as consultas obtenham dados de estatísticas existentes em vez de diretamente dos dados, o que pode gerar confusão. Por exemplo, se você tiver uma tabela comhive.compute.query.using.stats=truee fizer upload de novos arquivos para a tabelaLOCATION, a execução de uma consultaSELECT COUNT(*)na tabela retornará a contagem das estatísticas, e não selecionará as linhas adicionadas.Como alternativa, use o comando
ANALYZE TABLEpara reunir novas estatísticas ou definahive.compute.query.using.stats=false. Para obter mais informações, consulte Estatísticas no Hivena documentação do Apache Hive. Spark: ao usar o Spark, há um problema de vazamento no manipulador de arquivos com o daemon apppusher, o que pode ocorrer para um trabalho de execução prolongada do Spark depois de várias horas ou dias. Para corrigir o problema, conecte-se ao nó primário e digite
sudo /etc/init.d/apppusher stop. Isso interrompe o daemon apppusher, que a Amazon EMR reiniciará automaticamente.Application history
Os dados históricos dos executores inativos do Spark não está disponível.
O histórico do aplicativo não está disponível para clusters que usam uma configuração de segurança para habilitar a criptografia em andamento.
Versões de componente 5.8.0
Os componentes que a Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos da Amazon EMR e são instalados para processos e recursos do sistema. Eles normalmente começam com emr ou aws. Os pacotes de aplicativos de big data na versão mais recente da Amazon EMR geralmente são a versão mais recente encontrada na comunidade. Disponibilizamos lançamentos comunitários na Amazon o mais EMR rápido possível.
Alguns componentes na Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário CommunityVersion-amzn-EmrVersionEmrVersionmyapp-component com a versão 2.2 tiver sido modificado três vezes para inclusão em diferentes EMR versões da Amazon, sua versão de lançamento será listada como2.2-amzn-2.
| Componente | Version (Versão) | Descrição |
|---|---|---|
| emr-ddb | 4.4.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.6.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.18.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.3.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.7.3-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | HDFSserviço em nível de nó para armazenar blocos. |
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFScliente e biblioteca de linha de comando |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | HDFSserviço para rastrear nomes de arquivos e localizações de blocos. |
| hadoop-httpfs-server | 2.7.3-amzn-3 | HTTPendpoint para HDFS operações. |
| hadoop-kms-server | 2.7.3-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado no Hadoop. KeyProvider API |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | YARNserviço para gerenciar contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | YARNserviço para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | Serviço para recuperar informações atuais e históricas para YARN aplicativos. |
| hbase-hmaster | 1.3.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.3.1 | Serviço para atender a uma ou mais HBase regiões. |
| hbase-client | 1.3.1 | HBasecliente de linha de comando. |
| hbase-rest-server | 1.3.1 | Serviço que fornece um RESTful HTTP endpoint paraHBase. |
| hbase-thrift-server | 1.3.1 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.0-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.0-amzn-0 | Fornecimento de serviçosHCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | HTTPendpoint fornecendo uma REST interface paraHCatalog. |
| hive-client | 2.3.0-amzn-0 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.0-amzn-0 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.0-amzn-0 | Serviço para acessar o metastore Hive, um repositório semântico que armazena metadados para operações no Hadoop. SQL |
| hive-server2 | 2.3.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.12.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5.54+ | Meu servidor SQL de banco de dados. |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.11.0- -1.3 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.11.0- -1.3 HBase | Um servidor leve que fornece JDBC acesso, buffers de protocolo e acesso ao JSON formato do Avatica API |
| presto-coordinator | 0.170 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.170 | O serviço que executa partes de uma consulta. |
| pig-client | 0.16.0-amzn-1 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.0 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.0 | Mecanismo de execução na memória paraYARN. |
| spark-yarn-slave | 2.2.0 | Bibliotecas do Apache Spark necessárias para escravos. YARN |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O YARN aplicativo e as bibliotecas tez. |
| webserver | 2.4.25+ | HTTPServidor Apache. |
| zeppelin-server | 0.7.2 | O notebook baseado na web que permite a análise de dados interativa. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
Classificações de configuração 5.8.0
As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, comohive-site.xml. Para obter mais informações, consulte Configurar aplicações.
| Classificações | Descrição |
|---|---|
capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
emrfs-site | Altere EMRFS as configurações. |
flink-conf | Alterar as configurações do flink-conf.yaml. |
flink-log4j | Alterar as configurações de log4j.properties no Flink. |
flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
hbase | Configurações EMR selecionadas pela Amazon para Apache. HBase |
hbase-env | Mude os valores no HBase ambiente. |
hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
hdfs-encryption-zones | Configure zonas de HDFS criptografia. |
hdfs-site | Altere os valores em HDFS's hdfs-site.xml. |
hcatalog-env | Mude os valores no HCatalog ambiente. |
hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
hcatalog-webhcat-env | Altere os valores no ambiente ebHCat de HCatalog W. |
hcatalog-webhcat-log4j2 | Altere os valores nas propriedades ebHCat log4j2.properties de HCatalog W. |
hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml de HCatalog W. ebHCat |
hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
hive-env | Alterar os valores no ambiente do Hive. |
hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
hue-ini | Alterar os valores no arquivo ini do Hue |
httpfs-env | Mude os valores no HTTPFS ambiente. |
httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
hadoop-kms-env | Altere os valores no ambiente HadoopKMS. |
hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
oozie-env | Alterar os valores no ambiente do Oozie. |
oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
presto-log | Alterar os valores no arquivo log.properties do Presto. |
presto-config | Alterar os valores no arquivo config.properties do Presto. |
presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
presto-node | Altere os valores no arquivo node.properties do Presto. |
presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
spark | Configurações EMR selecionadas pela Amazon para o Apache Spark. |
spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
spark-env | Alterar os valores no ambiente do Spark. |
spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
sqoop-env | Alterar os valores no ambiente do Sqoop. |
sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
yarn-env | Mude os valores no YARN ambiente. |
yarn-site | Altere os valores no YARN arquivo yarn-site.xml do. |
zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
