As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Tutorial: Começando com a Amazon EMR
Percorra um fluxo de trabalho para configurar rapidamente um EMR cluster da Amazon e executar um aplicativo Spark.
Configurando seu EMR cluster da Amazon
Com a Amazon, EMR você pode configurar um cluster para processar e analisar dados com estruturas de big data em apenas alguns minutos. Este tutorial mostra como iniciar um cluster de amostra usando o Spark e como executar um PySpark script simples armazenado em um bucket do Amazon S3. Ele abrange EMR tarefas essenciais da Amazon em três categorias principais de fluxo de trabalho: planejar e configurar, gerenciar e limpar.
Você encontrará links para tópicos mais detalhados à medida que avança no tutorial e obterá ideias para etapas adicionais na seção Próximas etapas. Se você tiver dúvidas ou tiver dúvidas, entre em contato com a EMR equipe da Amazon em nosso fórum de discussão
Pré-requisitos
-
Antes de iniciar um EMR cluster da Amazon, certifique-se de concluir as tarefas emAntes de configurar o Amazon EMR.
Custo
-
O exemplo de cluster que você criar será executado em um ambiente dinâmico. O cluster acumula cobranças mínimas. Para evitar cobranças adicionais, certifique-se de concluir as tarefas de limpeza na última etapa deste tutorial. As cobranças são acumuladas na taxa por segundo, de acordo com os preços da Amazon. EMR As cobranças também variam com base na região. Para obter mais informações, consulte os EMRpreços da Amazon
. -
Cobranças mínimas podem ser acumuladas para arquivos pequenos armazenados no Amazon S3. Algumas ou todas as cobranças do Amazon S3 podem ser dispensadas se você estiver dentro dos limites de uso do AWS nível gratuito. Para obter mais informações, consulte Preço do Amazon S3
e nível gratuito da AWS .
Etapa 1: configurar recursos de dados e iniciar um EMR cluster da Amazon
Prepare o armazenamento para a Amazon EMR
Ao usar a AmazonEMR, você pode escolher entre uma variedade de sistemas de arquivos para armazenar dados de entrada, dados de saída e arquivos de log. Neste tutorial, você usa EMRFS para armazenar dados em um bucket do S3. EMRFSé uma implementação do sistema de arquivos Hadoop que permite ler e gravar arquivos regulares no Amazon S3. Para obter mais informações, consulte Trabalhando com sistemas de armazenamento e arquivos com a Amazon EMR.
Para criar um bucket para este tutorial, siga as instruções em How do I create an S3 bucket? no Guia do usuário do console do Amazon Simple Storage Service. Crie o bucket na mesma AWS região em que você planeja lançar seu EMR cluster da Amazon. Por exemplo, Oeste dos EUA (Oregon) us-west-2.
Os buckets e pastas que você usa com a Amazon EMR têm as seguintes limitações:
-
Os nomes podem consistir em letras minúsculas, números, pontos (.) e hifens (-).
-
Os nomes não podem terminar em números.
-
O nome do bucket deve ser exclusivo em todas as contas da AWS .
-
Uma pasta de saída deve estar vazia.
Prepare um aplicativo com dados de entrada para a Amazon EMR
A forma mais comum de preparar um aplicativo para a Amazon EMR é fazer o upload do aplicativo e seus dados de entrada para o Amazon S3. Em seguida, ao enviar o trabalho para o cluster, você especifica os locais do Amazon S3 para o script e para os dados.
Nesta etapa, você carrega um PySpark script de amostra no seu bucket do Amazon S3. Fornecemos um PySpark script para você usar. O script processa os dados de inspeção de estabelecimentos alimentícios e retorna um arquivo de resultados em seu bucket do S3. O arquivo de resultados lista os dez principais estabelecimentos com mais violações do tipo “vermelho”.
Você também carrega dados de entrada de amostra para o Amazon S3 para que o PySpark script seja processado. Os dados de entrada correspondem a uma versão modificada dos resultados de inspeções do Departamento de Saúde no Condado de King, em Washington, de 2006 a 2020. Para obter mais informações, consulte King County Open Data: Food Establishment Inspection Data
name, inspection_result, inspection_closed_business, violation_type, violation_points 100 LB CLAM, Unsatisfactory, FALSE, BLUE, 5 100 PERCENT NUTRICION, Unsatisfactory, FALSE, BLUE, 5 7-ELEVEN #2361-39423A, Complete, FALSE, , 0
Para preparar o PySpark script de exemplo para EMR
-
Copie o código de exemplo abaixo em um novo arquivo no editor de sua preferência.
import argparse from pyspark.sql import SparkSession def calculate_red_violations(data_source, output_uri): """ Processes sample food establishment inspection data and queries the data to find the top 10 establishments with the most Red violations from 2006 to 2020. :param data_source: The URI of your food establishment data CSV, such as 's3://amzn-s3-demo-bucket/food-establishment-data.csv'. :param output_uri: The URI where output is written, such as 's3://amzn-s3-demo-bucket/restaurant_violation_results'. """ with SparkSession.builder.appName("Calculate Red Health Violations").getOrCreate() as spark: # Load the restaurant violation CSV data if data_source is not None: restaurants_df = spark.read.option("header", "true").csv(data_source) # Create an in-memory DataFrame to query restaurants_df.createOrReplaceTempView("restaurant_violations") # Create a DataFrame of the top 10 restaurants with the most Red violations top_red_violation_restaurants = spark.sql("""SELECT name, count(*) AS total_red_violations FROM restaurant_violations WHERE violation_type = 'RED' GROUP BY name ORDER BY total_red_violations DESC LIMIT 10""") # Write the results to the specified output URI top_red_violation_restaurants.write.option("header", "true").mode("overwrite").csv(output_uri) if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument( '--data_source', help="The URI for you CSV restaurant data, like an S3 bucket location.") parser.add_argument( '--output_uri', help="The URI where output is saved, like an S3 bucket location.") args = parser.parse_args() calculate_red_violations(args.data_source, args.output_uri) -
Salve o arquivo como
health_violations.py. -
Faça o upload de
health_violations.pypara o Amazon S3 no bucket criado para este tutorial. Para obter instruções, consulte Fazer upload de um objeto para o bucket no Guia de conceitos básicos do Amazon Simple Storage Service.
Para preparar os dados de entrada de amostra para EMR
-
Faça o download do arquivo zip food_establishment_data.zip.
-
Descompacte e salve
food_establishment_data.zipcomofood_establishment_data.csvem sua máquina. -
Faça upload do CSV arquivo no bucket do S3 que você criou para este tutorial. Para obter instruções, consulte Fazer upload de um objeto para o bucket no Guia de conceitos básicos do Amazon Simple Storage Service.
Para obter mais informações sobre como configurar dados paraEMR, consultePrepare os dados de entrada para processamento com a Amazon EMR.
Inicie um EMR cluster da Amazon
Depois de preparar um local de armazenamento e seu aplicativo, você pode iniciar um EMR cluster de amostra da Amazon. Nesta etapa, você executa um cluster Apache Spark usando a EMRversão mais recente da Amazon.
Etapa 2: Envie o trabalho para o seu EMR cluster da Amazon
Enviar o trabalho e exibir os resultados
Após iniciar um cluster, você poderá enviar trabalhos ao cluster em execução para processar e analisar dados. Você envia o trabalho para um EMR cluster da Amazon como uma etapa. Uma etapa é uma unidade de trabalho composta por uma ou mais ações. Por exemplo, você pode enviar uma etapa para calcular valores ou para transferir e processar dados. É possível enviar etapas ao criar um cluster ou para um cluster em execução. Nesta parte do tutorial, você envia health_violations.py como uma etapa para o cluster em execução. Para saber mais sobre as etapas, consulte Envie o trabalho para um EMR cluster da Amazon.
Para obter mais informações sobre o ciclo de vida da etapa, consulte Execução de etapas para processar dados.
Visualização dos resultados
Após a execução com êxito de uma etapa, você poderá visualizar os resultados de saída na pasta de saída do Amazon S3.
Visualizar os resultados de health_violations.py
Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/
. -
Escolha o nome do bucket e, em seguida, a pasta de saída que você especificou ao enviar a etapa. Por exemplo,
amzn-s3-demo-buckete depoismyOutputFolder. -
Verifique se os seguintes itens aparecem na sua pasta de saída:
-
Um objeto de tamanho pequeno chamado
_SUCCESS. -
Um CSV arquivo que começa com o prefixo
part-que contém seus resultados.
-
-
Escolha o objeto com seus resultados e, em seguida, escolha Fazer download para salvar os resultados em seu sistema de arquivos local.
-
Abra os resultados no editor de sua preferência. O arquivo de saída lista os dez principais estabelecimentos de alimentação com o maior número de violações vermelhas. O arquivo de saída também mostra o número total de violações vermelhas para cada estabelecimento.
Confira a seguir um exemplo de resultados para
health_violations.py.name, total_red_violations SUBWAY, 322 T-MOBILE PARK, 315 WHOLE FOODS MARKET, 299 PCC COMMUNITY MARKETS, 251 TACO TIME, 240 MCDONALD'S, 177 THAI GINGER, 153 SAFEWAY INC #1508, 143 TAQUERIA EL RINCONSITO, 134 HIMITSU TERIYAKI, 128
Para obter mais informações sobre a saída EMR do cluster da Amazon, consulteConfigurar um local para a saída do EMR cluster da Amazon.
Ao usar a AmazonEMR, talvez você queira se conectar a um cluster em execução para ler arquivos de log, depurar o cluster ou usar CLI ferramentas como o shell do Spark. A Amazon EMR permite que você se conecte a um cluster usando o protocolo Secure Shell (SSH). Esta seção aborda como configurarSSH, conectar-se ao seu cluster e visualizar arquivos de log do Spark. Para obter mais informações sobre como se conectar a um cluster, consulte Autentique-se nos nós de EMR cluster da Amazon.
Autorize SSH conexões com seu cluster
Antes de se conectar ao cluster, você precisa modificar os grupos de segurança do cluster para autorizar conexões de entradaSSH. Os grupos EC2 de segurança da Amazon atuam como firewalls virtuais para controlar o tráfego de entrada e saída do seu cluster. Quando você criou seu cluster para este tutorial, a Amazon EMR criou os seguintes grupos de segurança em seu nome:
- ElasticMapReduce-mestre
-
O grupo de segurança EMR gerenciado padrão da Amazon associado ao nó primário. Em um EMR cluster da Amazon, o nó primário é uma EC2 instância da Amazon que gerencia o cluster.
- ElasticMapReduce-escravo
-
O grupo de segurança padrão associado aos nós centrais e de tarefa.
Conecte-se ao seu cluster usando o AWS CLI
Independentemente do seu sistema operacional, você pode criar uma SSH conexão com seu cluster usando AWS CLI o.
Para se conectar ao seu cluster e visualizar os arquivos de log usando o AWS CLI
-
Use o comando a seguir para abrir uma SSH conexão com seu cluster.
<mykeypair.key>Substitua pelo caminho completo e pelo nome do arquivo do seu arquivo de key pair. Por exemplo,C:\Users\<username>\.ssh\mykeypair.pem.aws emr ssh --cluster-id<j-2AL4XXXXXX5T9>--key-pair-file<~/mykeypair.key> -
Navegue até
/mnt/var/log/sparkpara acessar os logs do Spark no nó principal do cluster. Em seguida, visualize os arquivos nesse local. Para obter uma lista de arquivos de log adicionais no nó principal, consulte Visualizar arquivos de log no nó primário.cd /mnt/var/log/spark ls
O Amazon EMR on também EC2 é um tipo de computação compatível com o Amazon SageMaker AI Unified Studio. Consulte Managing Amazon EMR on EC2 para saber como usar e gerenciar EC2 recursos EMR no Amazon SageMaker AI Unified Studio.
Etapa 3: limpe seus EMR recursos da Amazon
Encerramento do cluster
Agora que você enviou o trabalho para seu cluster e visualizou os resultados do seu PySpark aplicativo, você pode encerrar o cluster. O encerramento de um cluster interrompe todas as EMR cobranças e EC2 instâncias da Amazon associadas ao cluster.
Quando você encerra um cluster, a Amazon EMR retém metadados sobre o cluster por dois meses sem nenhum custo. Os metadados arquivados ajudam a clonar o cluster para um novo trabalho ou a revisitar a configuração do cluster para finalidades de referência. Os metadados não incluem dados que o cluster grava no S3 ou dados armazenados HDFS no cluster.
nota
O EMR console da Amazon não permite que você exclua um cluster da visualização de lista depois de encerrar o cluster. Um cluster encerrado desaparece do console quando a Amazon EMR limpa seus metadados.
Exclusão de recursos do S3
Para evitar cobranças adicionais, você deve excluir o bucket do Amazon S3. Excluir o bucket remove todos os recursos do Amazon S3 deste tutorial. O bucket deve conter:
-
O PySpark roteiro
-
O conjunto de dados de entrada.
-
Sua pasta de resultados de saída.
-
Sua pasta de arquivos de log.
Talvez seja necessário tomar medidas adicionais para excluir os arquivos armazenados se você salvou o PySpark script ou a saída em um local diferente.
nota
O cluster deve ser encerrado antes de você excluir o bucket. Caso contrário, pode não ser possível esvaziar o bucket.
Para excluir seu bucket, siga as instruções apresentadas em How do I delete an S3 bucket? no Guia do usuário do Amazon Simple Storage Service.
Próximas etapas
Agora você lançou seu primeiro EMR cluster da Amazon do início ao fim. Você também concluiu EMR tarefas essenciais, como preparar e enviar aplicativos de big data, visualizar resultados e encerrar um cluster.
Use os tópicos a seguir para saber mais sobre como você pode personalizar seu EMR fluxo de trabalho na Amazon.
Explore aplicativos de big data para a Amazon EMR
Descubra e compare os aplicativos de big data que você pode instalar em um cluster no Amazon EMR Release Guide. O Guia de lançamento detalha cada versão de EMR lançamento e inclui dicas para usar estruturas como Spark e Hadoop na Amazon. EMR
Planejamento do hardware, das redes e da segurança do cluster
Neste tutorial, você criou um EMR cluster simples sem configurar opções avançadas. As opções avançadas permitem que você especifique os tipos de EC2 instância, a rede e a segurança do cluster da Amazon. Para obter mais informações sobre como planejar e iniciar um cluster que atenda aos seus requisitos, consulte Planeje, configure e lance EMR clusters da Amazon e Segurança na Amazon EMR.
Gerenciar clusters
Aprofunde-se no trabalho com clusters em execução em Gerencie EMR clusters da Amazon. Para gerenciar um cluster, é possível se conectar ao cluster, depurar etapas e rastrear as atividades e a integridade do cluster. Você também pode ajustar os recursos do cluster em resposta às demandas de carga de trabalho com escalabilidade EMR gerenciada.
Uso de uma interface diferente
Além do EMR console da Amazon, você pode gerenciar a AWS Command Line Interface Amazon EMR usando o serviço API web ou um dos muitos compatíveis AWS SDKs. Para obter mais informações, consulte Interfaces de gerenciamento.
Você também pode interagir com aplicativos instalados nos EMR clusters da Amazon de várias maneiras. Algumas aplicações, como o Apache Hadoop, publicam interfaces da Web que você pode visualizar. Para obter mais informações, consulte Visualize interfaces web hospedadas em EMR clusters da Amazon.
Navegue pelo blog EMR técnico
