As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Monitore EMR os clusters da Amazon para criptografia em trânsito no lançamento
Criado por Susanne Kangnoh () AWS
Ambiente: produção | Tecnologias: análise; big data CloudNative; segurança, identidade e conformidade | Workload: código aberto |
AWSserviços: AmazonEMR; Amazon SNS AWS CloudTrail; Amazon CloudWatch |
Resumo
Esse padrão fornece um controle de segurança que monitora os EMR clusters da Amazon no lançamento e envia um alerta se a criptografia em trânsito não estiver habilitada.
EMRA Amazon é um serviço web que facilita a execução de estruturas de big data, como o Apache Hadoop, para processar e analisar dados. A Amazon EMR permite que você processe grandes quantidades de dados de forma econômica executando o mapeamento e reduzindo etapas paralelamente.
A criptografia de dados impede que usuários não autorizados acessem ou leiam dados em repouso ou dados em trânsito. Dados em repouso se referem aos dados armazenados em mídia, como um sistema de arquivos local em cada nó, o Hadoop Distributed File System (HDFS) ou o EMR File System (EMRFS) por meio do Amazon Simple Storage Service (Amazon S3). Dados em trânsito se referem aos dados que viajam pela rede e estão em trânsito entre as tarefas. A criptografia em trânsito oferece suporte a recursos de criptografia de código aberto para Apache Spark, Apache, Apache HadoopTEZ, Apache e Presto. HBase Você ativa a criptografia criando uma configuração de segurança na interface de linha de AWS comando (AWSCLI), no console ou AWS SDKs especificando as configurações de criptografia de dados. Você pode fornecer os artefatos de criptografia para criptografia em trânsito por meio de uma das formas a seguir:
Ao fazer o upload de um arquivo compactado de certificados no Amazon S3.
Ao fazer referência a uma classe Java personalizada que fornece artefatos de criptografia.
O controle de segurança incluído nesse padrão monitora as API chamadas e gera um evento Amazon CloudWatch Events sobre a RunJobFlowação. O evento chama uma função AWS Lambda, que executa um script Python. A função obtém o ID do EMR cluster da JSON entrada do evento e executa as seguintes verificações para determinar se há uma violação de segurança:
Verifica se o EMR cluster tem uma configuração EMR de segurança específica da Amazon.
Se o cluster tiver uma configuração de segurança, verifique se a criptografia em trânsito está habilitada.
Se o cluster não tiver uma configuração de segurança, envia um alerta para um endereço de e-mail fornecido por você usando o Amazon Simple Notification Service (AmazonSNS). A notificação especifica o nome do EMR cluster, os detalhes da violação, as informações da AWS região e da conta e o AWS ARN Lambda (Amazon Resource Name) do qual a notificação foi originada.
Pré-requisitos e limitações
Pré-requisitos
Uma conta da AWS ativa.
Um bucket do S3 para fazer o upload do código do Lambda fornecido com este padrão.
Um endereço de e-mail no qual você deseja receber notificações de violação.
EMRRegistro na Amazon ativado, para acesso a todos os API registros.
Limitações
Esse controle de detetive é regional e deve ser implantado em cada AWS região que você deseja monitorar.
Versões do produto
Amazon EMR versão 4.8.0 ou posterior.
Arquitetura
Arquitetura de fluxo de trabalho
Automação e escala
Se você estiver usando AWS Organizations, poderá usar o AWSCloudformation StackSets para implantar o modelo em várias contas que deseja monitorar.
Ferramentas
AWSserviços
Amazon EMR — EMR A Amazon é uma plataforma de cluster gerenciada que simplifica a execução de estruturas de big data, como Apache Hadoop
e Apache Spark , AWS para processar e analisar grandes quantidades de dados. Ao usar essas estruturas e projetos de código aberto relacionados, é possível processar dados para finalidades analíticas e workloads de inteligência de negócios. Além disso, você pode usar EMR a Amazon para transformar e mover grandes quantidades de dados para dentro e para fora de outros bancos de AWS dados e bancos de dados, como o Amazon S3 e o Amazon DynamoDB. AWSCloudformation — AWS CloudFormation ajuda você a modelar e configurar seus AWS recursos, provisioná-los de forma rápida e consistente e gerenciá-los durante todo o ciclo de vida. Você pode usar um modelo para descrever seus recursos e as dependências deles, além de inicializá-los e configurá-los juntos como uma pilha, em vez de gerenciar recursos individualmente. Você pode gerenciar e provisionar pilhas em várias AWS contas e AWS regiões.
AWSCloudwatch Events — A Amazon CloudWatch Events fornece um fluxo quase em tempo real de eventos do sistema que descrevem mudanças nos AWS recursos. CloudWatch Os eventos ficam cientes das mudanças operacionais à medida que elas ocorrem e tomam medidas corretivas conforme necessário, enviando mensagens para responder ao ambiente, ativando funções, fazendo alterações e capturando informações de estado.
AWSLambda
— O AWS Lambda é um serviço de computação que oferece suporte à execução de código sem provisionar ou gerenciar servidores. O Lambda executa o código somente quando necessário e escala automaticamente, desde algumas solicitações por dia a milhares por segundo. Você paga apenas pelo tempo de computação consumido. Não haverá cobranças quando o código não estiver em execução. AWSSNS— O Amazon Simple Notification Service (AmazonSNS) coordena e gerencia o envio de mensagens entre editores e clientes, incluindo servidores web e endereços de e-mail. Os assinantes recebem todas as mensagens publicadas nos tópicos para os quais eles se inscrevem, e todos os assinantes em um tópico recebem as mesmas mensagens.
Código
Esse padrão inclui um anexo com dois arquivos:
EMRInTransitEncryption.zipé um arquivo compactado que inclui o controle de segurança (código Lambda).EMRInTransitEncryption.ymlé um CloudFormation modelo que implanta o controle de segurança.
Consulte a seção Épicos para obter informações sobre como usar esses arquivos.
Épicos
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Faça upload do código para um bucket do S3. | Crie um novo bucket do S3 ou use um bucket do S3 existente para carregar o arquivo | Arquiteto de nuvem |
Implante o CloudFormation modelo. | Abra o console do Cloudformation na mesma AWS região do bucket do S3 e implante o | Arquiteto de nuvem |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Dar o nome do bucket do S3. | Insira o nome do bucket do S3 que você criou ou selecionou no primeiro épico. Esse bucket do S3 contém o arquivo.zip do código Lambda e deve estar na mesma AWS região do CloudFormation modelo e do recurso que será avaliado. | Arquiteto de nuvem |
Forneça a chave do S3. | Espeça a localização do arquivo .zip do código Lambda em seu bucket do S3, sem barras iniciais (por exemplo, | Arquiteto de nuvem |
Fornecer um endereço de e-mail. | Forneça um endereço de e-mail ativo no qual você deseja receber notificações de violação. | Arquiteto de nuvem |
Especifique um nível de registro em log. | Especifique o nível de registro em log e a verbosidade para os logs do Lambda. | Arquiteto de nuvem |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Confirme a assinatura por e-mail. | Quando o CloudFormation modelo é implantado com sucesso, ele envia uma mensagem de e-mail de assinatura para o endereço de e-mail que você forneceu. Você precisa confirmar sua assinatura para começar a receber as notificações. | Arquiteto de nuvem |
Recursos relacionados
Criação de uma pilha no AWS CloudFormation console (AWS CloudFormation documentação)
Opções de criptografia (EMRdocumentação da Amazon)
Anexos
Para acessar o conteúdo adicional associado a este documento, descompacte o seguinte arquivo: attachment.zip
