Usando um pipeline OpenSearch de ingestão com o Amazon Security Lake como fonte

Você pode usar o plug-in de origem do Amazon S3 em seu pipeline de OpenSearch ingestão para ingerir dados do Amazon Security Lake. O Security Lake centraliza automaticamente os dados de segurança de AWS ambientes, sistemas locais e provedores de SaaS em um data lake específico.

O Amazon Security Lake tem os seguintes atributos de metadados em um pipeline:

• bucket_name: o nome do bucket Amazon S3 criado pelo Security Lake para armazenar dados de segurança.

• path_prefix: o nome da fonte personalizada definido na política de função do Security Lake IAM.

• region: Região da AWS Onde está localizado o bucket do Security Lake S3.

• accountID: O Conta da AWS ID no qual o Security Lake está ativado.

• sts_role_arn: o ARN da função do IAM destinada ao uso com o Security Lake.

Pré-requisitos

Antes de criar seu pipeline OpenSearch de ingestão, execute as seguintes etapas:

• Habilitar o Security Lake.

• Criar um assinante no Security Lake.

  • Escolha as fontes que você deseja ingerir em seu pipeline.

  • Em Credenciais de assinante, adicione o ID da Conta da AWS em que você pretende criar o pipeline. Para o ID externo, especifique OpenSearchIngestion-{accountid}.

  • Em Método de acesso a dados, escolha S3.

  • Para Detalhes de notificação, escolha SQS queue.

Quando você cria um assinante, o Security Lake cria automaticamente duas políticas de permissões em linha: uma para o S3 e outra para SQS. As políticas têm o seguinte formato: AmazonSecurityLake-{12345}-S3 e AmazonSecurityLake-{12345}-SQS. Para permitir que seu pipeline acesse as origens de assinantes, você deve associar as permissões necessárias à sua função do pipeline.

Configurar a função do pipeline

Crie uma nova política de permissões no IAM que combine somente as permissões necessárias das duas políticas que o Security Lake criou automaticamente. O exemplo de política a seguir mostra o menor privilégio necessário para que um pipeline de OpenSearch ingestão leia dados de várias fontes do Security Lake:

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "s3:GetObject"
         ],
         "Resource":[
            "arn:aws:s3:::aws-security-data-lake-region-abcde/aws/LAMBDA_EXECUTION/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-region-abcde/aws/S3_DATA/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-region-abcde/aws/VPC_FLOW/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-region-abcde/aws/ROUTE53/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-region-abcde/aws/SH_FINDINGS/1.0/*"
         ]
      },
      {
         "Effect":"Allow",
         "Action":[
            "sqs:ReceiveMessage",
            "sqs:DeleteMessage"
         ],
         "Resource":[
            "arn:aws:sqs:region:account-id:AmazonSecurityLake-abcde-Main-Queue"
         ]
      }
   ]
}

Importante

O Security Lake não gerencia a política de função do pipeline para você. Se você adicionar ou remover fontes da sua assinatura do Security Lake, deverá atualizar a política manualmente. O Security Lake cria partições para cada fonte de log, então você precisa adicionar ou remover manualmente as permissões na função de pipeline.

Você deve anexar essas permissões ao perfil do IAM que você especifica na opção sts_role_arn na configuração do plug-in de origem do S3, em sqs.

version: "2"
source:
  s3:
    ...
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/account-id/AmazonSecurityLake-abcde-Main-Queue"
    aws:
      ...
      sts_role_arn: arn:aws:iam::account-id:role/pipeline-role
processor:
  ...
sink:
  - opensearch:
      ...

Criar o pipeline

Depois de adicionar as permissões ao perfil do pipeline, use o esquema pré-configurado do Security Lake para criar o pipeline. Para obter mais informações, consulte Usar esquemas para criar um pipeline.

Você deve especificar a opção queue_url na configuração de origem do s3, que é o URL da fila do Amazon SQS para leitura. Para formatar o URL, localize o endpoint da assinatura na configuração do assinante e altere arn:aws: para https://. Por exemplo, .https://sqs.region.amazonaws.com/account-id/AmazonSecurityLake-abdcef-Main-Queue

O sts_role_arn que você especifica na configuração de origem do S3 deve ser o ARN da função do pipeline.