백업 및 고급 설정 구성 - Amazon Data Firehose
백업 설정을 구성합니다.고급 설정 구성

Amazon Data Firehose는 이전에 Amazon Kinesis Data Firehose로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

백업 및 고급 설정 구성

이 항목에서는 Firehose 스트림의 백업 및 고급 설정을 구성하는 방법에 대해 설명합니다.

백업 설정을 구성합니다.

Amazon Data Firehose는 Amazon S3를 사용하여 선택한 대상으로 전송하려고 시도한 모든 데이터 또는 실패한 데이터만 백업합니다.

중요

  • 백업 설정은 Firehose 스트림의 소스가 다이렉트 PUT 또는 Kinesis Data Streams인 경우에만 지원됩니다.

  • 제로 버퍼링 기능은 애플리케이션 대상에서만 사용할 수 있으며 Amazon S3 백업 대상에는 사용할 수 없습니다.

다음 중 하나를 선택한 경우 Firehose 스트림의 S3 백업 설정을 지정할 수 있습니다.

  • Amazon S3를 Firehose 스트림의 대상으로 설정하고 AWS Lambda 함수를 지정하여 데이터 레코드를 변환하도록 선택하거나 Firehose 스트림의 데이터 레코드 형식을 변환하도록 선택한 경우

  • Amazon Redshift를 Firehose 스트림의 대상으로 설정하고 AWS Lambda 함수를 지정하여 데이터 레코드를 변환하도록 선택한 경우

  • 아마존 OpenSearch 서비스, 데이터독, 다이나트레이스, HTTP 엔드포인트, LogicMonitor MongoDB 클라우드, 뉴렐릭, 스플렁크 또는 스모 로직과 같은 서비스를 Firehose 스트림의 대상으로 설정하는 경우

Firehose 스트림의 백업 설정은 다음과 같습니다.

  • Amazon S3의 소스 레코드 백업 - S3 또는 Amazon Redshift를 대상으로 선택한 경우 이 설정은 소스 데이터 백업을 활성화할지 또는 비활성화된 상태로 유지할지를 나타냅니다. (S3 또는 Amazon Redshift 이외에) 지원되는 다른 서비스를 대상으로 선택한 경우 이 설정은 모든 소스 데이터를 백업할지 또는 실패한 데이터만 백업할지를 나타냅니다.

  • S3 백업 버킷 - Amazon Data Firehose가 데이터를 백업하는 S3 버킷입니다.

  • S3 백업 버킷 접두사 - Amazon Data Firehose가 데이터를 백업하는 접두사입니다.

  • S3 백업 버킷 오류 출력 접두사 - 실패한 데이터는 모두 이 S3 버킷 오류 출력 접두사에 백업됩니다.

  • 백업을 위한 버퍼링 힌트, 압축 및 암호화 - Amazon Data Firehose는 Amazon S3를 사용하여 선택한 대상으로 전송하려는 모든 데이터 또는 실패한 데이터만 백업합니다. Amazon Data Firehose는 들어오는 데이터를 Amazon S3에 전송 (백업) 하기 전에 버퍼링합니다. 버퍼 크기는 MiBs 1—128초이고 버퍼 간격은 60~900초로 선택할 수 있습니다. 먼저 만족되는 조건에 의해 Amazon S3로의 데이터 전송이 트리거됩니다. 데이터 변환을 활성화하면 Amazon Data Firehose에서 변환된 데이터를 수신한 시간부터 Amazon S3로 데이터를 전송할 때까지 버퍼 간격이 적용됩니다. 목적지로의 데이터 전송이 Firehose 스트림에 데이터를 쓰는 것보다 지연되는 경우, Amazon Data Firehose는 이를 따라잡기 위해 버퍼 크기를 동적으로 늘립니다. 이 작업을 통해 모든 데이터가 대상까지 잘 전송될 수 있습니다.

  • S3 압축 - GZIP, Snappy, Zip 또는 하둡과 호환되는 Snappy 데이터 압축을 선택하거나 데이터 압축 없음을 선택하십시오. Amazon Redshift를 대상으로 하는 Firehose 스트림에서는 스냅, 압축 및 하둡 호환 스냅 압축을 사용할 수 없습니다.

  • S3 파일 확장자 형식 (선택 사항) - Amazon S3 대상 버킷으로 전송되는 객체의 파일 확장자 형식을 지정합니다. 이 기능을 활성화하면 지정된 파일 확장자가 데이터 형식 변환 또는 S3 압축 기능 (예: .parquet 또는 .gz) 으로 추가된 기본 파일 확장자보다 우선 적용됩니다. 데이터 형식 변환 또는 S3 압축과 함께 이 기능을 사용할 때 올바른 파일 확장자를 구성했는지 확인하십시오. 파일 확장자는 마침표 (.) 로 시작해야 하며 허용되는 문자 (0-9a-z!) 를 포함할 수 있습니다. -_.*' (). 파일 확장자는 128자를 초과할 수 없습니다.

  • Firehose는 Amazon S3에서 전송된 데이터를 암호화하기 위해 AWS Key Management Service (SSE-KMS) 를 통한 Amazon S3 서버 측 암호화를 지원합니다. 대상 S3 버킷에 지정된 기본 암호화 유형을 사용하거나 소유한 키 목록의 키로 암호화하도록 선택할 수 있습니다. AWS KMS AWS KMS 키를 사용하여 데이터를 암호화하는 경우 기본 AWS 관리 키 (aws/s3) 또는 고객 관리 키를 사용할 수 있습니다. 자세한 내용은 KMS 관리 키를 사용한 서버 측 암호화 ( AWS SSE-KMS) 를 사용한 데이터 보호를 참조하십시오.

고급 설정 구성

다음 섹션에는 Firehose 스트림의 고급 설정에 대한 세부 정보가 포함되어 있습니다.

  • 서버 측 암호화 - Amazon Data Firehose는 Amazon S3에 전송된 데이터를 암호화하기 위해 AWS 키 관리 서비스 (AWS KMS) 를 통한 Amazon S3 서버 측 암호화를 지원합니다. 자세한 내용은 KMS 관리 키 (SSE-KMS) 를 사용한 서버 측 암호화를 사용한 데이터 보호를 참조하십시오. AWS

  • 오류 로깅 - Amazon Data Firehose는 처리 및 전송과 관련된 오류를 기록합니다. 또한 데이터 변환이 활성화되면 Lambda 호출을 기록하고 데이터 전송 오류를 Logs로 전송할 수 있습니다. CloudWatch 자세한 내용은 로그를 사용한 CloudWatch Amazon 데이터 Firehose 모니터링을 참조하십시오.

    중요

    선택 사항이지만 Firehose 스트림 생성 중에 Amazon Data Firehose 오류 로깅을 활성화하는 것이 좋습니다. 이렇게 하면 레코드 처리 또는 전송이 실패할 경우 오류 세부 정보에 액세스할 수 있습니다.

  • 권한 - Amazon 데이터 Firehose는 Firehose 스트림에 필요한 모든 권한에 대해 IAM 역할을 사용합니다. 필요한 권한이 자동으로 할당되는 새 역할을 생성하거나 Amazon Data Firehose용으로 생성된 기존 역할을 선택할 수 있습니다. 이 역할은 Firehose에 S3 버킷, AWS KMS 키 (데이터 암호화가 활성화된 경우), Lambda 함수 (데이터 변환이 활성화된 경우) 를 비롯한 다양한 서비스에 대한 액세스 권한을 부여하는 데 사용됩니다. 콘솔이 자리 표시자를 이용해 역할을 생성할 수 있습니다. 자세한 내용은 IAM이란?을 참조하세요.

  • 태그 - 태그를 추가하여 AWS 리소스를 구성하고, 비용을 추적하고, 액세스를 제어할 수 있습니다.

    CreateDeliveryStream작업에 태그를 지정하면 Amazon Data Firehose는 firehose:TagDeliveryStream 작업에 대한 추가 인증을 수행하여 사용자에게 태그를 생성할 권한이 있는지 확인합니다. 이 권한을 제공하지 않으면 IAM 리소스 태그를 사용하여 새 Firehose 스트림을 만들려는 요청이 실패하고 AccessDeniedException 다음과 같은 오류가 발생합니다.

    AccessDeniedException 
User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.

    다음 예제는 사용자가 Firehose 스트림을 만들고 태그를 적용할 수 있도록 허용하는 정책을 보여줍니다.

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:CreateDeliveryStream",
            "Resource": "*",
            }
        },
        {
            "Effect": "Allow",
            "Action": "firehose:TagDeliveryStream",
            "Resource": "*",
            }
        }
    ]
}

백업 및 고급 설정을 선택한 후 선택 사항을 검토한 다음 Firehose 스트림 만들기를 선택합니다.

새 Firehose 스트림은 생성 중 상태로 전환되기까지 몇 분 정도 걸립니다. Firehose 스트림이 Active 상태가 되면 프로듀서에서 Firehose 스트림으로 데이터를 전송할 수 있습니다.