대상 설정 구성 - Amazon Data Firehose
Amazon S3의 대상 설정 구성Apache Iceberg 테이블의 대상 설정 구성Amazon Redshift의 대상 설정 구성OpenSearch Service의 대상 설정 구성OpenSearch Serverless의 대상 설정 구성HTTP 엔드포인트의 대상 설정 구성Datadog의 대상 설정 구성Honeycomb의 대상 설정 구성Coralogix의 대상 설정 구성Dynatrace의 대상 설정 구성LogicMonitor의 대상 설정 구성Logz.io 대상 설정 구성MongoDB Cloud의 대상 설정 구성새 복제본의 대상 설정 구성Snowflake의 대상 설정 구성Splunk의 대상 설정 구성Splunk Observability Cloud의 대상 설정 구성Sumo Logic의 대상 설정 구성Elastic의 대상 설정 구성

대상 설정 구성

이 섹션에서는 선택한 대상에 따라 Firehose 스트림에 대해 구성해야 하는 설정을 설명합니다.

Amazon S3의 대상 설정 구성

Firehose 스트림의 대상으로 Amazon S3을 사용하려면 다음 설정을 지정해야 합니다.

  • 다음 필드에 값을 입력합니다.

    S3 버킷

    스트리밍 데이터가 전송되어야 하는 고유한 S3 버킷을 선택합니다. 새 S3 버킷을 생성하거나 기존 버킷을 선택할 수 있습니다.

    새 줄 구분 기호

    Amazon S3로 전송되는 객체의 레코드 사이에 새로운 줄 구분 기호를 추가하도록 Firehose 스트림을 구성할 수 있습니다. 이를 위해 Enabled(활성화)를 선택합니다. Amazon S3로 전달되는 객체의 레코드 사이에 새 줄 구분 기호를 추가하지 않으려면 Disabled(비활성화)를 선택합니다. Athena를 사용하여 집계된 레코드가 있는 S3 객체를 쿼리하려는 경우 이 옵션을 활성화합니다.

    동적 파티셔닝

    동적 파티셔닝을 활성화하고 구성하려면 Enabled(활성화)를 선택합니다.

    다중 레코드 분해

    Firehose 스트림의 레코드를 구문 분석하고 유효한 JSON 또는 지정된 새 줄 구분 기호를 기준으로 레코드를 분리하는 프로세스입니다.

    여러 개의 이벤트, 로그 또는 레코드를 단일 PutRecord 및 PutRecordBatch API 호출로 집계하는 경우라도 동적 파티셔닝을 활성화하고 구성할 수 있습니다. 집계된 데이터와 함께 동적 파티셔닝을 활성화하면 Amazon Data Firehose는 레코드를 구문 분석하여 각 API 호출 내에서 여러 개의 유효한 JSON 객체를 찾습니다. Kinesis Data Stream을 소스로 사용하여 Firehose 스트림을 구성할 때 Kinesis Producer Library(KPL)에 내장된 집계를 사용할 수도 있습니다. 데이터 파티션 기능은 데이터가 분해된 후에 실행됩니다. 따라서 각 API 호출의 각 레코드를 서로 다른 Amazon S3 접두사로 전송할 수 있습니다. 또한 Lambda 함수 통합을 활용하여 데이터 파티셔닝 기능 전에 기타 집계 해제나 기타 변환을 수행할 수 있습니다.

    중요

    데이터가 집계된 경우, 먼저 데이터를 분해한 경우에만 동적 파티셔닝을 적용할 수 있습니다. 따라서 집계된 데이터에 대해 동적 파티셔닝을 활성화하려면 Enabled(활성화)를 선택하여 다중 레코드 분해를 활성화해야 합니다.

    Firehose 스트림은 KPL(protobuf) 분해, JSON 또는 구분 기호 분해, Lambda 처리, 데이터 파티셔닝, 데이터 형식 변환, Amazon S3 전송의 순서로 처리 과정을 수행합니다.

    다중 레코드 분해 유형

    다중 레코드 분해를 활성화한 경우 Firehose의 데이터 분해 방법을 지정해야 합니다. 드롭다운 메뉴를 사용하여 JSON 또는 구분 기호를 선택합니다.

    인라인 구문 분석

    이는 Amazon S3에 바인딩된 데이터를 동적으로 파티셔닝하기 위해 지원되는 메커니즘 중 하나입니다. 데이터의 동적 파티셔닝에 인라인 구문 분석을 사용하려면, 파티션 키로 사용할 데이터 레코드 파라미터를 지정하고 지정된 각 파티션 키의 값을 입력해야 합니다. 인라인 구문 분석을 활성화하고 구성하려면 Enabled(활성화)를 선택합니다.

    중요

    소스 레코드를 변환하기 위해 위 단계에서 AWS Lambda 함수를 지정한 경우, 이 함수를 사용하여 S3에 바인딩된 데이터를 동적으로 파티셔닝할 수 있으며 인라인 구문 분석으로 파티션 키를 생성할 수 있습니다. 동적 파티셔닝을 통해 인라인 구문 분석이나 AWS Lambda 함수를 사용하여 파티셔닝 키를 생성할 수 있습니다. 또는 인라인 구문 분석과 AWS Lambda 함수를 동시에 사용하여 파티션 키를 생성할 수 있습니다.

    동적 파티션 키

    Key 및 Value 필드를 사용하여 동적 파티션 키로 사용할 데이터 레코드 파라미터 및 동적 파티션 키 값을 생성하기 위한 jq 쿼리를 지정할 수 있습니다. Firehose에서는 jq 1.6만 지원됩니다. 동적 파티션 키는 최대 50개까지 지정할 수 있습니다. Firehose 스트림의 동적 파티셔닝을 성공적으로 구성하려면 동적 파티션 키 값에 유효한 jq 표현식을 입력해야 합니다.

    S3 버킷 접두사

    동적 파티셔닝을 활성화하고 구성할 때는 Amazon Data Firehose가 파티셔닝된 데이터를 전송할 S3 버킷 접두사를 반드시 지정해야 합니다.

    동적 파티셔닝을 올바르게 구성하려면 S3 버킷 접두사의 수가 지정된 파티션 키의 수와 동일해야 합니다.

    인라인 구문 분석이나 지정된 AWS Lambda 함수를 사용하여 소스 데이터를 분할할 수 있습니다. 소스 데이터에 대한 파티션 키를 생성하도록 AWS Lambda 함수를 지정하는 경우, “PartitionKeyFromLambda:KeyID” 형식을 사용하여 S3 버킷 접두사 값을 수동으로 입력해야 합니다. 인라인 구문 분석을 사용하여 소스 데이터의 파티션 키를 지정하는 경우, “PartitionKeyFromQuery:KeyID” 형식을 사용하여 S3 버킷 미리 보기 값을 수동으로 입력하거나 동적 파티션 키 적용 버튼을 선택하고 동적 파티션 키/값 쌍을 사용하여 S3 버킷 접두사를 자동 생성할 수 있습니다. 인라인 구문 분석 또는 AWS Lambda로 데이터를 분할하는 동안 S3 버킷 접두사에 다음 표현식 양식을 사용할 수도 있습니다: !{namespace:value}. 여기서 네임스페이스는 partitionKeyFromQuery 또는 partitionKeyFromLambda 가 될 수 있습니다.

    S3 버킷 및 S3 오류 출력 접두사 시간대

    Amazon S3 객체의 사용자 지정 접두사에서 날짜 및 시간에 사용할 시간대를 선택합니다. 기본적으로 Firehose는 UTC에 시간 접두사를 추가합니다. 다른 시간대를 사용하려면 S3 접두사에 사용되는 시간대를 변경할 수 있습니다.

    버퍼링 힌트

    Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    S3 압축

    GZIP, Snappy, Zip 또는 Hadoop-Compatible Snappy 데이터 압축 또는 데이터 압축 없음을 선택합니다. Amazon Redshift를 대상으로 하는 Firehose 스트림에는 Snappy, Zip, Hadoop 호환 Snappy 압축을 사용할 수 없습니다.

    S3 파일 확장 형식(선택 사항)

    Amazon S3 대상 버킷으로 전달되는 객체의 파일 확장 형식을 지정합니다. 이 기능을 활성화하면 지정된 파일 확장자가 데이터 형식 변환 또는 S3 압축 기능에 추가된 기본 파일 확장자(예: .parquet 또는 .gz)를 재정의합니다. 이 기능을 데이터 형식 변환 또는 S3 압축과 함께 사용할 때 올바른 파일 확장자를 구성했는지 확인하세요. 파일 확장자는 마침표(.)로 시작해야 하며 문자 0~9a~z!-_.*‘()를 포함할 수 있습니다. 파일 확장자는 128자를 초과할 수 없습니다.

    S3 암호화

    Firehose는 Amazon S3에서 전송된 데이터를 암호화할 수 있도록 AWS Key Management Service(SSE-KMS)를 통한 Amazon S3 서버 측 암호화를 지원합니다. 대상 S3 버킷에 지정된 기본 암호화 유형을 사용하거나 소유한 AWS KMS 키 목록의 키를 사용하여 암호화하도록 선택할 수 있습니다. AWS KMS 키로 데이터를 암호화하는 경우 기본 AWS 관리형 키(aws/s3)나 고객 관리형 키를 사용할 수 있습니다. 자세한 내용은 AWS KMS-Managed Keys(SSE-KMS)를 사용하는 서버 측 암호화로 데이터 보호를 참조하세요.

Apache Iceberg 테이블의 대상 설정 구성

Apache Iceberg 테이블은 미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(아일랜드), 아시아 태평양(도쿄), 캐나다(중부) 및 아시아 태평양(시드니) AWS 리전에서 사용할 수 있습니다.

대상인 Apache Iceberg 테이블에 대한 자세한 내용은 Amazon Data Firehose를 사용하여 Apache Iceberg 테이블에 데이터 전송을 참조하세요.

Amazon Redshift의 대상 설정 구성

이 섹션에서는 Amazon Redshift를 Firehose 스트림 대상으로 사용하기 위한 설정을 설명합니다.

Amazon Redshift 프로비저닝된 클러스터 및 Amazon Redshift Serverless 작업 그룹 중 어느 것을 사용하는지 여부에 따라 다음 절차 중 하나를 선택합니다.

Amazon Redshift 프로비저닝된 클러스터

이 섹션에서는 Amazon Redshift 프로비저닝된 클러스터를 Firehose 스트림 대상으로 사용하기 위한 설정을 설명합니다.

  • 다음 필드에 값을 입력합니다.

    클러스터

    S3 버킷 데이터가 복사되는 Amazon Redshift 클러스터. Amazon Redshift 클러스터에 공개 액세스할 수 있도록 구성하고 Amazon Data Firehose IP 주소 차단을 해제합니다. 자세한 내용은 Firehose에 Amazon Redshift 대상에 대한 액세스 권한 부여 섹션을 참조하세요.

    인증

    사용자 이름/암호를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Amazon Redshift 클러스터에 액세스할 수 있습니다.

    • 사용자 이름

      Amazon Redshift 클러스터에 대한 액세스 권한을 가진 Amazon Redshift 사용자를 특정합니다. 이 사용자에게는 S3 버킷에서 Amazon Redshift 클러스터로 데이터를 복사할 수 있는 Amazon Redshift INSERT 권한이 있어야 합니다.

    • 암호

      클러스터에 액세스할 권한이 있는 사용자의 암호를 특정합니다.

    • Secret

      Amazon Redshift 클러스터의 보안 인증 정보가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않는 경우 Amazon Redshift 보안 인증에 대해 AWS Secrets Manager에서 보안 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    데이터베이스

    데이터가 복사되는 Amazon Redshift 데이터베이스.

    표

    데이터가 복사되는 Amazon Redshift 테이블.

    열

    (선택 사항) 데이터가 복사되는 테이블의 특정 열입니다. Amazon S3 객체에 정의된 열의 수가 Amazon Redshift 테이블 내 열의 수보다 작은 경우 이 옵션을 사용합니다.

    중간 S3 대상

    Firehose는 먼저 S3 버킷으로 데이터를 전송한 다음 Amazon Redshift COPY 명령을 실행하여 Amazon Redshift 클러스터로 데이터를 로드합니다. 스트리밍 데이터가 전송되어야 하는 고유한 S3 버킷을 지정합니다. 새 S3 버킷을 생성하거나 기존에 가지고 있는 버킷을 선택합니다.

    Firehose는 Amazon Redshift 클러스터에 S3 버킷의 데이터를 로드한 후 삭제하지 않습니다. 수명 주기 구성을 이용해 S3 버킷에서 데이터를 관리할 수 있습니다. 자세한 내용은 Amazon Simple Storage Service 사용 설명서의 객체 수명 주기 관리를 참조하세요.

    중간 S3 접두사

    (옵션) Amazon S3 객체에 기본 접두사를 사용하려면 이 옵션을 비워 두세요. Firehose는 전송된 Amazon S3 객체에 대해 “YYYY/MM/dd/HH” UTC 시간 형식의 접두사를 자동으로 사용합니다. 이 접두사 시작 부분에 추가할 수 있습니다. 자세한 내용은 Amazon S3 객체 이름 형식 구성 섹션을 참조하세요.

    COPY 옵션

    Amazon Redshift COPY 명령에서 지정할 수 있는 파라미터. 이 파라미터는 구성에 필요할 수 있습니다. 예를 들면 Amazon S3 데이터 압축이 활성화된 경우 "GZIP"가 필요합니다. S3 버킷이 Amazon Redshift 클러스터와 동일한 AWS 리전에 있지 않은 경우 "REGION"이 필요합니다. 자세한 내용을 알아보려면 Amazon Redshift 데이터베이스 개발자 안내서의 COPY를 참조하세요.

    COPY 명령

    Amazon Redshift COPY 명령. 자세한 내용을 알아보려면 Amazon Redshift 데이터베이스 개발자 안내서의 COPY를 참조하세요.

    재시도 기간

    Amazon Redshift 클러스터로의 데이터 COPY가 에 장애가 발생할 경우 Firehose가 재시도하는 데 걸리는 시간 (0~7,200초) 입니다. Firehose는 재시도 기간이 만료될 때까지 5분마다 재시도합니다. 재시도 기간을 0초로 설정한 경우, COPY 명령 실패 후 Firehose는 재시도를 수행하지 않습니다.

    버퍼링 힌트

    Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    S3 압축

    GZIP, Snappy, Zip 또는 Hadoop-Compatible Snappy 데이터 압축 또는 데이터 압축 없음을 선택합니다. Amazon Redshift를 대상으로 하는 Firehose 스트림에는 Snappy, Zip, Hadoop 호환 Snappy 압축을 사용할 수 없습니다.

    S3 파일 확장 형식(선택 사항)

    S3 파일 확장자 형식(선택 사항) - Amazon S3 대상 버킷에 전달되는 객체에 대한 파일 확장자 형식을 지정합니다. 이 기능을 활성화하면 지정된 파일 확장자가 데이터 형식 변환 또는 S3 압축 기능에 추가된 기본 파일 확장자(예: .parquet 또는 .gz)를 재정의합니다. 이 기능을 데이터 형식 변환 또는 S3 압축과 함께 사용할 때 올바른 파일 확장자를 구성했는지 확인하세요. 파일 확장자는 마침표(.)로 시작해야 하며 문자 0~9a~z!-_.*‘()를 포함할 수 있습니다. 파일 확장자는 128자를 초과할 수 없습니다.

    S3 암호화

    Firehose는 Amazon S3에서 전송된 데이터를 암호화할 수 있도록 AWS Key Management Service(SSE-KMS)를 통한 Amazon S3 서버 측 암호화를 지원합니다. 대상 S3 버킷에 지정된 기본 암호화 유형을 사용하거나 소유한 AWS KMS 키 목록의 키를 사용하여 암호화하도록 선택할 수 있습니다. AWS KMS 키로 데이터를 암호화하는 경우 기본 AWS 관리형 키(aws/s3)나 고객 관리형 키를 사용할 수 있습니다. 자세한 내용은 AWS KMS-Managed Keys(SSE-KMS)를 사용하는 서버 측 암호화로 데이터 보호를 참조하세요.

Amazon Redshift Serverless 작업 그룹에 대한 대상 설정 구성

이 섹션에서는 Amazon Redshift Serverless 작업 그룹을 Firehose 스트림 대상으로 사용하기 위한 설정을 설명합니다.

  • 다음 필드에 값을 입력합니다.

    작업 그룹 이름

    S3 버킷 데이터가 복사되는 Amazon Redshift Serverless 작업 그룹. Amazon Redshift Serverless 작업 그룹에 공개 액세스할 수 있도록 구성하고 Firehose IP 주소 차단을 해제합니다. 자세한 내용은 Amazon Redshift Serverless에 연결의 공개 액세스가 가능한 Amazon Redshift Serverless 인스턴스에 연결 섹션 및 Firehose에 Amazon Redshift 대상에 대한 액세스 권한 부여 를 참조하세요.

    인증

    사용자 이름/암호를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Amazon Redshift Serverless 작업 그룹에 액세스할 수 있습니다.

    • 사용자 이름

      Amazon Redshift Serverless 작업 그룹에 대한 액세스 권한을 가진 Amazon Redshift 사용자를 특정합니다. 이 사용자에게는 S3 버킷에서 Amazon Redshift Serverless 작업 그룹으로 데이터를 복사할 수 있는 Amazon Redshift INSERT 권한이 있어야 합니다.

    • 암호

      Amazon Redshift Serverless 작업 그룹에 액세스할 권한이 있는 사용자의 비밀번호를 특정합니다.

    • Secret

      Amazon Redshift Serverless 작업 그룹의 보안 인증 정보가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않는 경우 Amazon Redshift 보안 인증에 대해 AWS Secrets Manager에서 보안 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    데이터베이스

    데이터가 복사되는 Amazon Redshift 데이터베이스.

    표

    데이터가 복사되는 Amazon Redshift 테이블.

    열

    (선택 사항) 데이터가 복사되는 테이블의 특정 열입니다. Amazon S3 객체에 정의된 열의 수가 Amazon Redshift 테이블 내 열의 수보다 작은 경우 이 옵션을 사용합니다.

    중간 S3 대상

    Amazon Data Firehose는 먼저 S3 버킷으로 데이터를 전송한 다음 Amazon Redshift COPY 명령을 실행하여 Amazon Redshift Serverless 작업 그룹으로 데이터를 로드합니다. 스트리밍 데이터가 전송되어야 하는 고유한 S3 버킷을 지정합니다. 새 S3 버킷을 생성하거나 기존에 가지고 있는 버킷을 선택합니다.

    Firehose는 Amazon Redshift Serverless 작업 그룹에 S3 버킷의 데이터를 로드한 후 삭제하지 않습니다. 수명 주기 구성을 이용해 S3 버킷에서 데이터를 관리할 수 있습니다. 자세한 내용은 Amazon Simple Storage Service 사용 설명서의 객체 수명 주기 관리를 참조하세요.

    중간 S3 접두사

    (옵션) Amazon S3 객체에 기본 접두사를 사용하려면 이 옵션을 비워 두세요. Firehose는 전송된 Amazon S3 객체에 대해 “YYYY/MM/dd/HH” UTC 시간 형식의 접두사를 자동으로 사용합니다. 이 접두사 시작 부분에 추가할 수 있습니다. 자세한 내용은 Amazon S3 객체 이름 형식 구성 섹션을 참조하세요.

    COPY 옵션

    Amazon Redshift COPY 명령에서 지정할 수 있는 파라미터. 이 파라미터는 구성에 필요할 수 있습니다. 예를 들면 Amazon S3 데이터 압축이 활성화된 경우 "GZIP"가 필요합니다. S3 버킷이 Amazon Redshift Serverless작업 그룹과 동일한 AWS 리전에 있지 않은 경우 "REGION"이 필요합니다. 자세한 내용을 알아보려면 Amazon Redshift 데이터베이스 개발자 안내서의 COPY를 참조하세요.

    COPY 명령

    Amazon Redshift COPY 명령. 자세한 내용을 알아보려면 Amazon Redshift 데이터베이스 개발자 안내서의 COPY를 참조하세요.

    재시도 기간

    Amazon Redshift Serverless 작업 그룹에 대한 데이터 COPY가 실패할 경우 Firehose가 재시도하는 데 걸리는 시간(0~7200초). Firehose는 재시도 기간이 만료될 때까지 5분마다 재시도합니다. 재시도 기간을 0초로 설정한 경우, COPY 명령 실패 후 Firehose는 재시도를 수행하지 않습니다.

    버퍼링 힌트

    Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    S3 압축

    GZIP, Snappy, Zip 또는 Hadoop-Compatible Snappy 데이터 압축 또는 데이터 압축 없음을 선택합니다. Amazon Redshift를 대상으로 하는 Firehose 스트림에는 Snappy, Zip, Hadoop 호환 Snappy 압축을 사용할 수 없습니다.

    S3 파일 확장 형식(선택 사항)

    S3 파일 확장자 형식(선택 사항) - Amazon S3 대상 버킷에 전달되는 객체에 대한 파일 확장자 형식을 지정합니다. 이 기능을 활성화하면 지정된 파일 확장자가 데이터 형식 변환 또는 S3 압축 기능에 추가된 기본 파일 확장자(예: .parquet 또는 .gz)를 재정의합니다. 이 기능을 데이터 형식 변환 또는 S3 압축과 함께 사용할 때 올바른 파일 확장자를 구성했는지 확인하세요. 파일 확장자는 마침표(.)로 시작해야 하며 문자 0~9a~z!-_.*‘()를 포함할 수 있습니다. 파일 확장자는 128자를 초과할 수 없습니다.

    S3 암호화

    Firehose는 Amazon S3에서 전송된 데이터를 암호화할 수 있도록 AWS Key Management Service(SSE-KMS)를 통한 Amazon S3 서버 측 암호화를 지원합니다. 대상 S3 버킷에 지정된 기본 암호화 유형을 사용하거나 소유한 AWS KMS 키 목록의 키를 사용하여 암호화하도록 선택할 수 있습니다. AWS KMS 키로 데이터를 암호화하는 경우 기본 AWS 관리형 키(aws/s3)나 고객 관리형 키를 사용할 수 있습니다. 자세한 내용은 AWS KMS-Managed Keys(SSE-KMS)를 사용하는 서버 측 암호화로 데이터 보호를 참조하세요.

OpenSearch Service의 대상 설정 구성

이 섹션에서는 OpenSearch Service를 대상으로 사용하는 옵션에 대해 설명합니다.

  • 다음 필드에 값을 입력합니다.

    OpenSearch Service 도메인

    데이터가 전송되는 OpenSearch Service 도메인.

    인덱스

    OpenSearch Service 클러스터에 데이터를 인덱싱할 때 사용되는 OpenSearch Service 인덱스 이름.

    인덱스 로테이션

    OpenSearch Service 인덱스의 로테이션 여부와 주기를 선택합니다. 인덱스 로테이션이 활성화되면 Amazon Data Firehose는 지정된 인덱스 이름에 해당 타임스탬프를 추가하여 교체합니다. 자세한 내용은 OpenSearch Service 인덱스 교체 구성 섹션을 참조하세요.

    유형

    OpenSearch Service 클러스터에 데이터를 인덱싱할 때 사용되는 OpenSearch Service 유형의 이름. Elasticsearch 7.x 및 OpenSearch 1.x의 경우 인덱스별 유형은 하나뿐입니다. 다른 유형을 가진 기존 인덱스에 새 유형을 지정하면 런타임 동안 Firehose가 오류를 반환합니다.

    Elasticsearch 7.x에서는 이 필드는 비워둡니다.

    재시도 기간

    OpenSearch에 대한 인덱스 요청이 실패한 경우 Firehose가 재시도하는 데 걸리는 시간 이 경우 Firehose는 재시도 기간이 만료될 때까지 5분마다 재시도합니다. 재시도 기간 동안 0~7,200초 사이의 값을 설정할 수 있습니다.

    재시도 기간이 만료되면 Firehose는 구성된 S3 오류 버킷인 DLQ(Dead Letter Queue)에 데이터를 전송합니다. DLQ로 전송되는 데이터의 경우 구성된 S3 오류 버킷에서 OpenSearch 대상으로 데이터를 다시 구동해야 합니다.

    OpenSearch 클러스터의 가동 중지 또는 유지 관리로 인해 Firehose 스트림이 DLQ로 데이터를 전송하지 못하도록 하려면 재시도 기간을 초 단위로 더 높은 값으로 구성할 수 있습니다. AWS 지원 에 문의하여 재시도 지속 시간 값을 7,200초 이상으로 늘릴 수 있습니다.

    DocumentID 유형

    문서 ID를 설정하는 방법을 표시합니다. 지원되는 방법은 Firehose가 생성한 문서 ID 및 OpenSearch Service가 생성한 문서 ID입니다. 문서 ID 값이 설정되지 않은 경우 Firehose에서 생성된 문서 ID가 기본 옵션입니다. OpenSearch Service에서 생성된 문서 ID는 로그 분석 및 관찰성을 포함하여 쓰기가 많은 작업을 지원하고 OpenSearch Service 도메인에서 CPU 리소스를 적게 사용하여 성능이 향상되므로 권장되는 옵션입니다.

    대상 VPC 연결

    OpenSearch Service 도메인이 프라이빗 VPC에 있는 경우 이 섹션을 사용하여 해당 VPC를 지정합니다. 또한 Amazon Data Firehose가 OpenSearch Service 도메인으로 데이터를 전송할 때 사용할 서브넷 및 하위 그룹도 지정합니다. OpenSearch Service 도메인에서 사용하는 것과 동일한 보안 그룹을 사용할 수 있습니다. 다른 보안 그룹을 지정하는 경우 해당 보안 그룹이 OpenSearch Service 도메인의 보안 그룹에 대한 아웃바운드 HTTPS 트래픽을 허용하는지 확인합니다. 또한 OpenSearch Service 도메인의 보안 그룹이 Firehose 스트림을 구성할 때 지정한 보안 그룹의 HTTPS 트래픽을 허용해야 합니다. Firehose 스트림과 OpenSearch Service 도메인 모두에 동일한 보안 그룹을 사용하는 경우 보안 그룹의 인바운드 규칙이 HTTPS 트래픽을 허용하는지 확인합니다. 보안 그룹 규칙에 관한 자세한 정보는 Amazon VPC 설명서의 보안 그룹 규칙을 참조하세요.

    중요

    프라이빗 VPC의 대상으로 데이터를 전송하기 위해 서브넷을 지정할 때는 선택한 서브넷에 사용 가능한 IP 주소가 충분히 있는지 확인합니다. 지정된 서브넷에 사용 가능한 IP 주소가 없는 경우 Firehose는 프라이빗 VPC에서 데이터 전송을 위한 ENI를 생성하거나 추가할 수 없으며 전송이 저하되거나 실패합니다.

    버퍼 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

OpenSearch Serverless의 대상 설정 구성

이 섹션에서는 OpenSearch Serviceless를 대상으로 사용하는 옵션에 대해 설명합니다.

  • 다음 필드에 값을 입력합니다.

    OpenSearch Serverless 컬렉션

    사용자의 데이터가 전달되는 OpenSearch Serverless 인덱스 그룹의 엔드포인트.

    인덱스

    OpenSearch Serverless 컬렉션에 데이터를 인덱싱할 때 사용되는 OpenSearch Serviceless 인덱스 이름.

    대상 VPC 연결

    OpenSearch Serverless 컬렉션이 프라이빗 VPC에 있는 경우 이 섹션을 사용하여 해당 VPC를 지정합니다. 또한 Amazon Data Firehose가 OpenSearch Serverless 컬렉션으로 데이터를 전송할 때 사용할 서브넷 및 하위 그룹도 지정합니다.

    중요

    프라이빗 VPC의 대상으로 데이터를 전송하기 위해 서브넷을 지정할 때는 선택한 서브넷에 사용 가능한 IP 주소가 충분히 있는지 확인합니다. 지정된 서브넷에 사용 가능한 IP 주소가 없는 경우 Firehose는 프라이빗 VPC에서 데이터 전송을 위한 ENI를 생성하거나 추가할 수 없으며 전송이 저하되거나 실패합니다.

    재시도 기간

    OpenSearch Serverless에 대한 인덱스 요청이 실패한 경우 Firehose가 재시도하는 데 걸리는 시간 이 경우 Firehose는 재시도 기간이 만료될 때까지 5분마다 재시도합니다. 재시도 기간 동안 0~7,200초 사이의 값을 설정할 수 있습니다.

    재시도 기간이 만료되면 Firehose는 구성된 S3 오류 버킷인 DLQ(Dead Letter Queue)에 데이터를 전송합니다. DLQ로 전송되는 데이터의 경우 구성된 S3 오류 버킷에서 OpenSearch Serverless 대상으로 데이터를 다시 구동해야 합니다.

    OpenSearch Serverless 클러스터의 가동 중지 또는 유지 관리로 인해 Firehose 스트림이 DLQ로 데이터를 전송하지 못하도록 하려면 재시도 기간을 초 단위로 더 높은 값으로 구성할 수 있습니다. AWS 지원 에 문의하여 재시도 지속 시간 값을 7,200초 이상으로 늘릴 수 있습니다.

    버퍼 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

HTTP 엔드포인트의 대상 설정 구성

이 섹션에서는 HTTP 엔드포인트를 대상으로 사용하는 옵션에 대해 설명합니다.

중요

HTTP 엔드포인트를 대상으로 선택한 경우 HTTP 엔드포인트 전송 요청 및 응답 사양에 대한 이해의 지침을 검토하고 따르세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 이름 - 옵션

    HTTP 엔드포인트에 친숙한 이름을 지정합니다. 예: My HTTP Endpoint Destination.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL은 다음과 같은 형식으로 지정합니다: https://xyz.httpendpoint.com. URL은 HTTPS URL이어야 합니다.

    인증

    액세스 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 HTTP 엔드포인트에 액세스할 수 있습니다.

    • (선택 사항) 액세스 키

      필요한 경우 엔드포인트 소유자에게 문의하여 Firehose에서 해당 엔드포인트로 데이터를 전송할 수 있도록 액세스 키를 받으세요(필요한 경우).

    • Secret

      HTTP 엔드포인트의 액세스 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않는 경우 액세스 키에 대해 AWS Secrets Manager에서 보안 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 선택된 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    중요

    HTTP 엔드포인트 대상의 경우, CloudWatch Logs에 대상 엔드포인트로부터 413개의 응답 코드가 표시되는 경우 Firehose 스트림의 버퍼링 힌트 크기를 줄이고 다시 시도하세요.

Datadog의 대상 설정 구성

이 섹션에서는 Datadog를 대상으로 사용하는 옵션에 대해 설명합니다. Datadog에 대한 자세한 내용은 https://docs.datadoghq.com/integrations/amazon_web_services/를 참조하세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    드롭다운 메뉴의 다음 옵션 중 하나에서 데이터를 전송할 위치를 선택합니다.

    • Datadog 로그 - US1

    • Datadog 로그 - US3

    • Datadog 로그 - US5

    • Datadog 로그 - AP1

    • Datadog 로그 - EU

    • Datadog 로그 - GOV

    • Datadog 지표 - US

    • Datadog 지표 - US5

    • Datadog 지표 - AP1

    • Datadog 지표 - EU

    • Datadog 구성 - US1

    • Datadog 구성 - US3

    • Datadog 구성 - US5

    • Datadog 구성 - AP1

    • Datadog 구성 - EU

    • Datadog 구성 - US GOV

    인증

    API 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Datadog에 액세스할 수 있습니다.

    • API 키

      Datadog에 문의하여 Firehose에서 이 엔드포인트로 데이터를 전송하는 데 필요한 API 키를 받으세요.

    • Secret

      Datadog용 API 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 선택된 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Honeycomb의 대상 설정 구성

이 섹션에서는 Honeycomb을 대상으로 사용하는 옵션에 대해 설명합니다. Honeycomb에 대한 자세한 내용은 https://docs.honeycomb.io/getting-data-in/metrics/aws-cloudwatch-metrics/를 참조하세요.

  • 다음 필드에 값을 입력하세요.

    Honeycomb Kinesis 엔드포인트

    HTTP 엔드포인트의 URL을 다음 형식으로 지정하세요: https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    인증

    API 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Honeycomb에 액세스할 수 있습니다.

    • API 키

      Honeycomb에 문의하여 Firehose에서 이 엔드포인트로 데이터를 전송하는 데 필요한 API 키를 받으세요.

    • Secret

      Honeycomb용 API 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 사용자 요청의 콘텐츠 인코딩을 활성화하려면 GZIP을 선택합니다. 이 옵션은 Honeycomb 대상인 경우에 권장됩니다.

    재시도 기간

    Amazon Data Firehose가 선택된 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Coralogix의 대상 설정 구성

이 섹션에서는 Coralogix를 대상으로 사용하는 옵션에 대해 설명합니다. Coralogix에 대한 자세한 내용은 Coralogix 시작하기를 참조하세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    드롭다운 메뉴의 다음 옵션에서 HTTP 엔드포인트 URL을 선택합니다.

    • Coralogix - US

    • Coralogix - 싱가포르

    • Coralogix - 아일랜드

    • 코Coralogix - 인도

    • Coralogix - 스톡홀름

    인증

    프라이빗 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Coralogix에 액세스할 수 있습니다.

    • 프라이빗 키

      Coralogix에 문의하여 Firehose에서 이 엔드포인트로 데이터를 전송하는 데 필요한 프라이빗 키를 받으세요.

    • Secret

      Coralogix의 프라이빗 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 사용자 요청의 콘텐츠 인코딩을 활성화하려면 GZIP을 선택합니다. 이 옵션은 Coralogix 대상인 경우에 권장됩니다.

    재시도 기간

    Amazon Data Firehose가 선택된 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    • applicationName: Data Firehose를 실행하는 환경

    • subsystemName: Data Firehose 통합의 이름

    • computerName: 사용 중인 Firehose 스트림의 이름

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상에 대한 권장 버퍼 크기는 서비스 제공업체에 따라 다릅니다.

Dynatrace의 대상 설정 구성

이 섹션에서는 Dynatrace를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/을 참조하세요.

  • Dynatrace를 Firehose 스트림의 대상으로 사용할 옵션을 선택합니다.

    수집 유형

    추가 분석 및 처리를 위해 Dynatrace에서 지표 또는 로그(기본값) 중 어떤 것을 제공할지를 선택합니다.

    HTTP 엔드포인트 URL

    드롭다운 메뉴에서 HTTP 엔드포인트 URL(Dynatrace US, Dynatrace EU 또는 Dynatrace 글로벌)을 선택합니다.

    인증

    API 토큰을 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Dynatrace에 액세스하도록 선택할 수 있습니다.

    • API 토큰

      Firehose에서 이 엔드포인트로 데이터 전송을 활성화하는 데 필요한 Dynatrace API 토큰을 생성합니다. 자세한 내용은 Dynatrace API - 토큰 및 인증을 참조하세요.

    • Secret

      Dynatrace용 API 토큰이 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    API URL

    Dynatrace 환경의 API URL을 입력하세요.

    콘텐츠 인코딩

    콘텐츠 인코딩을 활성화하여 요청 본문을 압축할지 여부를 선택합니다. Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 활성화되면 압축된 콘텐츠가 GZIP 형식으로 표시됩니다.

    재시도 기간

    Firehose가 선택된 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Firehose는 재시도 지속시간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다 최초 시도이든 재시도 이후이든 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 지속시간이 만료된 경우에도 Firehose는 확인을 수신하거나 확인 시간 제한 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과하는 경우 Firehose는 재시도 카운터에 시간이 남아 있는지 알아봅니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 버퍼 힌트에는 스트림의 버퍼 크기와 간격이 포함됩니다. 대상에 대한 권장 버퍼 크기는 서비스 제공업체에 따라 다릅니다.

LogicMonitor의 대상 설정 구성

이 섹션에서는 LogicMonitor를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.logicmonitor.com을 참조하세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL은 다음과 같은 형식으로 지정합니다.

    https://ACCOUNT.logicmonitor.com
    인증

    API 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 LogicMonitor 에 액세스할 수 있습니다.

    • API 키

      LogicMonitor에 문의하여 Firehose에서 이 엔드포인트로 데이터를 전송하는 데 필요한 API 키를 받으세요.

    • Secret

      LogicMonitor용 API 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 선택된 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Logz.io 대상 설정 구성

이 섹션에서는 Logz.io를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://logz.io/를 참조하세요.

참고

유럽(밀라노) 리전에서는 Logz.io가 Amazon Data Firehose 대상으로 지원되지 않습니다.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL은 다음과 같은 형식으로 지정합니다. URL은 HTTPS URL이어야 합니다.

    https://listener-aws-metrics-stream-<region>.logz.io/

    예

    https://listener-aws-metrics-stream-us.logz.io/
    인증

    발송 토큰을 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Logz.io 액세스할 수 있습니다.

    • 배송 토큰

      Firehose에서 이 엔드포인트로 데이터 전송을 활성화하는 데 필요한 배송 토큰을 얻으려면 Logz.io에 문의하세요.

    • Secret

      Logz.io 발송 토큰이 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    재시도 기간

    Amazon Data Firehose가 Logz.io로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

MongoDB Cloud의 대상 설정 구성

이 섹션에서는 MongoDB Cloud를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.mongodb.com을 참조하세요.

  • 다음 필드에 값을 입력하세요.

    MongoDB Cloud Realm 웹후크 URL

    HTTP 엔드포인트의 URL은 다음과 같은 형식으로 지정합니다.

     https://webhooks.mongodb-realm.com

    URL은 HTTPS URL이어야 합니다.

    인증

    API 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 MongoDB Cloud에 액세스할 수 있습니다.

    • API 키

      MongoDB Cloud에 문의하여 Firehose에서 이 엔드포인트로 데이터를 전송하는 데 필요한 API 키를 받으세요.

    • Secret

      MongoDB Cloud용 API 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 선택된 타사 공급자로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

새 복제본의 대상 설정 구성

이 섹션에서는 New Relic을 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://newrelic.com을 참조하세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    드롭다운 목록의 다음 옵션에서 HTTP 엔드포인트 URL을 선택합니다.

    • New Relic 로그 - US

    • New Relic 지표 - US

    • New Relic 지표 - EU

    인증

    API 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 New Relic에 액세스할 수 있습니다.

    • API 키

      New Relic One Account 설정에서 40자 16진수 문자열의 라이선스 키를 입력합니다. Firehose에서 이 엔드포인트로 데이터를 전송하려면 이 API 키가 필요합니다.

    • Secret

      New Relic용 API 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 New Relic HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Snowflake의 대상 설정 구성

이 섹션에서는 Snowflake를 대상으로 사용하는 옵션에 대해 설명합니다.

참고

Snowflake와 Firehose 통합은 미국 동부(버지니아 북부), 미국 서부(오리건), 유럽(아일랜드), 미국 동부(오하이오), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 아시아 태평양(싱가포르), 아시아 태평양(서울), 아시아 태평양(시드니), 아시아 태평양(뭄바이), 유럽(런던), 남아메리카(상파울루), 캐나다(중부), 유럽(파리), 아시아 태평양(오사카), 유럽(스톡홀름), 아시아 태평양(자카르타) AWS 리전에서 사용 가능합니다.

연결 설정

  • 다음 필드에 값을 입력하세요.

    Snowflake 계정 URL

    Snowflake 계정 URL을 지정합니다. 예: xy12345.us-east-1.aws.snowflakecomputing.com. 계정 URL을 확인하는 방법은 Snowflake 설명서를 참조하세요. 포트 번호를 지정해서는 안 되지만 프로토콜(https://)은 선택 사항입니다.

    인증

    사용자 로그인, 프라이빗 키 및 암호문구를 수동으로 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Snowflake에 액세스할 수 있습니다.

    • 사용자 로그인

      데이터 로드에 사용할 Snowflake 사용자를 지정합니다. 사용자가 Snowflake 테이블에 데이터를 삽입할 수 있는 액세스 권한이 있는지 확인합니다.

    • 프라이빗 키

      Snowflake를 사용하여 인증할 프라이빗 키를 PKCS8 형식으로 지정합니다. 또한 프라이빗 키의 일부로 PEM 헤더와 바닥글을 포함하지 마세요. 키가 여러 줄로 분할된 경우 줄 바꿈을 제거합니다. 다음은 프라이빗 키의 예입니다.

      -----BEGIN PRIVATE KEY-----
KEY_CONTENT
-----END PRIVATE KEY-----

      KEY_CONTENT에서 공백을 제거하고 Firehose에 제공합니다. 헤더/바닥글 또는 새 줄 문자는 필요하지 않습니다.

    • 암호

      암호화된 프라이빗 키를 복호화할 암호를 지정합니다. 프라이빗 키가 암호화되지 않은 경우 이 필드를 비워 둘 수 있습니다. 자세한 내용은 키 페어 인증 및 키 교체 사용을 참조하세요.

    • Secret

      Snowflake의 보안 인증 정보가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    역할 구성

    기본 Snowflake 역할 사용 - 이 옵션을 선택하면 Firehose는 Snowflake에 역할을 전달하지 않습니다. 기본 역할은 데이터를 로드하는 것으로 간주됩니다. 기본 역할에 Snowflake 테이블에 데이터를 삽입할 수 있는 권한이 있는지 확인하세요.

    사용자 지정 Snowflake 역할 사용 - Snowflake 테이블에 데이터를 로드할 때 Firehose가 수임할 기본이 아닌 Snowflake 역할을 입력합니다.

    Snowflake 연결성

    옵션은 프라이빗 또는 퍼블릭입니다.

    프라이빗 VPCE ID(선택 사항)

    Firehose가 Snowflake와 비공개로 연결할 수 있는 VPCE ID입니다. ID 형식은 com.amazonaws.vpce.[region].vpce-svc-[id]입니다. 자세한 내용은 AWS PrivateLink & Snowflake을 참조하세요.

    참고

    Snowflake 클러스터가 프라이빗 링크가 활성화된 경우 AwsVpceIds 기반 네트워크 정책을 사용하여 Amazon Data Firehose 데이터를 허용합니다. Firehose는 Snowflake 계정에서 IP 기반 네트워크 정책을 구성할 필요가 없습니다. IP 기반 네트워크 정책이 활성화되면 Firehose 연결이 중단될 수 있습니다. IP 기반 정책이 필요한 엣지 사례가 있는 경우 지원 티켓을 제출하여 Firehose 팀에 문의하세요. 사용할 수 있는 VPCE IDs 목록은 VPC에서 Snowflake에 액세스을 참조하세요.

데이터베이스 구성

  • Firehose 스트림의 대상으로 Snowflake를 사용하려면 다음 설정을 지정해야 합니다.

    • Snowflake 데이터베이스 - Snowflake의 모든 데이터는 데이터베이스에 유지됩니다.

    • Snowflake 스키마 - 각 데이터베이스는 테이블 및 뷰와 같은 데이터베이스 객체의 논리적 그룹화인 하나 이상의 스키마로 구성됩니다.

    • Snowflake 테이블 - Snowflake의 모든 데이터는 데이터베이스 테이블에 저장되며, 열 및 행 모음으로 논리적으로 구성됩니다.

Snowflake 테이블의 데이터 로드 옵션

  • JSON 키를 열 이름으로 사용

  • VARIANT 열 사용

    • 콘텐츠 열 이름 - 원시 데이터를 로드해야 하는 테이블의 열 이름을 지정합니다.

    • 메타데이터 열 이름(선택 사항) - 메타데이터 정보를 로드해야 하는 테이블에서 열 이름을 지정합니다.

재시도 기간

Snowflake 서비스 문제로 인해 채널 열기 또는 Snowflake로의 전송에 실패하는 경우 Firehose가 재시도하는 시간(0~7,200초). 재시도 기간이 끝날 때까지 지수 백오프를 사용하여 Firehose 재시도합니다. 재시도 기간을 0(영)초로 설정하면 Firehose는 Snowflake 실패 시 재시도하지 않고 데이터를 Amazon S3 오류 버킷으로 라우팅합니다.

버퍼 힌트

Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다. 자세한 내용은 버퍼링 힌트 구성 섹션을 참조하세요.

Splunk의 대상 설정 구성

이 섹션에서는 Splunk를 대상으로 사용하는 옵션에 대해 설명합니다.

참고

Firehose는 Classic Load Balancer 또는 Application Load Balancer 로 구성된 Splunk 클러스터에 데이터를 전송합니다.

  • 다음 필드에 값을 입력하세요.

    Splunk 클러스터 엔드포인트

    엔드포인트를 확인하려면 Splunk 설명서에서 데이터를 Splunk 플랫폼으로 전송하도록 Amazon Data Firehose 구성을 참조하세요.

    Splunk 엔드포인트 유형

    대부분의 경우 Raw endpoint를 선택합니다. 이벤트 유형별로 다른 인덱스로 데이터를 보내기 위해 AWS Lambda를 사용하여 데이터를 전처리한 경우 Event endpoint를 선택합니다. 사용할 엔드포인트에 대한 세부 정보는 Splunk 설명서에서 데이터를 Splunk 플랫폼으로 전송하도록 Amazon Data Firehose 구성 섹션을 참조하세요.

    인증

    인증 토큰을 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Splunk에 액세스할 수 있습니다.

    • 인증 토큰

      Amazon Data Firehose에서 데이터를 수신할 수 있는 Splunk 엔드포인트를 설정하려면 Splunk 설명서에서 Splunk Add-on for Amazon Data Firehose 설치 및 구성 개요를 참조하세요. 이번 Firehose 스트림에 대한 엔드포인트를 설정할 때 Splunk로부터 받은 토큰을 저장한 다음 여기에 추가합니다.

    • Secret

      Splunk용 인증 토큰이 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    HEC 확인 제한 시간

    Amazon Data Firehose가 Splunk에서 보내는 인덱스 확인을 기다리는 시간을 지정합니다. 제한 시간에 도달하기 전에 Splunk가 확인을 보내지 않으면 Amazon Data Firehose는 이를 데이터 전송 실패로 간주합니다. 그러면 Amazon Data Firehose는 설정한 재시도 기간 값에 따라 재시도하거나 Amazon S3 버킷에 데이터를 백업합니다.

    재시도 기간

    Amazon Data Firehose가 Splunk로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 Splunk의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 Splunk로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 Splunk의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상에 대한 권장 버퍼 크기는 서비스 제공업체에 따라 다릅니다.

Splunk Observability Cloud의 대상 설정 구성

이 섹션에서는 Splunk Observability Cloud를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://docs.splunk.com/observability/en/gdi/get-data-in/connect/aws/aws-apiconfig.html#connect-to-aws-using-the-splunk-observability-cloud-api를 참조하세요.

  • 다음 필드에 값을 입력하세요.

    Cloud 수집 엔드포인트 URL

    Splunk Observability Cloud의 실시간 데이터 수집 URL은 Splunk Observability 콘솔의 프로필 > 조직 > 실시간 데이터 수집 엔드포인트에서 확인할 수 있습니다.

    인증

    액세스 토큰을 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Splunk Observability Cloud에 액세스할 수 있습니다.

    • 액세스 토큰

      Splunk Observability 콘솔의 설정 내 액세스 토큰에서 INGEST 인증 범위와 함께 Splunk Observability 액세스 토큰을 복사합니다.

    • Secret

      Splunk Observability Cloud의 액세스 토큰이 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 선택된 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Sumo Logic의 대상 설정 구성

이 섹션에서는 Sumo Logic을 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.sumologic.com을 참조하세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL은 다음과 같은 형식으로 지정합니다: https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URL은 HTTPS URL이어야 합니다.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 Sumo Logic으로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. Elastic 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Elastic의 대상 설정 구성

이 섹션에서는 Elastic을 대상으로 사용하는 옵션에 대해 설명합니다.

  • 다음 필드에 값을 입력하세요.

    Elastic 엔드포인트 URL

    HTTP 엔드포인트의 URL은 다음과 같은 형식으로 지정합니다: https://<cluster-id>.es.<region>.aws.elastic-cloud.com. URL은 HTTPS URL이어야 합니다.

    인증

    API 키를 직접 입력하거나 AWS Secrets Manager에서 보안 암호를 검색하여 Elastic에 액세스할 수 있습니다.

    • API 키

      Elastic 서비스에 문의하여 Firehose에서 해당 서비스로 데이터를 전송하는 데 필요한 API 키를 받으세요.

    • Secret

      Elastic용 API 키가 포함된 AWS Secrets Manager에서 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose에서 AWS Secrets Manager로 인증 섹션을 참조하세요.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP(기본값으로 선택되어 있음) 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 Elastic으로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 HTTP 엔드포인트의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 HTTP 엔드포인트로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 HTTP 엔드포인트의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함시킵니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. Elastic 대상의 권장 버퍼 크기는 1MiB입니다.