Kinesis 데이터 스트림을 사용하여 Amazon 데이터 파이어호스에 쓰기 - Amazon Data Firehose

Amazon Data Firehose는 이전에 Amazon Kinesis Data Firehose로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Kinesis 데이터 스트림을 사용하여 Amazon 데이터 파이어호스에 쓰기

Firehose 스트림으로 정보를 전송하도록 Amazon Kinesis 데이터 스트림을 구성할 수 있습니다.

중요

Kinesis Producer Library(KPL)를 사용하여 Kinesis 데이터 스트림에 데이터를 쓰는 경우, 집계를 사용하여 해당 Kinesis 데이터 스트림에 쓰는 레코드를 결합할 수 있습니다. 그런 다음 해당 데이터 스트림을 Firehose 스트림의 소스로 사용하는 경우 Amazon Data Firehose는 목적지로 전송하기 전에 레코드를 집계해제합니다. 데이터를 변환하도록 Firehose 스트림을 구성하는 경우 Amazon Data Firehose는 레코드를 전송하기 전에 해당 레코드를 집계해제합니다. AWS Lambda자세한 내용은 Kinesis Producer Library를 사용하여 Amazon Kinesis Data Streams 생산자 개발 및 집계 단원을 참조하십시오.

  1. AWS Management Console 로그인하고 https://console.aws.amazon.com/firehose/ 에서 Amazon Data Firehose 콘솔을 엽니다.

  2. Firehose 스트림 생성을 선택합니다. Name and source(이름 및 소스) 페이지에서 다음 필드에 값을 입력합니다.

    Firehose 스트림 이름

    Firehose 스트림의 이름입니다.

    소스

    Kinesis 데이터 스트림을 데이터 소스로 사용하는 Firehose 스트림을 구성하려면 Kinesis 스트림을 선택합니다. 그러면 Amazon Data Firehose를 사용하여 기존 데이터 스트림에서 데이터를 쉽게 읽고 대상으로 로드할 수 있습니다.

    Kinesis 데이터 스트림을 소스로 사용하려면, Kinesis 스트림 목록에서 기존 스트림을 선택하거나 새로 생성을 선택하여 새 Kinesis 데이터 스트림을 만듭니다. 새로운 스트림을 만든 후 새로 고침을 선택하여 Kinesis 스트림 목록을 업데이트합니다. 스트림 개수가 많을 경우, [Filter by name]을 사용해 목록을 필터링합니다.

    참고

    Kinesis 데이터 스트림을 Firehose 스트림의 소스로 구성하면 Amazon Data Firehose와 작업이 비활성화됩니다. PutRecord PutRecordBatch 이 경우 Firehose 스트림에 데이터를 추가하려면 Kinesis 데이터 스트림 및 작업을 사용하십시오. PutRecord PutRecords

    Amazon Data Firehose는 Kinesis 스트림의 LATEST 위치에서 데이터를 읽기 시작합니다. Kinesis Data Streams 위치에 대한 자세한 내용은 을 참조하십시오. GetShardIterator

    Amazon Data Firehose는 각 샤드에 대해 1초에 한 번씩 Kinesis Data Streams GetRecords작업을 호출합니다. 하지만 전체 백업이 활성화되면 Firehose는 각 샤드에 대해 초당 두 번 Kinesis Data Streams GetRecords 작업을 호출합니다. 하나는 기본 전송 대상이고 다른 하나는 전체 백업을 호출합니다.

    동일한 Kinesis 스트림에서 둘 이상의 Firehose 스트림을 읽을 수 있습니다. 다른 Kinesis 애플리케이션(소비자)도 동일한 스트림에서 읽을 수 있습니다. Firehose 스트림 또는 기타 소비자 애플리케이션에서 발생하는 각 호출은 샤드의 전체 스로틀링 한도에 포함됩니다. 조절되지 않도록 하려면 애플리케이션을 신중하게 계획하십시오. Kinesis Data Streams 제한에 대한 자세한 내용은 Amazon Kinesis Streams 제한을 참조하세요.

  3. [Next]를 선택해 레코드 변환 및 형식 변환 구성 페이지로 넘어갑니다.