Amazon Kinesis Data Firehose이란 무엇입니까? - Amazon Kinesis Data Firehose

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Kinesis Data Firehose이란 무엇입니까?

Amazon Kinesis Data Firehose 실시간 서비스를 제공하는 완벽하게 관리되는 서비스 데이터 같은 목적지로 Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon Elasticsearch Service (Amazon ES), Splunk는 Datadog, mongodb 및 New Relic을 비롯하여 지원되는 타사 서비스 제공업체가 소유한 사용자 정의 HTTP 끝점 또는 HTTP 엔드포인트입니다. Kinesis Data Firehose 이(가) Kinesis 데이터 플랫폼을 Kinesis Data Streams, Kinesis 비디오 스트림, 그리고 Amazon Kinesis Data Analytics. Kinesis Data Firehose를 사용하면 애플리케이션을 쓰거나 리소스를 관리할 필요가 없습니다. 데이터 생산자가 Kinesis Data Firehose로 데이터를 보내도록 구성하면 지정한 대상으로 데이터를 자동 전송합니다. 전송 전에 데이터를 변환하도록 Kinesis Data Firehose를 구성할 수도 있습니다.

AWS 빅 데이터 솔루션에 대한 자세한 내용은 AWS 기반 빅 데이터를 참조하십시오. AWS 스트리밍 데이터 솔루션에 대한 자세한 내용은 스트리밍 데이터란 무엇입니까?를 참조하십시오.

핵심 개념

Kinesis Data Firehose를 처음 사용할 때 다음 개념을 이해하고 있으면 도움이 될 수 있습니다.

Kinesis Data Firehose 전송 스트림

Kinesis Data Firehose의 기본 엔터티입니다. Kinesis Data Firehose 전송 스트림를 생성하여 여기에 데이터를 보내는 방식으로 Kinesis Data Firehose를 사용할 수 있습니다. 자세한 내용은 Amazon Kinesis Data Firehose 전송 스트림 생성Amazon Kinesis Data Firehose 전송 스트림에 데이터 전송 단원을 참조하십시오.

record

데이터 생산자가 Kinesis Data Firehose 전송 스트림로 보내는 관심 데이터입니다. 레코드는 최대 1000KB가 될 수 있습니다.

데이터 생산자

생산자는 Kinesis Data Firehose 전송 스트림로 레코드를 보냅니다. 예를 들어, 전송 스트림에 로그 데이터를 보내는 웹 서버가 데이터 생산자입니다. 기존 Kinesis 데이터 스트림에서 자동으로 데이터를 읽어서 대상에 로드하도록 Kinesis Data Firehose 전송 스트림를 구성할 수도 있습니다. 자세한 정보는 Amazon Kinesis Data Firehose 전송 스트림에 데이터 전송 단원을 참조하십시오.

버퍼 크기와 버퍼 간격

Kinesis Data Firehose 대상 데이터를 특정 크기로 또는 특정 기간 동안 버퍼링하여 대상에 전달. Buffer Size mbs 및 Buffer Interval 초(초)입니다.

데이터 흐름

Amazon S3 대상인 경우, 스트리밍 데이터가 S3 버킷으로 전송됩니다. 데이터 변환이 활성화되면 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.


                Amazon Kinesis Data FirehoseAmazon S3의  데이터 흐름

Amazon Redshift 대상인 경우, 먼저 스트리밍 데이터가 S3 버킷으로 전송됩니다. 이때 Kinesis Data Firehose가 Amazon Redshift COPY 명령을 실행하여 데이터를 S3 버킷에서 Amazon Redshift 클러스터로 로드합니다. 데이터 변환이 활성화되면 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.


                Amazon Kinesis Data FirehoseAmazon Redshift의  데이터 흐름

Amazon ES 대상인 경우 스트리밍 데이터가 Amazon ES 클러스터로 전송되며, 동시에 선택적으로 S3 버킷에 백업할 수 있습니다.


                Amazon Kinesis Data FirehoseAmazon ES의  데이터 흐름

Splunk 대상인 경우 스트리밍 데이터가 Splunk 클러스터로 전송되며, 동시에 선택적으로 S3 버킷에 백업할 수 있습니다.


                Amazon Kinesis Data Firehose Splunk를 위한 데이터 흐름