Amazon 데이터 파이어호스란 무엇입니까?

Amazon Data Firehose는 Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon 서비스, OpenSearch Amazon Serverless, Splunk 및 지원되는 타사 서비스 제공업체가 소유한 Datadog, LogicMonitor Dynatrace, MongoDB, New Relic, Coraloc 등의 대상에 실시간 스트리밍 데이터를 전송하는 완전 관리형 서비스입니다. 글릭스, 엘라스틱. OpenSearch Amazon Data Firehose를 사용하면 애플리케이션을 작성하거나 리소스를 관리할 필요가 없습니다. Amazon Data Firehose로 데이터를 보내도록 데이터 생산자를 구성하면 지정한 목적지로 데이터가 자동으로 전송됩니다. 또한 데이터를 전송하기 전에 데이터를 변환하도록 Amazon Data Firehose를 구성할 수 있습니다.

AWS 빅 데이터 솔루션에 대한 자세한 내용은 빅 데이터 온을 AWS 참조하십시오. AWS 스트리밍 데이터 솔루션에 대한 자세한 내용은 스트리밍 데이터란 무엇입니까?를 참조하세요.

참고

생산자, AWS 스트리밍 스토리지, 소비자 및 목적지를 통해 데이터가 흐르는 AWS CloudFormation 템플릿을 제공하는 Amazon MSK용 최신 스트리밍 데이터 솔루션에 주목하십시오.

주요 개념에 대해 알아보십시오.

Amazon Data Firehose를 시작하면서 다음과 같은 개념을 이해하면 도움이 될 수 있습니다.

Firehose 스트림

Amazon Data Firehose의 기본 엔티티입니다. Firehose 스트림을 생성한 다음 이 스트림으로 데이터를 전송하는 방식으로 Amazon Data Firehose를 사용합니다. 자세한 내용은 Firehose 스트림 만들기 및 Firehose 스트림으로 데이터 보내기 섹션을 참조하세요.

레코드

데이터 생산자가 Firehose 스트림에 보내는 관심 데이터입니다. 레코드는 최대 1000KB가 될 수 있습니다.

데이터 생산자

프로듀서가 Firehose 스트림으로 레코드를 전송합니다. 예를 들어 Firehose 스트림으로 로그 데이터를 보내는 웹 서버는 데이터 생산자입니다. 또한 기존 Kinesis 데이터 스트림에서 데이터를 자동으로 읽고 대상에 로드하도록 Firehose 스트림을 구성할 수 있습니다. 자세한 정보는 Firehose 스트림으로 데이터 보내기을 참조하세요.

버퍼 크기와 버퍼 간격

Amazon Data Firehose는 수신되는 스트리밍 데이터를 목적지로 전송하기 전에 특정 크기 또는 일정 기간 동안 버퍼링합니다. Buffer Size단위는 MB, 초 Buffer Interval 단위입니다.

Amazon Data Firehose의 데이터 흐름에 대한 이해

Amazon S3 대상인 경우, 스트리밍 데이터가 S3 버킷으로 전송됩니다. 데이터 변환이 활성화된 경우, 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.

Amazon Redshift 대상인 경우, 스트리밍 데이터가 먼저 S3 버킷으로 전송됩니다. 그러면 Amazon Data Firehose가 Amazon COPY Redshift 명령을 실행하여 S3 버킷에서 Amazon Redshift 클러스터로 데이터를 로드합니다. 데이터 변환이 활성화된 경우, 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.

OpenSearch 서비스 대상의 경우 스트리밍 데이터가 OpenSearch 서비스 클러스터로 전송되며 선택적으로 S3 버킷에 동시에 백업할 수 있습니다.

Splunk 대상인 경우 스트리밍 데이터가 Splunk 클러스터로 전송되며, 동시에 선택적으로 S3 버킷에 백업할 수 있습니다.