Amazon 데이터 파이어호스란 무엇입니까? - Amazon Data Firehose

Amazon Data Firehose는 이전에 Amazon Kinesis Data Firehose로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon 데이터 파이어호스란 무엇입니까?

Amazon Data Firehose는 Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon 서비스, OpenSearch Amazon Serverless, Splunk 및 지원되는 타사 서비스 제공업체가 소유한 Datadog, LogicMonitor Dynatrace, MongoDB, New Relic, Coraloc 등의 대상에 실시간 스트리밍 데이터를 전송하는 완전 관리형 서비스입니다. 글릭스, 엘라스틱. OpenSearch Amazon Data Firehose를 사용하면 애플리케이션을 작성하거나 리소스를 관리할 필요가 없습니다. Amazon Data Firehose로 데이터를 보내도록 데이터 생산자를 구성하면 지정한 목적지로 데이터가 자동으로 전송됩니다. 또한 데이터를 전송하기 전에 데이터를 변환하도록 Amazon Data Firehose를 구성할 수 있습니다.

AWS 빅 데이터 솔루션에 대한 자세한 내용은 AWS 기반 빅 데이터를 참조하세요. AWS 스트리밍 데이터 솔루션에 대한 자세한 내용은 스트리밍 데이터란 무엇입니까?를 참조하세요.

핵심 개념

Amazon Data Firehose를 시작하면서 다음과 같은 개념을 이해하면 도움이 될 수 있습니다.

Firehose 스트림

Amazon Data Firehose의 기본 엔티티입니다. Firehose 스트림을 생성한 다음 이 스트림으로 데이터를 전송하여 Amazon Data Firehose를 사용합니다. 자세한 내용은 Firehose 스트림 만들기Firehose 스트림으로 데이터 전송 섹션을 참조하세요.

레코드

데이터 생산자가 Firehose 스트림에 보내는 관심 데이터입니다. 레코드는 최대 1000KB가 될 수 있습니다.

데이터 생산자

프로듀서가 Firehose 스트림으로 레코드를 전송합니다. 예를 들어 Firehose 스트림으로 로그 데이터를 보내는 웹 서버는 데이터 생산자입니다. 또한 기존 Kinesis 데이터 스트림에서 데이터를 자동으로 읽고 대상에 로드하도록 Firehose 스트림을 구성할 수 있습니다. 자세한 설명은 Firehose 스트림으로 데이터 전송 섹션을 참조하세요.

버퍼 크기와 버퍼 간격

Amazon Data Firehose는 수신되는 스트리밍 데이터를 목적지로 전송하기 전에 특정 크기 또는 일정 기간 동안 버퍼링합니다. Buffer Size단위는 MB, 초 Buffer Interval 단위입니다.

데이터 흐름

Amazon S3 대상인 경우, 스트리밍 데이터가 S3 버킷으로 전송됩니다. 데이터 변환이 활성화된 경우, 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.

Amazon S3용 Amazon Data Firehose 데이터 흐름

Amazon Redshift 대상인 경우, 스트리밍 데이터가 먼저 S3 버킷으로 전송됩니다. 그러면 Amazon Data Firehose가 Amazon COPY Redshift 명령을 실행하여 S3 버킷에서 Amazon Redshift 클러스터로 데이터를 로드합니다. 데이터 변환이 활성화된 경우, 선택적으로 소스 데이터를 다른 Amazon S3 버킷으로 백업할 수 있습니다.

아마존 Redshift를 위한 아마존 데이터 파이어호스 데이터 플로우

OpenSearch 서비스 대상의 경우 스트리밍 데이터가 OpenSearch 서비스 클러스터로 전송되며 선택적으로 S3 버킷에 동시에 백업할 수 있습니다.

서비스를 위한 Amazon Data Firehose 데이터 흐름 OpenSearch

Splunk 대상인 경우 스트리밍 데이터가 Splunk 클러스터로 전송되며, 동시에 선택적으로 S3 버킷에 백업할 수 있습니다.

스플렁크를 위한 Amazon Data Firehose 데이터 플로우