Amazon Data Firehose 스트림을 Amazon S3의 Apache Iceberg Table로 전송하는 작업은 미리 보기 중이며 변경될 수 있습니다.
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
샘플 데이터로 Firehose 스트림 테스트
를 사용하여 시뮬레이션된 주식 시세 데이터를 AWS Management Console 수집할 수 있습니다. 콘솔은 브라우저에서 스크립트를 실행하여 Firehose 스트림에 샘플 레코드를 추가합니다. 이렇게 하면 테스트 데이터를 직접 생성하지 않고도 Firehose 스트림의 구성을 테스트할 수 있습니다.
다음은 시뮬레이션한 데이터의 예입니다.
{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}
Firehose 스트림이 데이터를 전송할 때는 표준 Amazon Data Firehose 요금이 적용되지만 데이터가 생성될 때는 요금이 부과되지 않습니다. 이러한 요금이 발생하지 않도록 하기 위해 언제든 콘솔에서 샘플 스트림을 중단할 수 있습니다.
내용
사전 조건
시작하기 전에 Firehose 스트림을 만드세요. 자세한 내용은 Firehose 스트림 만들기 단원을 참조하십시오.
Amazon S3로 테스트
다음 절차를 사용하여 Amazon Simple Storage Service (Amazon S3) 를 대상으로 Firehose 스트림을 테스트하십시오.
Amazon S3를 사용하여 Firehose 스트림을 테스트하려면
-
에서 Firehose 콘솔을 엽니다. https://console.aws.amazon.com/firehose/
-
활성화된 Firehose 스트림을 선택합니다. Firehose 스트림이 활성 상태여야 데이터 전송을 시작할 수 있습니다.
-
[Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.
-
화면의 지침을 따라 데이터가 S3 버킷으로 전송되고 있는지 확인합니다. 버킷의 버퍼링 구성에 따라 새 객체가 버킷에 표시되기까지 몇 분이 걸릴 수 있습니다.
-
테스트가 완료되면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.
아마존 Redshift를 사용한 테스트
Amazon Redshift를 대상으로 하여 Firehose 스트림을 테스트하려면 다음 절차를 사용하십시오.
Amazon Redshift를 사용하여 Firehose 스트림을 테스트하려면
-
Firehose 스트림에서는 Amazon Redshift 클러스터에 테이블이 있을 것으로 예상합니다. SQL인터페이스를 통해 Amazon Redshift에 연결하고 다음 명령문을 실행하여 샘플 데이터를 받아들이는 테이블을 생성합니다.
create table firehose_test_table ( TICKER_SYMBOL varchar(4), SECTOR varchar(16), CHANGE float, PRICE float );
-
에서 Firehose 콘솔을 엽니다. https://console.aws.amazon.com/firehose/
-
활성화된 Firehose 스트림을 선택합니다. Firehose 스트림이 활성 상태여야 데이터 전송을 시작할 수 있습니다.
-
새로 만든
firehose_test_table
테이블을 가리키도록 Firehose 스트림의 대상 세부정보를 편집합니다. -
[Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.
-
화면의 지침을 따라 데이터가 테이블로 전송되고 있는지 확인합니다. 버퍼링 구성에 따라 새 행이 테이블에 표시되기까지 몇 분이 걸릴 수 있습니다.
-
테스트가 완료되면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.
-
다른 테이블을 가리키도록 Firehose 스트림의 대상 세부정보를 수정하세요.
-
(선택 사항)
firehose_test_table
테이블을 삭제합니다.
서비스로 테스트하세요. OpenSearch
Amazon OpenSearch 서비스를 대상으로 사용하여 Firehose 스트림을 테스트하려면 다음 절차를 사용하십시오.
서비스를 사용하여 Firehose 스트림을 테스트하려면 OpenSearch
-
에서 Firehose 콘솔을 엽니다. https://console.aws.amazon.com/firehose/
-
활성화된 Firehose 스트림을 선택합니다. Firehose 스트림이 활성 상태여야 데이터 전송을 시작할 수 있습니다.
-
[Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.
-
화면 지침에 따라 데이터가 OpenSearch 서비스 도메인으로 전송되고 있는지 확인하세요. 자세한 내용은 Amazon OpenSearch Service 개발자 안내서의 OpenSearch 서비스 도메인에서 문서 검색을 참조하십시오.
-
테스트가 완료되면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.
Splunk를 사용한 테스트
다음 절차를 사용하여 Splunk를 대상으로 사용하여 Firehose 스트림을 테스트하세요.
Splunk를 사용하여 Firehose 스트림을 테스트하려면
-
에서 Firehose 콘솔을 엽니다. https://console.aws.amazon.com/firehose/
-
활성화된 Firehose 스트림을 선택합니다. Firehose 스트림이 활성 상태여야 데이터 전송을 시작할 수 있습니다.
-
[Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.
-
Splunk 인덱스로 데이터가 전송되고 있는지 확인하십시오. Splunk의 검색어 예시로는
sourcetype="aws:firehose:json"
및index="
가 있습니다. Splunk의 이벤트를 검색하는 방법에 대한 자세한 내용은 Splunk 설명서의 검색 매뉴얼name-of-your-splunk-index
"을 참조하십시오. 테스트 데이터가 Splunk 인덱스에 표시되지 않는 경우 Amazon S3 버킷에 실패한 이벤트가 있는지 확인하세요. Splunk로 데이터가 전송되지 않음 또한 참조하십시오.
-
테스트를 완료하면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.
Apache 아이스버그 테이블로 테스트하세요.
다음 절차를 사용하여 Apache Iceberg Table을 대상으로 사용하여 Firehose 스트림을 테스트하세요.
Apache 아이스버그 테이블을 사용하여 Firehose 스트림을 테스트하려면
-
에서 Firehose 콘솔을 엽니다. https://console.aws.amazon.com/firehose/
-
활성화된 Firehose 스트림을 선택합니다. Firehose 스트림이 활성 상태여야 데이터 전송을 시작할 수 있습니다.
-
[Test with demo data]에서 [Start sending demo data]를 선택해 샘플 재고 티커 데이터를 생성합니다.
-
화면의 지침에 따라 데이터가 Apache Iceberg Table로 전송되고 있는지 확인하세요. 버퍼링 구성에 따라 버킷에 새 객체가 나타나는 데 몇 분 정도 걸릴 수 있습니다.
-
테스트 데이터가 Apache Iceberg Table에 표시되지 않는 경우 Amazon S3 버킷에서 실패한 이벤트가 있는지 확인하십시오.
-
테스트를 완료하면 [Stop sending demo data]를 선택해 사용 요금이 발생하지 않도록 합니다.