버퍼링 힌트 이해하기

Amazon Data Firehose는 메모리의 수신 스트리밍 데이터를 특정 크기 (버퍼링 크기) 와 일정 기간 (버퍼링 간격) 동안 버퍼링한 후 지정된 대상으로 전송합니다. Amazon S3에 최적의 크기의 파일을 전송하여 데이터 처리 애플리케이션에서 더 나은 성능을 얻거나 대상 속도에 맞춰 Firehose 전송 속도를 조정하려는 경우 버퍼링 힌트를 사용합니다.

새 Firehose 스트림을 만들 때 버퍼링 크기 및 버퍼 간격을 구성하거나 기존 Firehose 스트림에서 버퍼링 크기 및 버퍼링 간격을 업데이트할 수 있습니다. 버퍼링 크기는 MB 단위로 측정되고 버퍼링 간격은 초 단위로 측정됩니다. 하지만 이들 파라미터 중 하나에 값을 지정할 경우 다른 파라미터에도 값을 제공해야 합니다. 첫 번째 버퍼 조건이 충족되면 Firehose가 데이터를 전달하도록 트리거합니다. 버퍼링 값을 구성하지 않으면 기본값이 사용됩니다.

AWS Management Console, AWS Command Line Interface또는 SDK를 통해 Firehose 버퍼링 힌트를 구성할 수 있습니다. AWS 기존 스트림의 경우 콘솔의 편집 옵션 또는 API를 사용하여 사용 사례에 맞는 값으로 버퍼링 힌트를 재구성할 수 있습니다. UpdateDestination 새 스트림의 경우 콘솔이나 API를 사용하여 새 스트림 생성의 일부로 버퍼링 힌트를 구성할 수 있습니다. CreateDeliveryStream 버퍼링 크기를 조정하려면 또는 API의 대상 특정 DestinationConfiguration 파라미터에 SizeInMBs 및 IntervalInSeconds 를 CreateDeliveryStream설정하십시오. UpdateDestination

참고

• 실시간 사용 사례의 지연 시간을 줄이려면 제로 버퍼링 간격 힌트를 사용할 수 있습니다. 버퍼링 간격을 0초로 구성하면 Firehose는 데이터를 버퍼링하지 않고 몇 초 내에 데이터를 전송합니다. 버퍼링 힌트를 더 낮은 값으로 변경하기 전에 공급업체에 문의하여 대상에 대한 Firehose의 권장 버퍼링 힌트를 확인하세요.

• 제로 버퍼링 기능은 애플리케이션 대상에서만 사용할 수 있으며 Amazon S3 백업 대상에는 사용할 수 없습니다.

참고

Firehose는 지연 시간을 줄이기 위해 60초 미만의 버퍼 시간 간격을 구성하는 경우 S3 대상에 멀티파트 업로드를 사용합니다. S3 대상의 멀티파트 업로드로 인해 60초 미만의 버퍼 시간 간격을 선택하면 S3 PUT API 비용이 약간 증가할 수 있습니다.

대상별 버퍼링 힌트 범위와 기본값은 다음 표를 참조하십시오.

대상	버퍼링 크기 (MB) (괄호 안의 기본값)	버퍼링 간격 (초) (괄호 안의 기본값)
S3	1-128 (5)	0-900 (300)
Redshift	1-128 (5)	0-900 (300)
OpenSearch 서버리스	1-100 (5)	0-900 (300)
OpenSearch	1-100 (5)	0-900 (300)
Splunk	1-5 (5)	0-60 (60)
Datadog	1-4 (4)	0-900 (60)
Coralogix	1-64 (6)	0-900 (60)
Dynatrace	1-64 (5)	0-900 (60)
탄력적	1	0-900 (60)
Honeycomb	1-64 (15)	0-900 (60)
HTTP 엔드포인트	1-64 (5)	0-900 (60)
LogicMonitor	1-64 (5)	0-900 (60)
로지오	1-64 (5)	0-900 (60)
몽고DB	1-16 (5)	0-900 (60)
뉴렐릭	1-64 (5)	0-900 (60)
수모로직	1-64 (1)	0-900 (60)
Splunk Observability Cloud	1-64 (1)	0-900 (60)