Amazon 데이터 파이어호스 쿼터

Amazon Data Firehose의 할당량은 다음과 같습니다.

• Amazon MSK를 Firehose 스트림의 소스로 사용하는 경우 각 Firehose 스트림의 기본 할당량은 파티션당 초당 10MB의 읽기 처리량이고 최대 레코드 크기는 10MB입니다. 서비스 할당량 증가를 사용하여 파티션당 읽기 처리량의 기본 할당량인 10MB/초의 증가를 요청할 수 있습니다.

• Amazon MSK를 Firehose 스트림의 소스로 사용하는 경우, Lambda가 활성화된 경우 최대 레코드 크기는 6Mb이고 AWS Lambda가 비활성화된 경우 최대 레코드 크기는 10Mb입니다. AWS Lambda는 수신 레코드를 최대 6MB로 제한하고, Amazon Data Firehose는 6Mb가 넘는 레코드를 오류 S3 버킷으로 전달합니다. Lambda가 비활성화된 경우 Firehose는 수신 레코드를 10MB로 제한합니다. Amazon Data Firehose가 Amazon MSK로부터 10MB보다 큰 레코드 크기를 수신하면 Amazon Data Firehose는 이 레코드를 S3 오류 버킷으로 전송하고 사용자 계정으로 클라우드워치 지표를 내보냅니다. AWS Lambda 한도에 대한 자세한 내용은 https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html 을 참조하십시오.

• 전송 스트림에 동적 파티셔닝이 활성화된 경우 해당 전송 스트림에 대해 생성할 수 있는 활성 파티션의 기본 할당량은 500개입니다. 활성 파티션 수는 전송 버퍼 내에 있는 총 활성 파티션 개수입니다. 예를 들어 동적 파티셔닝 쿼리가 초당 3개의 파티션을 구성하고 60초마다 전송을 트리거하도록 버퍼 힌트가 구성된 경우, 활성 파티션은 평균적으로 180개가 됩니다. 파티션에 데이터가 전달된 이후에는 이 파티션은 더 이상 활성화되지 않습니다. Amazon Data Firehose 제한 양식을 사용하여 지정된 전송 스트림당 최대 5000개의 활성 파티션까지 이 할당량을 늘리도록 요청할 수 있습니다. 파티션이 더 필요하다면, 더 많은 전송 스트림을 생성하여 그 전송 스트림에 걸쳐 활성 파티션을 분산시킬 수 있습니다.

• 전송 스트림에 동적 파티셔닝이 활성화되면, 각 활성 파티션에 초당 1GB의 최대 처리량이 지원됩니다.

• 각 계정의 지역별 Firehose 전송 스트림 수에 대한 할당량은 다음과 같습니다.

  • 미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(아일랜드), 아시아 태평양(도쿄): 5,000개의 전송 스트림

  • 유럽 (프랑크푸르트), 유럽 (런던), 아시아 태평양 (싱가포르), 아시아 태평양 (시드니), 아시아 태평양 (서울), 아시아 태평양 (뭄바이), (미국 서부), 캐나다 AWS GovCloud (서부), 캐나다 (중부): 2,000개의 전송 스트림

  • 유럽 (파리), 유럽 (밀라노), 유럽 (스톡홀름), 아시아 태평양 (홍콩), 아시아 태평양 (오사카), 남미 (상파울루), 중국 (닝샤), 중국 (베이징), 중동 (바레인), AWS GovCloud (미국 동부), 아프리카 (케이프타운): 500개 배송 스트림

  • 유럽 (취리히), 유럽 (스페인), 아시아 태평양 (하이데라바드), 아시아 태평양 (자카르타), 아시아 태평양 (멜버른), 중동 (UAE), 이스라엘 (텔아비브), 캐나다 서부 (캘거리), 캐나다 (중부): 100개의 전송 스트림

  • 이 개수를 초과한 경우 CreateDeliveryStream을 호출하면 LimitExceededException 예외가 발생합니다. 해당 리전에서 이 할당량을 사용할 수 있는 경우 이 할당량을 늘리려면 Service Quotas를 사용할 수 있습니다. Service Quotas 사용에 대한 자세한 내용은 할당량 증가 요청을 참조하세요. 해당 지역에서 서비스 할당량을 사용할 수 없는 경우 Amazon Data Firehose 제한 양식을 사용하여 증가를 요청할 수 있습니다.

• Direct PUT을 데이터 소스로 구성하면 각 Firehose 스트림은 다음과 같은 통합 할당량 PutRecord및 PutRecordBatch요청을 제공합니다.

  • 미국 동부(버지니아 북부), 미국 서부(오레곤) 및 유럽(아일랜드)의 경우: 레코드 500,000개/초, 요청 2,000개/초, 5Mib/초.

  • 미국 동부 (오하이오), 미국 서부 (캘리포니아 북부), (미국 동부), AWS GovCloud (미국 서부), 아시아 태평양 AWS GovCloud (홍콩), 아시아 태평양 (뭄바이), 아시아 태평양 (서울), 아시아 태평양 (싱가포르), 중국 (베이징), 중국 (닝샤), 아시아 태평양 (시드니), 아시아 태평양 (도쿄), 캐나다 (중부), 유럽 (프랑크푸르트), 유럽 (프랑크푸르트), 유럽 (런던), 유럽 (파리), 유럽 (스톡홀름), 중동 (바레인), 남미 (상파울루), 아프리카 (케이프타운), 유럽 (밀라노): 초당 100,000개의 레코드, 초당 1,000개의 요청, 1MiB/초.

  할당량 증가를 요청하려면 Amazon Data Firehose 제한 양식을 사용하십시오. 세 할당량은 비례적으로 확장됩니다. 예를 들어, 미국 동부(버지니아 북부), 미국 서부(오레곤) 또는 유럽(아일랜드)의 처리량 할당량을 10MiB/초로 늘리면 나머지 두 할당량은 요청 4,000개/초 및 레코드 1,000,000개/초로 증가합니다.

  중요

  증가한 할당량이 실행 중인 트래픽보다 훨씬 높을 경우, 대상으로 전송되는 배치가 작아집니다. 이는 비효율적이며 대상 서비스에서 비용이 더 높아질 수 있습니다. 현재 실행 중인 트래픽과 일치하는 할당량까지만 늘려야 하며, 트래픽이 증가하면 할당량을 더 늘려야 합니다.

  중요

  데이터 레코드가 작을수록 비용이 증가할 수 있다는 점에 유의하세요. Firehose 통합 요금은 서비스에 전송하는 데이터 레코드 수에 각 레코드의 크기를 곱한 값과 가장 가까운 5KB (5120바이트) 로 반올림한 값을 기준으로 책정됩니다. 따라서 같은 양의 수신 데이터(바이트)에 대해 수신되는 레코드 수가 많을수록 비용이 더 올라갑니다. 예를 들어 총 수신 데이터 용량이 5MiB인 경우, 5,000개 이상의 레코드로 5MiB의 데이터를 보내는 것은 1,000개의 레코드를 사용하여 같은 양의 데이터를 전송하는 것에 비해 비용이 더 많이 듭니다. 자세한 내용은 계산기의 Amazon Data Firehose를AWS 참조하십시오.

  참고

  Kinesis Data Streams가 데이터 소스로 구성된 경우 이 할당량이 적용되지 않으며 Amazon Data Firehose는 제한 없이 확장 및 축소됩니다.

• 각 Firehose 스트림은 전송 대상을 사용할 수 없고 출처가 다음과 같은 경우 최대 24시간 동안 데이터 레코드를 저장합니다. DirectPut 소스가 Kinesis Data Streams(KDS) 이고 대상을 사용할 수 없는 경우 데이터는 KDS 구성에 따라 보관됩니다.

• 베이스64로 인코딩하기 전에 Amazon 데이터 파이어호스로 전송되는 레코드의 최대 크기는 1,000KiB입니다.

• PutRecordBatch 작업은 호출당 최대 500개의 레코드 또는 호출당 4MiB를 지원할 수 있습니다(둘 중 더 작은 크기 지원). 이 할당량은 변경할 수 없습니다.

• 다음 작업은 초당 최대 5개의 호출을 제공할 수 있습니다(엄격하게 제한됨): CreateDeliveryStream, DeleteDeliveryStream, DescribeDeliveryStream, ListDeliveryStreams, UpdateDestination, TagDeliveryStream, UntagDeliveryStream, ListTagsForDeliveryStream, StartDeliveryStreamEncryption, StopDeliveryStreamEncryption.

• 버퍼 간격 힌트의 범위는 60초 ~ 900초입니다.

• Amazon Data Firehose에서 Amazon Redshift로 전송하는 경우 공개적으로 액세스할 수 있는 Amazon Redshift 클러스터만 지원됩니다.

• Amazon Redshift 및 서비스 전송의 재시도 지속 시간 범위는 0초에서 7,200초입니다. OpenSearch

• Firehose는 엘라스틱서치 버전 1.5, 2.3, 5.1, 5.3, 5.5, 5.6뿐만 아니라 모든 6.* 및 7.* 버전과 아마존 서비스 2.x 최대 2.11을 지원합니다. OpenSearch

• 대상이 Amazon S3, Amazon Redshift 또는 OpenSearch 서비스인 경우 Amazon Data Firehose는 샤드당 최대 5개의 미해결 Lambda 호출을 허용합니다. Splunk에 대한 할당량은 샤드당 10개의 미해결 Lambda 호출입니다.

• CUSTOMER_MANAGED_CMK 유형의 CMK를 사용하여 최대 500개의 전송 스트림을 암호화할 수 있습니다.