Amazon Data Firehose는 이전에 Amazon Kinesis Data Firehose로 알려졌습니다.
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
메트릭을 사용한 Amazon Data Firehose 모니터링 CloudWatch
중요
적시에 오류를 식별하려면 목적지에 속하는 모든 CloudWatch 지표에 대해 경보를 활성화해야 합니다.
Amazon Data Firehose는 Amazon CloudWatch 지표와 통합되므로 Firehose 스트림에 대한 CloudWatch 지표를 수집, 확인 및 분석할 수 있습니다. 예를 들어, IncomingBytes 및 IncomingRecords 지표를 모니터링하여 데이터 생산자가 Amazon Data Firehose로 수집한 데이터를 추적할 수 있습니다.
Amazon Data Firehose는 1분마다 CloudWatch 지표를 수집하고 게시합니다. 단, 몇 초 동안만이라도 수신 데이터 장애가 발생하면 1분 지표에 완전히 캡처또는 표시되지 않을 수 있습니다. 이는 CloudWatch 지표가 Amazon Data Firehose에서 1분 간격으로 집계되기 때문입니다.
Firehose 스트림에 대해 수집된 측정항목은 무료입니다. Kinesis 에이전트 지표에 대한 정보는 Kinesis 에이전트 상태 모니터링을 참조하세요.
주제
동적 파티셔닝 지표 CloudWatch
동적 파티셔닝이 활성화된 경우 AWS/Firehose 네임스페이스에는 다음 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
ActivePartitionsLimit |
Firehose 스트림이 오류 버킷으로 데이터를 보내기 전에 처리하는 최대 활성 파티션 수입니다. 단위: 개 |
PartitionCount |
처리 중인 파티션 수, 즉 활성 파티션의 수. 이 수는 1부터 파티션 카운트 한도인 500(기본값)까지 다양합니다. 단위: 개 |
PartitionCountExceeded |
이 지표는 파티션 카운트 한도를 초과하는지 여부를 나타냅니다. 한도 위반 여부에 따라 1 또는 0이 출력됩니다. |
JQProcessing.Duration |
JQ Lambda 함수에서 JQ 표현식을 실행하는 데 걸린 시간의 양을 반환합니다. 단위: 밀리초 |
PerPartitionThroughput |
파티션별로 처리되는 처리량을 표시합니다. 이 지표를 사용하여 파티션별 처리량을 모니터링할 수 있습니다. 단위:. StandardUnit BytesSecond |
DeliveryToS3.ObjectCount |
S3 버킷으로 전송되는 객체의 수를 나타냅니다. 단위: 개 |
데이터 전송 CloudWatch 지표
AWS/Firehose 네임스페이스에는 다음과 같은 서비스 수준 지표가 포함되어 있습니다. BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success 또는 DeliveryToRedshift.Success의 평균이 약간 떨어진다고 해서 데이터 손실이 발생했다는 의미는 아닙니다. Amazon Data Firehose는 전송 오류를 재시도하고 레코드가 구성된 대상 또는 백업 S3 버킷으로 성공적으로 전송될 때까지 작업을 진행하지 않습니다.
주제
서비스로 전송 OpenSearch
| 지표 | 설명 |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
지정된 기간 동안 OpenSearch 서비스에 인덱싱된 바이트 수입니다. 단위: 바이트 |
DeliveryToAmazonOpenSearchService.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 기간보다 오래된 모든 레코드는 서비스에 OpenSearch 전달되었습니다. 단위: 초 |
DeliveryToAmazonOpenSearchService.Records |
지정된 기간 동안 OpenSearch 서비스에 인덱싱된 레코드 수입니다. 단위: 개 |
DeliveryToAmazonOpenSearchService.Success |
시도한 레코드 합산과 비교하여 성공적으로 인덱싱된 레코드 합산 |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 모든 문서에 대한 백업을 활성화한 경우에만 이 지표를 생성합니다. 단위: 개 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. Amazon Data Firehose는 모든 문서에 대한 백업을 활성화한 경우에만 이 지표를 생성합니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 모든 문서에 대한 백업을 활성화한 경우에만 이 지표를 생성합니다. 단위: 개 |
DeliveryToS3.Success |
모든 Amazon S3 put 명령의 합산과 비교하여 성공한 Amazon S3 put 명령의 합산. Amazon Data Firehose는 백업이 실패한 문서에만 활성화되었는지 아니면 모든 문서에 대해 활성화되었는지에 관계없이 항상 이 지표를 내보냅니다. |
DeliveryToAmazonOpenSearchService.AuthFailure |
인증 및 권한 부여 오류. OS/ES 클러스터 정책 및 역할 권한을 확인합니다. 0은 문제 없음을 나타내며 1은 인증 실패를 나타냅니다. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
전송 거부 오류. OS/ES 클러스터 정책 및 역할 권한을 확인합니다. 0은 문제 없음을 나타내며 1은 전송 실패를 나타냅니다. |
서버리스로 전송 OpenSearch
| 지표 | 설명 |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
지정된 기간 동안 OpenSearch 서버리스로 인덱싱된 바이트 수입니다. 단위: 바이트 |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 기간보다 오래된 모든 레코드는 서버리스로 OpenSearch 전달되었습니다. 단위: 초 |
DeliveryToAmazonOpenSearchServerless.Records |
지정된 기간 동안 OpenSearch 서버리스에 인덱싱된 레코드 수입니다. 단위: 개 |
DeliveryToAmazonOpenSearchServerless.Success |
시도한 레코드 합산과 비교하여 성공적으로 인덱싱된 레코드 합산 |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 모든 문서에 대한 백업을 활성화한 경우에만 이 지표를 생성합니다. 단위: 개 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. Amazon Data Firehose는 모든 문서에 대한 백업을 활성화한 경우에만 이 지표를 생성합니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 모든 문서에 대한 백업을 활성화한 경우에만 이 지표를 생성합니다. 단위: 개 |
DeliveryToS3.Success |
모든 Amazon S3 put 명령의 합산과 비교하여 성공한 Amazon S3 put 명령의 합산. Amazon Data Firehose는 백업이 실패한 문서에만 활성화되었는지 아니면 모든 문서에 대해 활성화되었는지에 관계없이 항상 이 지표를 내보냅니다. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
인증 및 권한 부여 오류. OS/ES 클러스터 정책 및 역할 권한을 확인합니다. 0은 문제 없음을 나타내며 1은 인증 실패를 나타냅니다. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
전송 거부 오류. OS/ES 클러스터 정책 및 역할 권한을 확인합니다. 0은 문제 없음을 나타내며 1은 전송 실패를 나타냅니다. |
Amazon Redshift로 전송
| 지표 | 설명 |
|---|---|
DeliveryToRedshift.Bytes |
지정한 시간 동안 Amazon Redshift으로 복사된 바이트 수. 단위: 개 |
DeliveryToRedshift.Records |
지정한 시간 동안 Amazon Redshift으로 복사된 레코드 수. 단위: 개 |
DeliveryToRedshift.Success |
모든 Amazon Redshift COPY 명령의 합산과 비교하여 성공한 Amazon Redshift COPY 명령의 합산. |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. 단위: 바이트 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. 단위: 개 |
DeliveryToS3.Success |
모든 Amazon S3 put 명령의 합산과 비교하여 성공한 Amazon S3 put 명령의 합산. |
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. Amazon S3에 대한 백업이 활성화된 경우 Amazon Data Firehose에서 이 측정치를 내보냅니다. 단위: 개 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령 (Amazon Data Firehose에 입문한 시점부터 현재까지) 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. Amazon S3에 대한 백업이 활성화된 경우 Amazon Data Firehose에서 이 측정치를 내보냅니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. Amazon S3에 대한 백업이 활성화된 경우 Amazon Data Firehose에서 이 측정치를 내보냅니다. 단위: 개 |
BackupToS3.Success |
모든 Amazon S3 backup put 명령의 합산과 비교하여 백업에 대해 성공한 Amazon S3 put 명령의 합산. Amazon S3에 대한 백업이 활성화된 경우 Amazon Data Firehose에서 이 측정치를 내보냅니다. |
Amazon S3으로 전송
다음 표의 지표는 Firehose 스트림의 기본 목적지인 Amazon S3로의 전송과 관련이 있습니다.
| 지표 | 설명 |
|---|---|
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. 단위: 바이트 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. 단위: 개 |
DeliveryToS3.Success |
모든 Amazon S3 put 명령의 합산과 비교하여 성공한 Amazon S3 put 명령의 합산. |
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 백업이 활성화된 경우 (데이터 변환도 활성화된 경우에만 가능) 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령 (Amazon Data Firehose에 입문한 시점부터 현재까지) 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. Amazon Data Firehose는 백업이 활성화된 경우 (데이터 변환도 활성화된 경우에만 가능) 이 지표를 내보냅니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 백업이 활성화된 경우 (데이터 변환도 활성화된 경우에만 가능) 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.Success |
모든 Amazon S3 backup put 명령의 합산과 비교하여 백업에 대해 성공한 Amazon S3 put 명령의 합산. Amazon Data Firehose는 백업이 활성화된 경우 (데이터 변환도 활성화된 경우에만 가능) 이 지표를 내보냅니다. |
스노우플레이크로 전송
| 지표 | 설명 |
|---|---|
DeliveryToSnowflake.Bytes |
지정된 기간 동안 Snowflake에 전송된 바이트 수입니다. 단위: 바이트 |
DeliveryToSnowflake.DataFreshness |
Firehose에서 가장 오래된 레코드의 나이 (Firehose를 처음 접하는 시점부터 현재까지) 입니다. 이 시대보다 오래된 모든 레코드는 Snowflake에 전달되었습니다. 단위: 초 |
DeliveryToSnowflake.Records |
지정된 기간 동안 Snowflake에 전달된 레코드 수입니다. 단위: 개 |
DeliveryToSnowflake.Success |
성공적으로 전송된 레코드의 합계를 시도한 레코드의 합계를 합한 값입니다. |
Splunk에 전송
| 지표 | 설명 |
|---|---|
DeliveryToSplunk.Bytes |
지정한 시간 동안 Splunk로 전송된 바이트 수. 단위: 바이트 |
DeliveryToSplunk.DataAckLatency |
Amazon Data Firehose에서 데이터를 전송한 후 Splunk로부터 승인을 받는 데 걸리는 대략적인 시간입니다. 이 측정치에 대한 증가 또는 감소 추세가 절대 근사치보다 더 유용합니다. 증가 추세는 Splunk 인덱서로부터 더 느린 인덱싱 및 승인 비율을 나타낼 수 있습니다. 단위: 초 |
DeliveryToSplunk.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령 (Amazon Data Firehose에 입문한 시점부터 현재까지) 이 경과 시간보다 오래된 레코드는 모두 Splunk로 전송되었습니다. 단위: 초 |
DeliveryToSplunk.Records |
지정한 시간 동안 Splunk로 전송된 레코드 수. 단위: 개 |
DeliveryToSplunk.Success |
시도한 레코드 합산과 비교하여 성공적으로 인덱싱된 레코드 합산 |
DeliveryToS3.Success |
모든 Amazon S3 put 명령의 합산과 비교하여 성공한 Amazon S3 put 명령의 합산. 이 지표는 Amazon S3으로의 백업이 활성화된 경우 내보내집니다. |
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 Firehose 스트림이 모든 문서를 백업하도록 구성된 경우 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령 (Amazon Data Firehose에 입문한 시점부터 현재까지) 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. Amazon Data Firehose는 Firehose 스트림이 모든 문서를 백업하도록 구성된 경우 이 지표를 내보냅니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 Firehose 스트림이 모든 문서를 백업하도록 구성된 경우 이 지표를 내보냅니다. 단위: 개 |
BackupToS3.Success |
모든 Amazon S3 backup put 명령의 합산과 비교하여 백업에 대해 성공한 Amazon S3 put 명령의 합산. Amazon Data Firehose는 Firehose 스트림이 모든 문서를 백업하도록 구성된 경우 이 지표를 내보냅니다. |
HTTP 엔드포인트로 전송
| 지표 | 설명 |
|---|---|
DeliveryToHttpEndpoint.Bytes |
HTTP 엔드포인트에 성공적으로 전송된 바이트 수. 단위: 바이트 |
DeliveryToHttpEndpoint.Records |
HTTP 엔드포인트에 성공적으로 전송된 레코드 수. 단위: 개수 |
DeliveryToHttpEndpoint.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연대입니다. 단위: 초 |
DeliveryToHttpEndpoint.Success |
HTTP 엔드포인트에 대한 성공적인 모든 데이터 전송 요청의 합계 단위: 개 |
DeliveryToHttpEndpoint.ProcessedBytes |
재시도를 포함하여 처리 시도된 바이트 수. |
DeliveryToHttpEndpoint.ProcessedRecords |
재시도를 포함하여 시도된 레코드 수. |
데이터 수집 측정치
Kinesis Data Streams를 통한 데이터 통합
| 지표 | 설명 |
|---|---|
DataReadFromKinesisStream.Bytes |
데이터 원본이 Kinesis 데이터 스트림인 경우 이 지표는 해당 데이터 스트림에서 읽은 바이트 수를 나타냅니다. 이 수는 장애 조치로 인한 다시 읽기를 포함합니다. 단위: 바이트 |
DataReadFromKinesisStream.Records |
데이터 원본이 Kinesis 데이터 스트림인 경우 이 지표는 해당 데이터 스트림에서 읽은 레코드 수를 나타냅니다. 이 수는 장애 조치로 인한 다시 읽기를 포함합니다. 단위: 개 |
ThrottledDescribeStream |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetRecords |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetShardIterator |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
Direct PUT을 통한 데이터 수집
| 지표 | 설명 |
|---|---|
BackupToS3.Bytes |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화된 경우 이 지표를 생성합니다. 단위: 바이트 |
BackupToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령 (Amazon Data Firehose에 입문한 시점부터 현재까지) 이 경과 시간보다 오래된 레코드는 모두 백업을 위해 Amazon S3 버킷으로 전송되었습니다. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화된 경우 이 지표를 생성합니다. 단위: 초 |
BackupToS3.Records |
지정한 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화된 경우 이 지표를 생성합니다. 단위: 개 |
BackupToS3.Success |
모든 Amazon S3 backup put 명령의 합산과 비교하여 백업에 대해 성공한 Amazon S3 put 명령의 합산. Amazon Data Firehose는 Amazon S3 또는 Amazon Redshift 대상에 대해 데이터 변환이 활성화된 경우 이 지표를 생성합니다. |
BytesPerSecondLimit |
스로틀링 전에 Firehose 스트림이 수집할 수 있는 현재 초당 최대 바이트 수입니다. 이 한도 증가를 요청하려면 AWS
Support Center |
DataReadFromKinesisStream.Bytes |
데이터 원본이 Kinesis 데이터 스트림인 경우 이 지표는 해당 데이터 스트림에서 읽은 바이트 수를 나타냅니다. 이 수는 장애 조치로 인한 다시 읽기를 포함합니다. 단위: 바이트 |
DataReadFromKinesisStream.Records |
데이터 원본이 Kinesis 데이터 스트림인 경우 이 지표는 해당 데이터 스트림에서 읽은 레코드 수를 나타냅니다. 이 수는 장애 조치로 인한 다시 읽기를 포함합니다. 단위: 개 |
DeliveryToAmazonOpenSearchService.Bytes |
지정된 기간 동안 서비스에 인덱싱된 바이트 수입니다. OpenSearch 단위: 바이트 |
DeliveryToAmazonOpenSearchService.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 기간보다 오래된 모든 레코드는 서비스에 OpenSearch 전달되었습니다. 단위: 초 |
DeliveryToAmazonOpenSearchService.Records |
지정된 기간 동안 OpenSearch 서비스에 인덱싱된 레코드 수입니다. 단위: 개 |
DeliveryToAmazonOpenSearchService.Success |
시도한 레코드 합산과 비교하여 성공적으로 인덱싱된 레코드 합산 |
DeliveryToRedshift.Bytes |
지정한 시간 동안 Amazon Redshift으로 복사된 바이트 수. 단위: 바이트 |
DeliveryToRedshift.Records |
지정한 시간 동안 Amazon Redshift으로 복사된 레코드 수. 단위: 개 |
DeliveryToRedshift.Success |
모든 Amazon Redshift COPY 명령의 합산과 비교하여 성공한 Amazon Redshift COPY 명령의 합산. |
DeliveryToS3.Bytes |
지정한 시간 동안 Amazon S3로 전송된 바이트 수. 단위: 바이트 |
DeliveryToS3.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연식 (Amazon Data Firehose에 입문한 시점부터 현재까지) 입니다. 이 경과 시간보다 오래된 레코드는 모두 S3 버킷으로 전송되었습니다. 단위: 초 |
DeliveryToS3.Records |
지정한 시간 동안 Amazon S3로 전송된 레코드 수. 단위: 개 |
DeliveryToS3.Success |
모든 Amazon S3 put 명령의 합산과 비교하여 성공한 Amazon S3 put 명령의 합산. |
DeliveryToSplunk.Bytes |
지정한 시간 동안 Splunk로 전송된 바이트 수. 단위: 바이트 |
DeliveryToSplunk.DataAckLatency |
Amazon Data Firehose에서 데이터를 전송한 후 Splunk로부터 승인을 받는 데 걸리는 대략적인 시간입니다. 이 측정치에 대한 증가 또는 감소 추세가 절대 근사치보다 더 유용합니다. 증가 추세는 Splunk 인덱서로부터 더 느린 인덱싱 및 승인 비율을 나타낼 수 있습니다. 단위: 초 |
DeliveryToSplunk.DataFreshness |
Amazon Data Firehose에서 가장 오래된 레코드의 연령 (Amazon Data Firehose에 입문한 시점부터 현재까지) 이 경과 시간보다 오래된 레코드는 모두 Splunk로 전송되었습니다. 단위: 초 |
DeliveryToSplunk.Records |
지정한 시간 동안 Splunk로 전송된 레코드 수. 단위: 개 |
DeliveryToSplunk.Success |
시도한 레코드 합산과 비교하여 성공적으로 인덱싱된 레코드 합산 |
IncomingBytes |
지정된 기간 동안 전송 스트림에 성공적으로 수집된 바이트 수. 전송 스트림 한도 중 하나라도 초과하면 데이터 수집이 제한될 수 있습니다. 제한된 데이터는 단위: 바이트 |
IncomingPutRequests |
지정된 기간 동안의 성공 PutRecord 및 PutRecordBatch 요청 건수. 단위: 개 |
IncomingRecords |
지정된 기간 동안 전송 스트림에 성공적으로 수집된 레코드 수입니다. 전송 스트림 한도 중 하나라도 초과하면 데이터 수집이 제한될 수 있습니다. 제한된 데이터는 단위: 개 |
KinesisMillisBehindLatest |
데이터 원본이 Kinesis 데이터 스트림일 때, 이 지표는 마지막으로 읽은 레코드가 Kinesis 데이터 스트림의 최신 레코드보다 뒤쳐진 밀리초 수를 의미합니다. 단위: 밀리초 |
RecordsPerSecondLimit |
스로틀링 전에 Firehose 스트림이 수집할 수 있는 현재 초당 최대 레코드 수입니다. 단위: 개 |
ThrottledRecords |
데이터 수집이 Firehose 스트림 한도 중 하나를 초과하여 병목 현상이 발생한 레코드 수입니다. 단위: 개 |
MSK에서 데이터 통합
| 지표 | 설명 |
|---|---|
DataReadFromSource.Records
|
소스 Kafka 주제에서 읽은 레코드 수. 단위: 개 |
DataReadFromSource.Bytes
|
소스 Kafka 주제에서 읽은 바이트 수. 단위: 바이트 |
SourceThrottled.Delay
|
소스 Kafka 클러스터가 소스 Kafka 주제의 레코드를 반환하는 데 지연된 시간. 단위: 밀리초 |
BytesPerSecondLimit
|
Firehose가 소스 Kafka 주제의 각 파티션에서 읽을 수 있는 처리량의 현재 한도. 단위: 바이트/초 |
KafkaOffsetLag
|
Firehose가 소스 Kafka 주제에서 읽은 레코드의 최대 오프셋과 소스 Kafka 주제에서 사용할 수 있는 레코드의 최대 오프셋 간의 차이. 단위: 개 |
FailedValidation.Records
|
레코드 검증에 실패한 레코드 수. 단위: 개 |
FailedValidation.Bytes
|
레코드 검증에 실패한 바이트 수. 단위: 바이트 |
DataReadFromSource.Backpressured
|
BytesPerSecondLimit 파티션당 초과했거나 정상적인 전송 흐름이 느리거나 중단되어 Firehose 스트림이 소스 파티션에서 레코드를 읽는 데 지연이 발생했음을 나타냅니다. 단위: 부울 |
API 수준 지표 CloudWatch
AWS/Firehose 네임스페이스에는 다음과 같은 API 수준 지표가 포함되어 있습니다.
| 지표 | 설명 |
|---|---|
DescribeDeliveryStream.Latency |
단위: 밀리초 |
DescribeDeliveryStream.Requests |
단위: 개 |
ListDeliveryStreams.Latency |
단위: 밀리초 |
ListDeliveryStreams.Requests |
단위: 개 |
PutRecord.Bytes |
지정된 기간 동안 Firehose 스트림에 단위: 바이트 |
PutRecord.Latency |
단위: 밀리초 |
PutRecord.Requests |
단위: 개 |
PutRecordBatch.Bytes |
지정된 기간 동안 Firehose 스트림에 단위: 바이트 |
PutRecordBatch.Latency |
단위: 밀리초 |
PutRecordBatch.Records |
단위: 개 |
PutRecordBatch.Requests |
단위: 개 |
PutRequestsPerSecondLimit |
스로틀링 전에 Firehose 스트림이 처리할 수 있는 초당 최대 풋 요청 수입니다. 이 수에는 및 요청이 포함됩니다 PutRecord . PutRecordBatch 단위: 개 |
ThrottledDescribeStream |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetRecords |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
ThrottledGetShardIterator |
데이터 원본이 Kinesis 데이터 스트림일 때 단위: 개 |
UpdateDeliveryStream.Latency |
단위: 밀리초 |
UpdateDeliveryStream.Requests |
단위: 개 |
데이터 변환 CloudWatch 지표
Lambda를 이용한 데이터 변환이 활성화된 경우 AWS/Firehose 네임스페이스에 다음과 같은 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
ExecuteProcessing.Duration |
Firehose에서 수행하는 각 Lambda 함수 호출에 걸리는 시간입니다. 단위: 밀리초 |
ExecuteProcessing.Success |
전체 Lambda 함수 호출의 합계 대비 성공한 Lambda 함수 호출의 합계. |
SucceedProcessing.Records |
지정한 시간 동안 성공적으로 처리된 레코드 수 단위: 개 |
SucceedProcessing.Bytes |
지정한 시간 동안 성공적으로 처리된 바이트 수 단위: 바이트 |
CloudWatch 로그, 압축 해제 지표
CloudWatch 로그 전송에 압축 해제가 활성화된 경우 AWS/Firehose 네임스페이스에 다음 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
OutputDecompressedBytes.Success |
성공적으로 압축 해제된 데이터 (바이트) 단위: 바이트 |
OutputDecompressedBytes.Failed |
압축 해제 데이터 실패 (바이트) 단위: 바이트 |
OutputDecompressedRecords.Success |
압축 해제에 성공한 레코드 수 단위: 개 |
OutputDecompressedRecords.Failed |
실패한 압축 해제 레코드 수 단위: 개 |
포맷 전환 지표 CloudWatch
형식 변환이 활성화된 경우 AWS/Firehose 네임스페이스에 다음 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
SucceedConversion.Records |
성공적으로 변환된 레코드 수. 단위: 개 |
SucceedConversion.Bytes |
성공적으로 변환된 레코드의 크기. 단위: 바이트 |
FailedConversion.Records |
변환하지 못한 레코드 수. 단위: 개 |
FailedConversion.Bytes |
변환하지 못한 레코드의 크기. 단위: 바이트 |
서버 측 암호화 (SSE) 지표 CloudWatch
AWS/Firehose 네임스페이스에는 SSE와 관련된 다음 지표가 포함됩니다.
| 지표 | 설명 |
|---|---|
KMSKeyAccessDenied |
전송 스트림에 대해 서비스에서 단위: 개 |
KMSKeyDisabled |
전송 스트림에 대해 서비스에서 단위: 개 |
KMSKeyInvalidState |
전송 스트림에 대해 서비스에서 단위: 개 |
KMSKeyNotFound |
전송 스트림에 대해 서비스에서 단위: 개 |
Amazon Data Firehose의 크기
Firehose 스트림별로 측정항목을 필터링하려면 측정기준을 사용하세요. DeliveryStreamName
Amazon Data Firehose 사용 지표
CloudWatch 사용량 지표를 사용하여 계정의 리소스 사용에 대한 가시성을 제공할 수 있습니다. 이러한 지표를 사용하여 CloudWatch 그래프와 대시보드에서 현재 서비스 사용량을 시각화할 수 있습니다.
서비스 할당량 사용량 지표는 AWS/Usage 네임스페이스에 있으며 1분마다 수집됩니다.
현재 이 네임스페이스에서 게시되는 유일한 메트릭 이름은 입니다. CloudWatch ResourceCount 이 지표는 Service, Class, Type 및 Resource 차원으로 게시됩니다.
| 지표 | 설명 |
|---|---|
ResourceCount |
계정에서 실행 중인 지정된 리소스의 수입니다. 리소스는 지표와 연결된 차원에 의해 정의됩니다. 이 지표에 대한 가장 유용한 통계는 1분 동안 사용되는 최대 리소스 수를 나타내는 MAXIMUM입니다. |
다음 측정기준은 Amazon Data Firehose에서 게시하는 사용 지표를 구체화하는 데 사용됩니다.
| 측정기준 | 설명 |
|---|---|
Service |
리소스가 포함된 AWS 서비스의 이름. Amazon Data Firehose 사용량 지표의 경우 이 측정기준의 값은 입니다. |
Class |
추적 중인 리소스의 클래스입니다. Amazon Data Firehose API 사용 지표는 값이 인 이 차원을 사용합니다. |
Type |
추적 중인 리소스의 유형. 현재 서비스 차원이 |
Resource |
AWS 리소스의 이름. 현재 서비스 차원이 |
