데이터 전송 일시 중지 및 재개

Firehose 스트림을 설정한 후 스트림 소스에서 사용 가능한 데이터는 지속적으로 대상에 전송됩니다. 스트림 대상을 일시적으로 사용할 수 없는 상황이 발생하는 경우(예: 계획된 유지 관리 작업 진행), 데이터 전송을 일시적으로 중지하고 대상이 다시 사용 가능해지면 재개하는 것이 좋습니다.

중요

아래 설명된 접근 방식을 사용하여 스트림을 일시 중지 및 재개하면 스트림을 재개한 후 Amazon S3의 오류 버킷으로 전송되는 레코드가 거의 없는 반면 나머지 스트림은 계속 대상으로 전송되는 것을 확인할 수 있습니다. 이는 해당 접근 방식의 알려진 제한 사항으로, 여러 번의 재시도 후에도 대상으로 전송되지 못한 소수의 레코드가 실패한 것으로 처리되기 때문입니다.

Firehose 스트림 일시 중지

Firehose의 스트림 전송을 일시 중지하려면 먼저 전송 실패에 대해 Firehose가 S3 백업 위치에 쓸 수 있는 권한을 제거합니다. 예를 들어 OpenSearch 대상으로 Firehose 스트림을 일시 중지하려면 권한을 업데이트하여이 작업을 수행할 수 있습니다. 자세한 내용은 퍼블릭 OpenSearch 서비스 대상에 대한 Firehose 액세스 권한 부여를 참조하세요.

작업 s3:PutObject에 대한 "Effect": "Allow" 권한을 제거하고, 실패한 전송의 백업에 사용되는 S3 버킷에 대해 작업 s3:PutObject에 대한 Effect": "Deny" 권한을 적용하는 명령문을 명시적으로 추가합니다. 그런 다음 스트림 대상을 끄거나(예: 대상 OpenSearch 도메인 끄기) Firehose가 대상에 쓸 수 있는 권한을 제거합니다. 다른 대상에 대한 권한을 업데이트하려면 Controlling Access with Amazon Data Firehose(Amazon Data Firehose를 사용한 액세스 제어)에서 해당 대상에 대한 섹션을 확인하세요. 이 두 작업을 완료하면 Firehose는 스트림 전송을 중지하고 CloudWatch Firehose에 대한 지표를 사용하여 이를 모니터링할 수 있습니다.

중요

Firehose의 스트림 전송을 일시 중지할 때는, 스트림 전송이 재개되고 데이터가 대상으로 전달될 때까지 스트림 소스(예: Kinesis Data Streams 또는 Managed Service for Kafka)가 데이터를 보존하도록 구성되어야 합니다. 소스가 Direct인 경우 PUTFirehose는 24시간 동안 데이터를 유지합니다. 데이터 보존 기간이 만료되기 전에 스트림을 재개하여 데이터를 전송하지 않으면 데이터가 손실될 수 있습니다.

Firehose 스트림 재개

전송을 재개하려면, 먼저 대상을 켜고 Firehose에 스트림을 대상으로 전송할 권한이 있는지 확인하여 스트림 대상에 대한 이전의 변경 사항을 되돌립니다. 그런 다음, 실패한 전송을 백업하기 위해 S3 버킷에 적용되는 권한에 대한 이전의 변경 사항을 되돌립니다. 즉, 작업 s3:PutObject에 대한 "Effect": "Allow" 권한을 제거하고, 실패한 전송의 백업에 사용되는 S3 버킷에 대해 작업 s3:PutObject에 대한 "Effect": "Deny" 권한을 제거합니다. 마지막으로 CloudWatch Firehose에 대한 지표를 사용하여 모니터링하여 스트림이 대상으로 전달되고 있는지 확인합니다. 오류를 보고 해결하려면 Firehose에 대한 Amazon CloudWatch Logs 모니터링을 사용합니다.