재시도 로직

EMRFS특정 횟수의 재시도 횟수 동안 해당 메타데이터에서 추적된 객체의 목록 일관성을 확인하려고 합니다. 기본값은 5입니다. 재시도 횟수를 초과하는 경우 fs.s3.consistent.throwExceptionOnInconsistency가 false로 설정되지 않았으면 원래 작업에서 실패 메시지를 반환합니다. 이 옵션이 false이면 객체가 일관되지 않은 항목으로만 기록됩니다. EMRFS기본적으로 지수 백오프 재시도 정책을 사용하지만 고정 정책으로 설정할 수도 있습니다. 또한 사용자는 예외 발생 없이 작업의 나머지 부분을 지속하기 전에 특정 시간 동안 재시도하려고 할 수도 있습니다. fs.s3.consistent.throwExceptionOnInconsistency를 false로, fs.s3.consistent.retryPolicyType 을 fixed로, 그리고 fs.s3.consistent.retryPeriodSeconds를 원하는 값으로 설정하면 가능합니다. 다음 예제에서는 일관성이 활성화된 상태로 클러스터를 생성합니다. 이 경우, 불일치 항목을 기록하고 10초의 고정 재시도 간격을 설정합니다.

예 재시도 기간을 고정 값으로 설정

aws emr create-cluster --release-label emr-7.2.0 \
--instance-type m5.xlarge --instance-count 1 \
--emrfs Consistent=true,Args=[fs.s3.consistent.throwExceptionOnInconsistency=false, fs.s3.consistent.retryPolicyType=fixed,fs.s3.consistent.retryPeriodSeconds=10] --ec2-attributes KeyName=myKey

참고

가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

자세한 내용은 일관된 보기 단원을 참조하십시오.

EMRFSGET 지역 호출을 위한 구성 IMDS

EMRFSIMDS(인스턴스 메타데이터 서비스) 를 사용하여 인스턴스 지역과 Amazon S3, DynamoDB 또는 엔드포인트를 가져옵니다. AWS KMS 하지만 처리할 수 있는 요청 IMDS 수에는 제한이 있으며, 이 한도를 초과하는 요청은 실패합니다. 이 IMDS 제한으로 인해 초기화가 EMRFS 실패하고 쿼리 또는 명령이 실패할 수 있습니다. 다음과 같은 무작위 지수 백오프 재시도 메커니즘과 emrfs-site.xml의 폴백 리전 구성 속성을 사용하여 모든 재시도가 실패하는 시나리오를 해결할 수 있습니다.

<property>
    <name>fs.s3.region.retryCount</name>
    <value>3</value>
    <description>
    Maximum retries that would be attempted to get AWS region.
    </description>
</property>
<property>
    <name>fs.s3.region.retryPeriodSeconds</name>
    <value>3</value>
    <description>
    Base sleep time in second for each get-region retry.
    </description>
</property>
<property>
    <name>fs.s3.region.fallback</name>
    <value>us-east-1</value>
    <description>
    Fallback to this region after maximum retries for getting AWS region have been reached.
    </description>
</property>