Amazon을 사용하여 스토리지 및 파일 시스템 작업 EMR

AmazonEMR과 Hadoop은 클러스터 단계를 처리할 때 사용할 수 있는 다양한 파일 시스템을 제공합니다. 데이터에 URI 액세스하는 데 사용되는의 접두사가 사용할 파일 시스템을 지정합니다. 예를 들어는를 사용하여 Amazon S3 버킷을 s3://amzn-s3-demo-bucket1/path 참조합니다EMRFS. 다음 표에서는 사용 가능한 파일 시스템과 언제 각 파일 시스템을 가장 적합하게 사용할 수 있는지에 대한 권장 사항이 나열됩니다.

AmazonEMR과 Hadoop은 일반적으로 클러스터를 처리할 때 다음 파일 시스템 중 두 개 이상을 사용합니다. HDFS 및 EMRFS는 Amazon에서 사용되는 두 가지 기본 파일 시스템입니다EMR.

중요

Amazon EMR 릴리스 5.22.0부터 Amazon은 Amazon S3에 대한 요청을 인증하기 위해 AWS 서명 버전 4만 EMR 사용합니다. 이전 Amazon EMR 릴리스는 경우에 따라 AWS 서명 버전 4만 사용됨을 릴리스 정보에 명시하지 않는 한 서명 버전 2를 사용합니다. 자세한 내용은 Amazon Simple Storage Service 개발자 안내서의 요청 인증(AWS 서명 버전 4) 및 요청 인증(AWS 서명 버전 2)을 참조하세요.

파일 시스템	접두사	설명
HDFS	hdfs://(또는 접두사 없음)	HDFS는 Hadoop을 위한 확장 가능하고 이동 가능한 분산 파일 시스템입니다. 의 장점HDFS은 클러스터를 관리하는 하둡 클러스터 노드와 개별 단계를 관리하는 하둡 클러스터 노드 간의 데이터 인식입니다. 자세한 내용은 Hadoop 설명서를 참조하십시오. HDFS는 마스터 및 코어 노드에서 사용됩니다. 한 가지 장점은 빠르다는 것이고, 단점은 클러스터가 종료될 때 회수되는 휘발성 스토리지라는 것입니다. 이 스토리지는 중간 작업 흐름 단계에서 생성된 결과를 캐시하는 데 가장 적합합니다.
EMRFS	s3://	EMRFS는 Amazon에서 Amazon S3로 EMR 직접 일반 파일을 읽고 쓰는 데 사용되는 Hadoop 파일 시스템을 구현합니다. EMRFS는 Hadoop과 함께 사용할 수 있도록 Amazon S3에 영구 데이터를 저장하는 동시에 Amazon S3 서버 측 암호화, read-after-write 일관성 및 목록 일관성과 같은 기능을 제공하는 편리함을 제공합니다. 참고 이전에는 Amazon에서 s3n 및 s3a 파일 시스템을 EMR 사용했습니다. 둘 다 작동하지만 최상의 성능, 보안 및 신뢰성을 위해 s3 URI 체계를 사용하는 것이 좋습니다.
로컬 파일 시스템		로컬 파일 시스템은 로컬로 연결된 디스크를 참조합니다. 하둡 클러스터가 생성되면 각 노드는 EC2 인스턴스 스토어라고 하는 사전 구성된 디스크 스토리지 블록과 함께 제공되는 인스턴스에서 생성됩니다. 인스턴스 스토어 볼륨의 데이터는 EC2 인스턴스 수명 동안에만 유지됩니다. 인스턴스 스토어 볼륨은 버퍼, 캐시, 스크래치 데이터 및 기타 임시 콘텐츠와 같이 지속적으로 변경되는 임시 데이터를 저장하는 데 적합합니다. 자세한 내용은 Amazon EC2 인스턴스 스토리지를 참조하세요. 로컬 파일 시스템은에서 사용하지HDFS만 Python은 로컬 파일 시스템에서도 실행되며 인스턴스 스토어 볼륨에 추가 애플리케이션 파일을 저장하도록 선택할 수 있습니다.
(레거시) Amazon S3 블록 파일 시스템	s3bfs://	Amazon S3 블록 파일 시스템은 레거시 파일 스토리지 시스템입니다. 이 시스템은 사용하지 않는 것이 좋습니다. 중요 클러스터 장애의 원인이 될 수 있는 경합 상태를 트리거할 수 있으므로 이 파일 시스템을 사용하지 않는 것이 좋습니다. 하지만 이 시스템은 레거시 애플리케이션에서 필요할 수 있습니다.

파일 시스템에 액세스

데이터에 액세스하는 데 사용되는 균일한 리소스 식별자(URI)의 접두사가 사용할 파일 시스템을 지정합니다. 다음 절차에서는 다양한 유형의 파일 시스템을 참조하는 방법을 설명합니다.

로컬에 액세스하려면 HDFS

• 에서 hdfs:/// 접두사를 지정합니다URI. Amazon은에서 접두사를 지정하지 않은 경로를 로컬 URI로 EMR 확인합니다HDFS. 예를 들어 다음 두 가지 모두에서 동일한 위치로 확인URIs됩니다HDFS.

  
  hdfs:///path-to-data
  							
  /path-to-data
              

원격에 액세스하려면 HDFS

• 다음 예제와 URI같이에 마스터 노드의 IP 주소를 포함합니다.

  
  hdfs://master-ip-address/path-to-data
  						
  master-ip-address/path-to-data
              

Amazon S3에 액세스하는 방법

• s3:// 접두사를 사용합니다.

  						
  s3://bucket-name/path-to-file-in-bucket
  					

Amazon S3 블록 파일 시스템에 액세스하는 방법

• Amazon S3 블록 파일 시스템이 필요한 레거시 애플리케이션에만 사용합니다. 이 파일 시스템을 사용하여 데이터에 액세스하거나 저장하려면의 s3bfs:// 접두사를 사용합니다URI.

  Amazon S3 블록 파일 시스템은 크기가 5GB를 초과하는 파일을 Amazon S3에 업로드할 수 있도록 지원하기 위해 사용되었던 레거시 파일 시스템입니다. Amazon이 AWS Java를 통해 EMR 제공하는 멀티파트 업로드 기능을 사용하면 Amazon S3 네이티브 파일 시스템에 최대 5TB 크기의 파일을 업로드할 SDK수 있으며 Amazon S3 블록 파일 시스템은 더 이상 사용되지 않습니다.

  주의

  이 레거시 파일 시스템은 파일 시스템을 손상시킬 수 있는 레이스 조건을 생성할 수 있으므로이 형식을 피하고 EMRFS 대신를 사용해야 합니다.

  
  s3bfs://bucket-name/path-to-file-in-bucket