File Transfer 체크섬

File Transfer는 백그라운드에서 업로드에 대한 체크섬을 수행하여 S3 버킷에 있는 파일과 대조해 디스크에 있는 파일의 무결성을 확인합니다. 체크섬은 업로드한 각 파일에 대해 계산되며 체크섬 값은 File Transfer 데이터베이스에 저장됩니다.

다음은 File Transfer의 기본 체크섬 프로세스에 대한 설명입니다.

1. 체크섬은 업로드하는 파일에 대해 계산됩니다.

2. 업로드 파일이 S3 버킷에 없는 경우 체크섬이 File Transfer 데이터베이스에 추가되고 파일이 Amazon S3 버킷에 업로드됩니다.

3. 업로드 파일이 S3 버킷에 이미 있는 경우 업로드 파일의 체크섬이 File Transfer 데이터베이스의 체크섬과 대조하여 확인됩니다.

   1. 체크섬이 일치하면 파일이 S3 버킷에 있는 파일과 동일하기 때문에 업로드되지 않습니다.

   2. 체크섬이 일치하지 않으면 업로드 파일이 수정된 것이므로 S3 버킷에 업로드됩니다. 새 체크섬이 File Transfer 데이터베이스에 추가됩니다.

File Transfer 내에서 네이티브 체크섬 프로세스를 건너뛰려면 미디어 해시 목록(MHL)을 업로드 중인 파일과 동일한 폴더나 상위 폴더에 추가하세요. 자체 MHL을 제공하는 경우 File Transfer는 파일 해시를 MHL과 대조하여 확인합니다. 로컬 File Transfer 폴더의 루트에 있는 단일 MHL은 하위 폴더 내의 파일을 재귀적으로 참조할 수 있습니다. 각 파일마다 다른 MHL 파일을 갖는 것보다는 폴더 안의 대부분 또는 모든 파일에 대한 체크섬을 가진 단일 MHL 파일을 사용하는 것이 좋습니다.

다음은 File Transfer 체크섬에 대해 이해해야 할 몇 가지 중요한 개념입니다.

네이티브 체크섬

체크섬은 업로드하는 파일에 대해 계산됩니다. 체크섬은 File Transfer 데이터베이스의 체크섬과 대조하여 검사됩니다. 체크섬이 일치하지 않는 경우 File Transfer는 파일을 다시 업로드합니다. 원본 업로드 이후 파일을 변경한 경우 체크섬 불일치가 발생합니다. 파일을 처음 업로드하면 File Transfer가 비교하는 데 사용할 수 있는 기존 파일이 Amazon S3에 없을 것입니다. CPU 수는 체크섬 성능에 영향을 줍니다.

MHL 체크섬

File Transfer의 네이티브 체크섬 프로세스를 건너뛰려면 업로드 디렉터리에 미디어 해시 목록(MHL) 파일을 제공하세요. MHL 파일은 파일이 다른 위치로 이동할 때 파일의 무결성을 검증하는 데 사용됩니다.

File Transfer는 MHL을 신뢰할 수 있는 소스로 취급하고 업로드된 객체의 메타데이터에 체크섬 값을 추가합니다. MHL 파일에는, <md5>HEXVALUE</md5>, <xxhash64>HEXVALUE</xxhash64> 또는 <xxhash64be>HEXVALUE</xxhash64be> 필드 중 하나가 포함되어야 합니다. MHL 사양에 대한 자세한 내용은 About Media Hash List를 참조하세요.

구성 가능한 체크섬

기본적으로 File Transfer는 전체 논리적 코어 수보다 하나 적은 수를 사용하여 체크섬을 동시에 계산합니다. 이 값은 최대 임계값입니다.

예를 들어, 호스트 컴퓨터에 논리적 코어가 12개 있는 경우 최대 임계값은 11입니다. 최소 임계값은 시스템의 코어 수에 관계없이 항상 1입니다. 기본적으로 한 번에 1개의 체크섬이 실행됩니다. 최대 활성 체크섬 수가 최대 임계값을 초과하지 않도록 하는 보호 장치가 있습니다.

max_active_checksums 구성 속성을 수정하여 동시에 실행되는 체크섬 수를 조정할 수 있습니다. 체크섬 수를 조정해야 하는 경우의 예로는 File Transfer에서 사용하는 리소스의 양을 줄이려는 경우를 들 수 있습니다. 이렇게 하면 CPU 리소스를 다른 프로세스에 사용할 수 있습니다.