Amazon S3에서 지속적인 파일 수집(프리뷰) - Amazon Redshift

Amazon S3에서 지속적인 파일 수집(프리뷰)

이 사전 릴리스 설명서는 미리 보기 릴리스에 있는 자동 복사(SQL COPY JOB)에 대한 것입니다. 설명서 및 기능은 모두 변경될 수 있습니다. 프로덕션 환경이 아닌 테스트 환경에서만 이 기능을 사용하는 것이 좋습니다. 공개 미리 보기는 2024년 7월 31일에 종료됩니다. 미리 보기 클러스터는 미리 보기 종료 후 2주 후에 자동으로 제거됩니다. 미리 보기 이용 약관은 AWS 서비스 약관의 베타 및 미리 보기를 참조하세요.
참고

Preview(미리 보기)에서 Amazon Redshift 클러스터를 생성하여 Amazon Redshift의 새로운 기능을 테스트할 수 있습니다. 프로덕션에서 이러한 기능을 사용하거나 Preview(미리 보기) 클러스터를 프로덕션 클러스터 또는 다른 트랙의 클러스터로 이동할 수 없습니다. 미리 보기 이용 약관은 AWS 서비스 약관의 베타 및 미리 보기를 참조하세요.

Preview(미리 보기)에서 클러스터 생성

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/redshiftv2/에서 Amazon Redshift 콘솔을 엽니다.

  2. 탐색 메뉴에서 Provisioned clusters dashboard(프로비저닝된 클러스터 대시보드)를 선택하고 Clusters(클러스터)를 선택합니다. 현재 AWS 리전의 계정에 대한 클러스터가 나열됩니다. 각 클러스터의 속성 하위 집합이 목록의 열에 표시됩니다.

  3. Clusters(클러스터) 목록 페이지에 미리 보기를 소개하는 배너가 표시됩니다. Create preview cluster(미리 보기 클러스터 생성) 버튼을 선택하여 클러스터 생성 페이지를 엽니다.

  4. 클러스터의 속성을 입력합니다. 테스트하려는 기능이 포함된 Preview track(미리 보기 트랙)을 선택합니다. 미리 보기 트랙에 있음을 나타내는 클러스터 이름을 입력하는 것이 좋습니다. 테스트하려는 기능에 대해 -preview 레이블이 지정된 옵션을 포함하여 클러스터 옵션을 선택합니다. 클러스터 생성에 대한 일반적인 정보는 Amazon Redshift 관리 안내서의 클러스터 생성을 참조하세요.

  5. 미리 보기에서 클러스터를 생성하려면 클러스터 생성을 선택합니다.

  6. 미리 보기 클러스터를 사용할 수 있으면 SQL 클라이언트를 사용하여 데이터를 로드하고 쿼리합니다.

클러스터는 preview_2023라는 미리 보기 트랙으로 생성되어야 합니다. 테스트를 위해 새 클러스터를 사용합니다. 클러스터를 이 트랙으로 복원하는 것은 지원되지 않습니다. Amazon Redshift Serverless 작업 그룹에서는 자동 복사 기능을 사용할 수 없습니다.

이 미리 보기는 다음 AWS 리전에서 사용 가능합니다.

  • 미국 동부(오하이오) 리전(us-east-2)

  • 미국 동부(버지니아 북부) 리전(us-east-1)

  • 미국 서부(오레곤) 리전(us-west-2)

  • 아시아 태평양(도쿄) 리전(ap-northeast-1)

  • 유럽(스톡홀름) 리전(eu-north-1)

  • 유럽(아일랜드) 리전(eu-west-1)

COPY JOB을 사용하여 Amazon S3에 저장된 파일에서 Amazon Redshift 테이블로 데이터를 로드할 수 있습니다. Amazon Redshift는 COPY 명령에 지정된 경로에 새 Amazon S3 파일이 추가되는 시기를 감지합니다. 그러면 외부 데이터 수집 파이프라인을 만들지 않고도 COPY 명령이 자동으로 실행됩니다. Amazon Redshift는 로드된 파일을 추적합니다. Amazon Redshift는 COPY 명령당 함께 배치되는 파일 수를 결정합니다. 시스템 뷰에서 결과 COPY 명령을 볼 수 있습니다.

COPY 작업을 한 번 정의합니다. 향후 실행에도 동일한 파라미터가 사용됩니다.

CREATE, LIST, SHOW, DROP, ALTER 및 RUN 작업에 대한 옵션을 사용하여 로드 작업을 관리합니다. 자세한 내용은 COPY JOB(미리 보기) 단원을 참조하십시오.

COPY JOB 상태 및 진행률을 확인하기 위해 시스템 뷰를 쿼리할 수 있습니다. 뷰는 다음과 같이 제공됩니다.

COPY JOB에 의해 로드된 파일 목록을 가져오려면 <job_id>를 대체하는 다음 예제를 실행하세요.

SELECT job_id, job_name, data_source, copy_query,filename,status, curtime
FROM sys_copy_job copyjob
JOIN stl_load_commits loadcommit
ON copyjob.job_id = loadcommit.copy_job_id
WHERE job_id = <job_id>;