Amazon Q 데이터 통합 AWS Glue

Amazon Q 데이터 AWS Glue 통합은 데이터 엔지니어와 ETL 개발자가 자연어를 사용하여 데이터 통합 작업을 구축할 수 있게 AWS Glue 해주는 새로운 생성 AI 기능입니다. 엔지니어와 개발자는 Amazon Q에 작업을 작성하고, 문제를 해결하고, 데이터 통합에 대한 AWS Glue 질문에 답하도록 요청할 수 있습니다.

Amazon Q란 무엇인가요?

참고

Amazon Bedrock 제공: 자동 악용 탐지 AWS 기능을 구현합니다. Amazon Q 데이터 통합은 Amazon Bedrock을 기반으로 구축되었으므로 사용자는 Amazon Bedrock에 구현된 제어 기능을 최대한 활용하여 안전, 보안, 인공 지능(AI)의 책임 있는 사용을 강화할 수 있습니다.

Amazon Q는 애플리케이션을 이해, 구축, 확장 및 운영하는 데 도움이 되는 생성적 인공 지능 (AI) 기반 대화형 도우미입니다. AWS Amazon Q를 지원하는 모델은 고품질 AWS 콘텐츠로 보강되어 더욱 완전하고 실행 가능하며 참조할 수 있는 답변을 제공하여 구축을 가속화합니다. AWS자세한 내용은 What is Amazon Q?를 참조하세요.

AWS Glue의 Amazon Q 데이터 통합이란 무엇인가요?

Amazon Q 데이터 통합에는 다음과 같은 기능이 AWS Glue 포함됩니다.

• 채팅 — Amazon Q Data Integration은 AWS Glue 소스 AWS Glue 및 대상 커넥터, AWS Glue ETL 작업, 데이터 카탈로그, 크롤러 및 기타 기능 설명서, 모범 사례와 AWS Lake Formation같은 데이터 통합 도메인에 대한 자연어 질문에 영어로 답변할 AWS Glue 수 있습니다. Amazon Q 데이터 통합은 AWS Glue step-by-step 지침에 따라 처리되며 해당 정보 소스에 대한 참조를 포함합니다.

• 데이터 통합 코드 생성 — Amazon Q 데이터 통합을 통해 AWS Glue ETL 스크립트에 대한 질문에 답하고 영어로 된 자연어 질문이 주어지면 새 코드를 생성할 AWS Glue 수 있습니다.

• 문제 해결 — Amazon Q 데이터 AWS Glue 통합은 AWS Glue 작업 오류를 이해하는 데 도움이 되도록 특별히 설계되었으며 문제의 근본 원인 및 해결을 위한 step-by-step 지침을 제공합니다.

참고

Amazon Q 데이터 통합은 대화가 진행되는 동안 향후 응답을 알리기 위해 대화의 컨텍스트를 사용하지 AWS Glue 않습니다. Amazon Q 데이터 통합과의 각 AWS Glue 대화는 이전 또는 향후 대화와 무관합니다.

AWS Glue의 Amazon Q 데이터 통합을 사용 중이신가요?

Amazon Q 패널에서 Amazon Q에 AWS Glue ETL 스크립트용 코드 생성을 요청하거나 AWS Glue 기능에 대한 질문에 답변하거나 오류 해결을 요청할 수 있습니다. 응답은 스크립트를 사용자 지정하고 검토 및 실행하기 위한 step-by-step 지침이 PySpark 포함된 ETL 스크립트입니다. 질문의 경우 데이터 통합 지식을 기반으로 답변이 생성되며, 답변에는 참조할 수 있는 요약 및 소스 URL이 포함되어 있습니다.

예를 들어 Amazon Q에 "Snowflake에서 읽고, 필드 이름을 바꾸고, Redshift에 쓰는 Glue 스크립트를 제공해 주십시오"라고 AWS Glue 요청하면 이에 대한 응답으로 Amazon Q 데이터 통합이 요청된 작업을 수행할 수 있는 AWS Glue 작업 스크립트를 반환합니다. 생성된 코드를 검토하여 요청된 의도를 충족하는지 확인할 수 있습니다. 만족하면 프로덕션 환경에서 작업으로 배포할 수 있습니다. AWS Glue 통합 기능에 오류와 실패를 설명하고 해결책을 제안하도록 요청하여 작업 문제를 해결할 수 있습니다. Amazon Q는 데이터 통합 모범 사례에 대한 AWS Glue 질문에 답변해 드립니다.

다음은 Amazon Q 데이터 통합이 기반을 구축하는 데 어떻게 AWS Glue 도움이 되는지 보여주는 예제 질문입니다 AWS Glue.

AWS Glue ETL 코드 생성:

• S3에서 JSON을 읽고, 매핑 적용을 사용하여 필드를 변환하고, Amazon Redshift에 쓰는 AWS Glue 스크립트를 작성합니다.

• DynamoDB에서 읽기 위한 AWS Glue 스크립트를 작성하고 변환을 적용하고 S3에 DropNullFields Parquet으로 쓰려면 어떻게 해야 합니까?

• MySQL에서 읽고, 비즈니스 로직을 기반으로 일부 필드를 삭제하고, Snowflake에 쓰는 AWS Glue 스크립트를 주세요.

• DynamoDB에서 읽고 S3에 AWS Glue JSON으로 쓸 작업을 작성합니다.

• S3에 대한 AWS Glue 데이터 카탈로그용 AWS Glue 스크립트를 개발하는 데 도움을 주세요.

• S3에서 JSON을 읽고, 널을 삭제하고, Redshift에 쓰는 AWS Glue 작업을 작성합니다.

AWS Glue 기능 설명:

• AWS Glue 데이터 품질을 사용하려면 어떻게 해야 하나요?

• AWS Glue 구직 북마크는 어떻게 사용하나요?

• AWS Glue 자동 크기 조정을 활성화하려면 어떻게 해야 하나요?

• AWS Glue 동적 프레임과 Spark 데이터 프레임의 차이점은 무엇입니까?

• 지원되는 연결 유형에는 어떤 것이 있습니까? AWS Glue

AWS Glue 문제 해결:

• AWS Glue 작업 시 발생하는 메모리 부족 (OOM) 오류를 해결하는 방법은 무엇입니까?

• AWS Glue 데이터 품질을 설정할 때 표시될 수 있는 오류 메시지에는 어떤 것이 있으며 어떻게 해결할 수 있습니까?

• Amazon S3 액세스 거부 오류가 발생한 AWS Glue 작업을 수정하려면 어떻게 해야 합니까?

• AWS Glue 작업 시 데이터 셔플 관련 문제를 해결하려면 어떻게 해야 합니까?

Amazon Q 데이터 통합과의 상호 작용을 위한 모범 사례

다음은 Amazon Q 데이터 통합과 상호 작용하는 모범 사례입니다.

• Amazon Q 데이터 통합과 상호 작용할 때는 구체적인 질문을 하고, 복잡한 요청이 있을 때는 반복하고, 답변이 정확한지 확인하십시오.

• 자연어로 데이터 통합 프롬프트를 제공할 때는 어시스턴트가 필요한 내용을 정확히 이해할 수 있도록 최대한 구체적으로 작성하십시오. “S3에서 데이터 추출”을 요청하는 대신 “S3에서 JSON 파일을 추출하는 AWS Glue 스크립트 작성”과 같은 세부 정보를 제공하십시오.

• 생성된 스크립트를 실행하기 전에 검토하여 정확성을 확인하십시오. 생성된 스크립트에 오류가 있거나 의도와 일치하지 않는 경우 도우미에게 수정 방법에 대한 지침을 제공하십시오.

• 생성형 AI 기술은 새로운 기술이며 응답에 할루시네이션이라고 하는 실수가 있을 수 있습니다. 환경 또는 워크로드에서 사용하기 전에 오류와 취약성이 있는지 모든 코드를 테스트하고 검토하세요.

AWS Glue 서비스 개선을 위한 Amazon Q 데이터 통합

Amazon Q 데이터 통합이 AWS 서비스에 대해 가장 관련성이 높은 정보를 AWS Glue 제공할 수 있도록 아마존은 서비스 개선을 위해 사용자가 Amazon Q에 묻는 질문과 이에 대한 답변과 같은 Amazon Q의 특정 콘텐츠를 사용할 수 있습니다.

당사에서 사용하는 콘텐츠 및 옵트아웃 방법에 대한 자세한 내용은 Amazon Q Developer 사용 설명서의 Amazon Q Developer 서비스 개선을 참조하십시오.

고려 사항

AWS Glue의 Amazon Q 데이터 통합을 사용하기 전에 다음 항목을 고려하세요.

• 현재 코드 생성은 PySpark 커널에서만 작동합니다. 생성된 코드는 Python Spark 기반 AWS Glue 작업용입니다.

• Amazon Q 데이터 통합에서 AWS Glue지원되는 코드 생성 기능 조합에 대한 자세한 내용은 을 참조하십시오지원되는 코드 생성 기능.