Amazon Kendra 웹 크롤러 커넥터 v2.0 - Amazon Kendra

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Kendra 웹 크롤러 커넥터 v2.0

웹 크롤러를 사용하여 Amazon Kendra 웹 페이지를 크롤링하고 인덱싱할 수 있습니다.

보안 통신 프로토콜인 HTTPS(Hypertext Transfer Protocol Secure)를 사용하는 공개 웹 사이트 또는 회사 내부 웹사이트만 크롤링할 수 있습니다. 웹 사이트를 크롤링할 때 오류가 발생하면 웹 사이트가 크롤링되지 않도록 차단되었을 수 있습니다. 내부 웹 사이트를 크롤링하기 위해 웹 프록시를 설정할 수 있습니다. 이 웹 프록시는 공개용이어야 합니다. 인증을 사용하여 웹 사이트에 액세스하고 크롤링할 수도 있습니다.

Amazon Kendra 웹 크롤러 v2.0은 Selenium 웹 크롤러 패키지와 Chromium 드라이버를 사용합니다. Amazon Kendra 지속적 통합 (CI) 을 사용하여 Selenium 버전과 Chromium 드라이버를 자동으로 업데이트합니다.

인덱싱할 웹 사이트를 선택할 때 Amazon 이용 정책과 기타 모든 Amazon 약관을 준수해야 합니다. Amazon Kendra 웹 크롤러는 자신의 웹 페이지 또는 인덱싱 권한이 있는 웹 페이지를 인덱싱할 때만 사용해야 한다는 점을 기억하십시오. Amazon Kendra Web Crawler가 웹 사이트를 인덱싱하지 못하게 하는 방법을 알아보려면 을 참조하십시오. Amazon Kendra 웹 크롤러용 robots.txt 파일 구성 . Amazon Kendra 웹 크롤러를 남용하여 소유하지 않은 웹 사이트 또는 웹 페이지를 공격적으로 크롤링하는 행위는 허용되는 사용으로 간주되지 않습니다.

Amazon Kendra 웹 크롤러 데이터 원본 커넥터의 문제를 해결하려면 을 참조하십시오. 데이터 소스 문제 해결

참고

웹 크롤러 커넥터 v2.0은 암호화된 버킷에서 웹 사이트 목록을 크롤링하는 것을 지원하지 않습니다. AWS KMS Amazon S3 관리 키를 사용한 서버 측 암호화만 지원합니다. Amazon S3

중요

Web Crawler v2.0 커넥터 생성은 에서 지원되지 않습니다. AWS CloudFormation지원이 필요한 경우 웹 크롤러 v1.0 커넥터를 사용하십시오. AWS CloudFormation

지원되는 기능

  • 필드 매핑

  • 포함/제외 필터

  • 전체 및 증분 콘텐츠 동기화

  • 웹 프록시

  • 웹 사이트를 위한 기본, NTLM/Kerberos, SAML 및 양식 인증

  • Virtual Private Cloud(VPC)

필수 조건

웹 사이트를 Amazon Kendra 인덱싱하는 데 사용하려면 먼저 웹 사이트 및 AWS 계정의 세부 정보를 확인하세요.

웹 사이트의 경우 다음이 있어야 합니다.

  • 인덱싱하려는 웹 사이트의 시드 또는 사이트맵 URL을 복사했습니다. URL을 텍스트 파일에 저장하고 이를 Amazon S3 버킷에 업로드할 수 있습니다. 텍스트 파일의 각 URL은 별도의 줄에 형식을 지정해야 합니다. 사이트맵을 Amazon S3 버킷에 저장하려면 사이트맵 XML을 복사하여 XML 파일에 저장해야 합니다. 여러 개의 사이트맵 XML 파일을 ZIP 파일로 묶을 수도 있습니다.

    참고

    (온프레미스/서버) AWS Secrets Manager 는 포함된 엔드포인트 정보가 데이터 소스 구성 세부 정보에 지정된 엔드포인트 정보와 동일한지 Amazon Kendra 확인합니다. 이렇게 하면 사용자가 작업을 수행할 권한이 없지만 구성된 보안 암호에 액세스하여 작업을 수행하는 데 Amazon Kendra 를 프록시로 사용하는 보안 문제인 혼동된 대리자 문제를 방지하는 데 도움이 됩니다. 나중에 엔드포인트 정보를 변경하는 경우 새 보안 암호를 생성하여 이 정보를 동기화해야 합니다.

  • 기본, NTLM 또는 Kerberos 인증이 필요한 웹 사이트의 경우:

    • 사용자 이름과 암호가 포함된 웹사이트 보안 인증 정보를 기록해 두었습니다.

      참고

      Amazon Kendra Web Crawler v2.0은 암호 해싱을 포함하는 NTLM 인증 프로토콜과 암호 암호화를 포함하는 Kerberos 인증 프로토콜을 지원합니다.

  • SAML 또는 로그인 양식 인증이 필요한 웹 사이트의 경우:

    • 사용자 이름과 암호가 포함된 웹사이트 보안 인증 정보를 기록해 두었습니다.

    • 사용자 이름 필드(SAML을 사용하는 경우 사용자 이름 버튼 포함), 암호 필드 및 버튼의 XPaths(XML Path Language)를 복사하고 로그인 페이지 URL을 복사했습니다. 웹 브라우저의 개발자 도구를 사용하여 요소의 XPaths를 찾을 수 있습니다. XPaths는 일반적으로 다음 형식을 따릅니다. //tagname[@Attribute='Value']

      참고

      Amazon Kendra Web Crawler v2.0은 헤드리스 Chrome 브라우저와 양식의 정보를 사용하여 OAuth 2.0으로 보호된 URL을 통해 액세스를 인증하고 권한을 부여합니다.

  • 선택 사항: 웹 프록시를 사용하여 크롤링하려는 내부 웹 사이트에 연결하려는 경우 웹 프록시 서버의 호스트 이름과 포트 번호를 복사했습니다. 웹 프록시는 공개되어야 합니다. Amazon Kendra 기본 인증으로 뒷받침되는 웹 프록시 서버 또는 인증 없이 연결할 수 있는 웹 프록시 서버에 연결할 수 있습니다.

  • 선택 사항: VPC를 사용하여 크롤링하려는 내부 웹 사이트에 연결하려는 경우 Virtual Private Cloud(VPC) 서브넷 ID를 복사했습니다. 자세한 내용은 구성을 참조하십시오 Amazon VPC.

  • 인덱싱하려는 각 웹 페이지 문서가 고유한지, 동일한 인덱스에 사용할 다른 데이터 소스 전체를 확인했습니다. 인덱스에 사용하려는 각 데이터 소스에는 데이터 소스 전체에서 동일한 문서가 포함되어서는 안 됩니다. 문서 ID는 인덱스 전체에 적용되며 인덱스별로 고유해야 합니다.

AWS 계정에 다음이 있는지 확인하세요.

  • Amazon Kendra 색인을 만들고 API를 사용하는 경우 색인 ID를 기록해 두었습니다.

  • 데이터 소스에 대한 IAM 역할을 생성하고 API를 사용하는 경우 IAM 역할의 Amazon 리소스 이름을 기록했습니다.

    참고

    인증 유형 및 자격 증명을 변경하는 경우 올바른 AWS Secrets Manager 보안 ID에 액세스하려면 IAM 역할을 업데이트해야 합니다.

  • 인증이 필요한 웹 사이트 또는 인증과 함께 웹 프록시를 사용하는 경우 인증 자격 증명을 AWS Secrets Manager 비밀에 저장하고 API를 사용하는 경우 비밀의 ARN을 기록했습니다.

    참고

    보안 인증 정보와 보안 암호를 정기적으로 새로 고치거나 교체하는 것이 좋습니다. 보안을 위해 필요한 액세스 수준만 제공하세요. 데이터 소스, 커넥터 버전 1.0 및 2.0(해당하는 경우) 간에 보안 인증 정보와 보안 암호를 재사용하지 않는 것이 좋습니다.

기존 IAM 역할이나 암호가 없는 경우 web crawler 데이터 원본을 연결할 Amazon Kendra때 콘솔을 사용하여 새 IAM 역할과 Secrets Manager 암호를 만들 수 있습니다. API를 사용하는 경우 기존 IAM 역할 및 Secrets Manager 암호의 ARN과 인덱스 ID를 제공해야 합니다.

연결 지침

web crawler데이터 Amazon Kendra 원본에 연결하려면 데이터에 액세스할 Amazon Kendra 수 있도록 web crawler 데이터 원본의 필수 세부 정보를 제공해야 합니다. 아직 구성하지 않은 경우 web crawler 을 Amazon Kendra 참조하십시오필수 조건.

Console

Amazon Kendra 연결하려면 web crawler

  1. 에 AWS Management Console 로그인하고 Amazon Kendra 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 인덱스를 선택한 다음 인덱스 목록에서 사용할 인덱스를 선택합니다.

    참고

    인덱스 설정에서 사용자 액세스 제어 설정을 구성하거나 편집할 수 있습니다.

  3. 시작하기 페이지에서 데이터 소스 추가를 선택합니다.

  4. 데이터 원본 추가 페이지에서 웹 크롤러 커넥터를 선택한 다음 커넥터 추가를 선택합니다. 버전 2 (해당하는 경우) 를 사용하는 경우 “V2.0" 태그가 있는 웹 크롤러 커넥터를 선택하십시오.

  5. 데이터 소스 세부 정보 지정 페이지에서 다음 정보를 입력합니다.

    1. 이름 및 설명에서 데이터 소스 이름에 데이터 소스의 이름을 입력합니다. 하이픈은 포함할 수 있지만 공백은 포함할 수 없습니다.

    2. (선택 사항) 설명 - 데이터 소스에 대한 선택적 설명을 입력합니다.

    3. 기본 언어 - 문서를 필터링하여 색인에 사용할 언어를 선택합니다. 달리 지정하지 않는 한, 언어는 영어로 기본 설정됩니다. 문서 메타데이터에 지정된 언어가 선택한 언어보다 우선합니다.

    4. 태그의 새 태그 추가 - 리소스를 검색 및 필터링하거나 비용을 추적할 수 있는 선택적 태그를 포함합니다. AWS

    5. 다음을 선택합니다.

  6. 액세스 및 보안 정의 페이지에서 다음 정보를 입력합니다.

    1. 소스소스 URL, 소스 사이트맵, 소스 URL 파일, 소스 사이트맵 파일 중에서 선택합니다. 최대 100개의 시드 URL 목록이 포함된 텍스트 파일을 사용하기로 선택한 경우 파일이 저장되는 Amazon S3 버킷의 경로를 지정합니다. 사이트맵 XML 파일을 사용하기로 선택한 경우 파일이 저장되는 Amazon S3 버킷의 경로를 지정합니다. 여러 개의 사이트맵 XML 파일을 ZIP 파일로 묶을 수도 있습니다. 그렇지 않으면 최대 10개의 시드 또는 시작점 URL과 최대 3개의 사이트맵 URL을 수동으로 입력할 수 있습니다.

      참고

      사이트맵을 크롤링하려면 기본 또는 루트 URL이 사이트맵 페이지에 나열된 URL과 동일한지 확인하세요. 예를 들어 사이트맵 URL이 https://example.com/sitemap-page.html인 경우 이 사이트맵 페이지에 나열된 URL도 기본 URL “https://example.com/”을 사용해야 합니다.

      웹 사이트에 액세스하는 데 인증이 필요한 웹 사이트의 경우 기본, NTLM/Kerberos, SAML 또는 양식 인증을 선택할 수 있습니다. 그렇지 않으면 인증 없음 옵션을 선택하세요.

      참고

      나중에 데이터 소스를 편집하여 사이트맵에 대한 인증을 통해 시드 URL을 변경하려면 새 데이터 소스를 만들어야 합니다. Amazon Kendra 는 인증을 위해 Secrets Manager 보안 암호의 시드 URL 엔드포인트 정보를 사용하여 데이터 소스를 구성하므로 사이트맵으로 변경할 때 데이터 소스를 재구성할 수 없습니다.

      1. AWS Secrets Manager 비밀 - 웹 사이트에 액세스하는 데 동일한 인증이 필요한 웹 사이트인 경우 기존 암호를 선택하거나 새 암호를 만들어 웹 사이트 자격 Secrets Manager 증명을 저장하십시오. 새 암호를 만들기로 선택하면 AWS Secrets Manager 비밀 창이 열립니다.

        기본 또는 NTML/Kerberos 인증을 선택한 경우 보안 암호와 사용자 이름 및 암호를 입력합니다. NTLM 인증 프로토콜에는 암호 해싱이 포함되고 Kerberos 인증 프로토콜에는 암호 암호화가 포함됩니다.

        SAML 또는 양식 인증을 선택한 경우 보안 암호와 사용자 이름 및 암호를 입력합니다. 사용자 이름 필드에는 XPath를 사용하고, SAML을 사용하는 경우 사용자 이름 버튼에는 XPath를 사용합니다. 암호 필드와 버튼, 로그인 페이지 URL에는 XPaths를 사용하세요. 웹 브라우저의 개발자 도구를 사용하여 요소의 XPaths(XML 경로 언어)를 찾을 수 있습니다. XPaths는 일반적으로 다음 형식을 따릅니다. //tagname[@Attribute='Value']

    2. (선택 사항) 웹 프록시 - 내부 웹 사이트에 연결하는 데 사용할 프록시 서버의 호스트 이름과 포트 번호를 입력합니다. 예를 들어, https://a.example.com/page1.html의 호스트 이름은 “a.example.com”이고 포트 번호는 HTTPS의 표준 포트인 443입니다. 웹 사이트 호스트에 연결하는 데 웹 프록시 자격 증명이 필요한 경우 자격 증명을 저장하는 웹 프록시 자격 증명을 만들 수 있습니다. AWS Secrets Manager

    3. Virtual Private Cloud(VPC) - VPC를 사용하기로 선택할 수 있습니다. 그렇다면 서브넷VPC 보안 그룹을 추가해야 합니다.

    4. IAM 역할 - 기존 역할을 선택하거나 새 IAM IAM 역할을 생성하여 리포지토리 자격 증명에 액세스하고 콘텐츠를 인덱싱합니다.

      참고

      IAM 색인에 사용되는 역할은 데이터 원본에 사용할 수 없습니다. 기존 역할을 인덱스나 FAQ에 사용하는지 확실하지 않은 경우 새 역할 생성을 선택하여 오류를 방지하세요.

    5. 다음을 선택합니다.

  7. 동기화 설정 구성 페이지에 다음 정보를 입력합니다.

    1. 동기화 범위 - 도메인, 파일 크기 및 링크를 비롯한 웹 페이지 크롤링에 대한 제한을 설정하고 정규식 패턴을 사용하여 URL을 필터링합니다.

      1. (선택 사항) 도메인 크롤링 범위 - 웹 사이트 도메인만 크롤링할지, 하위 도메인이 있는 도메인만 크롤링할지, 아니면 웹 페이지가 연결된 다른 도메인도 크롤링할지 선택합니다. 기본적으로 크롤링하려는 웹 사이트의 Amazon Kendra 도메인만 크롤링합니다.

      2. (선택 사항) 추가 구성 - 다음 설정을 구성합니다.

        • 크롤링 깊이 - 시드 수준에서부터 크롤링할 '깊이' 또는 수준 수. 예를 들어 시드 URL 페이지는 깊이 1이고 이 페이지에서 크롤링되는 모든 하이퍼링크는 깊이 2입니다.

        • 최대 파일 크기 - 크롤링할 최대 웹 페이지 또는 첨부 파일 크기(MB)입니다.

        • 페이지당 최대 링크 - 크롤링할 단일 웹 페이지의 최대 URL 수입니다.

        • 최대 크롤링 속도 제한 - 1분간 웹사이트 호스트당 크롤링되는 최대 URL 수입니다.

        • 파일 - 웹 페이지가 링크된 파일을 크롤링하려면 선택합니다.

        • URL 크롤링 및 인덱싱 - 특정 URL을 크롤링하고 해당 URL 웹 페이지의 하이퍼링크를 인덱싱하는 것을 포함하거나 제외하는 정규 표현식 패턴 목록을 추가합니다.

    2. 동기화 모드 - 데이터 소스 콘텐츠가 변경될 때 인덱스를 업데이트하는 방법을 선택합니다. 데이터 원본을 처음으로 동기화하는 경우 Amazon Kendra 기본적으로 모든 콘텐츠가 크롤링되고 색인됩니다. 동기화 모드 옵션으로 전체 동기화를 선택하지 않더라도 초기 동기화에 실패한 경우 데이터의 전체 동기화를 실행해야 합니다.

      • 전체 동기화: 모든 콘텐츠를 새로 인덱싱하여 데이터 소스가 색인과 동기화될 때마다 기존 콘텐츠를 대체합니다.

      • 신규, 수정, 삭제된 동기화: 데이터 소스가 색인과 동기화될 때마다 신규, 수정, 삭제된 콘텐츠만 색인화합니다. Amazon Kendra 데이터 원본의 메커니즘을 사용하여 콘텐츠 변경 사항을 추적하고 마지막 동기화 이후 변경된 콘텐츠를 인덱싱할 수 있습니다.

    3. 동기화 실행 일정 - 빈도에서 Amazon Kendra 가 데이터 소스와 동기화할 빈도를 선택합니다.

    4. 다음을 선택합니다.

  8. 필드 매핑 설정 페이지에 다음 정보를 입력합니다.

    1. Amazon Kendra 생성된 웹 페이지 및 파일의 기본 필드 중에서 색인에 매핑하려는 필드를 선택합니다.

    2. 다음을 선택합니다.

  9. 검토 및 생성 페이지에서 입력한 정보가 정확한지 확인한 다음 데이터 소스 추가를 선택합니다. 이 페이지에서 정보를 편집하도록 선택할 수도 있습니다. 데이터 소스가 성공적으로 추가된 후 데이터 소스 페이지에 데이터 소스가 표시됩니다.

API

Amazon Kendra 연결하려면 web crawler

TemplateConfiguration API를 사용하여 데이터 소스 스키마의 JSON을 지정해야 합니다. 다음 정보를 제공해야 합니다.

  • 데이터 원본 - TemplateConfigurationJSON 스키마를 사용할 WEBCRAWLERV2 때와 같이 데이터 원본 유형을 지정합니다. 또한 API를 TEMPLATE 호출할 때와 같이 데이터 소스를 지정하십시오. CreateDataSource

  • URL - 크롤링할 웹 사이트의 시드나 시작 지점 URL 또는 웹 사이트의 사이트맵 URL을 지정합니다. 시드 URL 목록을 저장하는 Amazon S3 버킷의 경로를 지정할 수 있습니다. 시드 URL의 텍스트 파일의 각 URL은 별도의 줄에 형식을 지정해야 합니다. 사이트맵 XML 파일을 저장하는 Amazon S3 버킷의 경로를 지정할 수도 있습니다. 여러 사이트맵 파일을 ZIP 파일로 묶고 Amazon S3 버킷에 ZIP 파일을 저장할 수 있습니다.

    참고

    사이트맵을 크롤링하려면 기본 또는 루트 URL이 사이트맵 페이지에 나열된 URL과 동일한지 확인하세요. 예를 들어 사이트맵 URL이 https://example.com/sitemap-page.html인 경우 이 사이트맵 페이지에 나열된 URL도 기본 URL “https://example.com/”을 사용해야 합니다.

  • 동기화 모드 - 데이터 원본 콘텐츠가 변경될 때 색인을 업데이트하는 방법을 Amazon Kendra 지정합니다. 데이터 원본을 처음으로 동기화하는 경우 기본적으로 모든 콘텐츠가 크롤링되고 색인됩니다. Amazon Kendra 동기화 모드 옵션으로 전체 동기화를 선택하지 않더라도 초기 동기화에 실패한 경우 데이터의 전체 동기화를 실행해야 합니다. 다음 중에서 선택할 수 있습니다.

    • FORCED_FULL_CRAWL모든 콘텐츠를 새로 인덱싱하려면 데이터 원본이 색인과 동기화될 때마다 기존 콘텐츠를 교체해야 합니다.

    • FULL_CRAWL데이터 원본이 색인과 동기화될 때마다 새 콘텐츠, 수정된 콘텐츠, 삭제된 콘텐츠만 색인화하도록 합니다. Amazon Kendra 데이터 원본의 메커니즘을 사용하여 콘텐츠 변경 사항을 추적하고 마지막 동기화 이후 변경된 콘텐츠를 인덱싱할 수 있습니다.

  • 인증 - 웹 사이트에 동일한 인증이 필요한 경우, BasicAuth, NTLM_Kerberos, SAML 또는 Form 인증을 지정하세요. 웹 사이트에 인증이 필요하지 않은 경우 NoAuthentication을 지정하세요.

  • 보안 암호 Amazon 리소스 이름(ARN) - 웹사이트에서 기본, NTLM 또는 Kerberos 인증을 사용하려는 경우 사용자 이름 및 암호의 보안 인증 정보를 저장하는 보안 암호를 제공합니다. AWS Secrets Manager 보안 암호의 Amazon 리소스 이름(ARN)을 제공합니다. 보안 암호는 다음 키가 있는 JSON 구조로 저장됩니다.

    { "seedUrlsHash": "Hash representation of all seed URLs", "userName": "user name", "password": "password" }

    웹 사이트에 SAML 인증이 필요한 경우 보안 암호는 다음 키가 있는 JSON 구조에 저장됩니다.

    { "seedUrlsHash": "Hash representation of all seed URLs", "userName": "user name", "password": "password", "userNameFieldXpath": "XPath for user name field", "userNameButtonXpath": "XPath for user name button", "passwordFieldXpath": "XPath for password field", "passwordButtonXpath": "XPath for password button", "loginPageUrl": "Full URL for website login page" }

    웹 사이트에 양식 인증이 필요한 경우 보안 암호는 다음 키가 있는 JSON 구조에 저장됩니다.

    { "seedUrlsHash": "Hash representation of all seed URLs", "userName": "user name", "password": "password", "userNameFieldXpath": "XPath for user name field", "passwordFieldXpath": "XPath for password field", "passwordButtonXpath": "XPath for password button", "loginPageUrl": "Full URL for website login page" }

    웹 브라우저의 개발자 도구를 사용하여 요소의 XPaths(XML 경로 언어)를 찾을 수 있습니다. XPaths는 일반적으로 다음 형식을 따릅니다. //tagname[@Attribute='Value']

    AWS Secrets Manager 보안 암호를 사용하여 웹 프록시 보안 인증 정보를 제공할 수도 있습니다.

  • IAM 역할 - CreateDataSource Secrets Manager 비밀번호에 액세스할 수 있는 권한을 IAM 역할을 제공하고 웹 크롤러 커넥터 및 에 필요한 공개 API를 호출하기 위해 호출할 RoleArn 시기를 지정합니다. Amazon Kendra자세한 내용은 웹 크롤러 데이터 소스에 대한IAM 역할을 참조하세요.

다음 선택적 기능도 추가할 수 있습니다.

  • Virtual Private Cloud(VPC) - CreateDataSource를 호출할 때 VpcConfiguration을 지정합니다. 자세한 정보는 를 사용하도록 Amazon Kendra 구성하기 Amazon VPC을 참조하세요.

  • 도메인 범위 - 하위 도메인만 포함하여 웹 사이트 도메인을 크롤링할지, 아니면 웹 페이지가 연결된 다른 도메인도 크롤링할지 선택합니다. 기본적으로 크롤링하려는 웹 사이트의 Amazon Kendra 도메인만 크롤링합니다.

  • 시드 수준에서부터 크롤링할 '깊이' 또는 수준 수. 예를 들어 시드 URL 페이지는 깊이 1이고 이 페이지에서 크롤링되는 모든 하이퍼링크는 깊이 2입니다.

  • 크롤링할 단일 웹 페이지의 최대 URL 수입니다.

  • 크롤링할 웹 페이지나 첨부 파일의 최대 크기(MB 단위)입니다.

  • 1분간 웹 사이트 호스트당 크롤링되는 최대 URL 수입니다.

  • 내부 웹 사이트에 연결하고 크롤링하기 위한 웹 프록시 호스트 및 포트 번호입니다. 예를 들어, https://a.example.com/page1.html의 호스트 이름은 “a.example.com”이고 포트 번호는 HTTPS의 표준 포트인 443입니다. 웹 사이트 호스트에 연결하는 데 웹 프록시 보안 인증이 필요한 경우, 보안 인증을 저장하는 AWS Secrets Manager 보안 암호를 만들 수 있습니다.

  • 포함 및 제외 필터 - 특정 URL을 크롤링하고 해당 URL 웹 페이지의 하이퍼링크를 인덱싱하는 작업을 포함할지 제외할지 여부를 지정합니다.

    참고

    대부분의 데이터 소스는 필터라고 하는 포함 또는 제외 패턴인 정규 표현식 패턴을 사용합니다. 포함 필터를 지정하는 경우 포함 필터와 일치하는 콘텐츠만 인덱싱됩니다. 포함 필터와 일치하지 않는 문서는 인덱싱되지 않습니다. 포함 및 제외 필터를 지정하는 경우 제외 필터와 일치하는 문서는 포함 필터와 일치하더라도 인덱싱되지 않습니다.

  • 필드 매핑 - 웹 페이지 및 웹 페이지 파일의 필드를 인덱스 필드에 매핑하도록 선택합니다. Amazon Kendra 자세한 내용을 알아보려면 데이터 소스 필드 매핑을 참조하세요.

구성해야 할 기타 중요한 JSON 키 목록은 Amazon Kendra 웹 크롤러 템플릿 스키마를 참조하세요.