Connect to Confluence untuk basis pengetahuan Amazon Bedrock Anda

Atlassian Confluence adalah alat manajemen kerja kolaboratif yang dirancang untuk berbagi, menyimpan, dan mengerjakan perencanaan proyek, pengembangan perangkat lunak, dan manajemen produk. Anda dapat terhubung ke instans Confluence Anda untuk basis pengetahuan Amazon Bedrock Anda dengan menggunakan salah satu AWS Konsol Manajemen untuk Amazon Bedrock atau CreateDataSourceAPI(lihat Amazon Bedrock didukung dan SDKs AWS CLI).

catatan

Konektor sumber data pertemuan dalam rilis pratinjau dan dapat berubah sewaktu-waktu.

Amazon Bedrock mendukung koneksi ke instans Confluence Cloud. Saat ini, hanya penyimpanan vektor Amazon OpenSearch Tanpa Server yang tersedia untuk digunakan dengan sumber data ini.

Ada batasan berapa banyak file dan MB per file yang dapat dirayapi. Lihat Kuota untuk basis pengetahuan.

Fitur yang didukung

• Deteksi otomatis bidang dokumen utama

• Filter konten inklusi/pengecualian

• Konten tambahan disinkronkan untuk konten yang ditambahkan, diperbarui, dihapus

• OAuth2.0 otentikasi, otentikasi dengan token Confluence API

Prasyarat

Di Confluence, pastikan Anda:

• Catat contoh Confluence Anda. URL Misalnya, untuk Confluence Cloud, https://example.atlassian.net. The URL for Confluence Cloud harus menjadi basisURL, diakhiri dengan .atlassian.net.

• Konfigurasikan kredensyal otentikasi dasar yang berisi nama pengguna (email akun admin) dan kata sandi (token ConfluenceAPI) untuk memungkinkan Amazon Bedrock terhubung ke instans Confluence Cloud Anda. Untuk informasi tentang cara membuat token Confluence, lihat Mengelola API API token untuk akun Atlassian Anda di situs web Atlassian.

• (Opsional) Konfigurasikan aplikasi OAuth 2.0 dengan kredensyal kunci aplikasi, rahasia aplikasi, token akses, dan token penyegaran. Untuk informasi selengkapnya, lihat OAuth2.0 aplikasi di situs web Atlassian.

• Izin baca atau cakupan tertentu harus diaktifkan agar aplikasi OAuth 2.0 Anda dapat terhubung ke Confluence.

  PertemuanAPI:

  • offline_access

  • readonly:content.attachment:confluence

  • baca:confluence-content.all

  • baca:confluence-content.summary

  • baca:confluence-space.summary

Dalam Anda AWS akun, pastikan Anda:

• Menyimpan kredensi otentikasi Anda dalam AWS Secrets Manager rahasia dan perhatikan Nama Sumber Daya Amazon (ARN) dari rahasianya. Ikuti petunjuk konfigurasi Koneksi di halaman ini untuk menyertakan pasangan nilai kunci yang harus disertakan dalam rahasia Anda.

• Sertakan izin yang diperlukan untuk terhubung ke sumber data Anda di AWS Identity and Access Management (IAM) kebijakan peran/izin untuk basis pengetahuan Anda. Untuk informasi tentang izin yang diperlukan untuk sumber data ini untuk ditambahkan ke basis pengetahuan Anda IAM peran, lihat Izin untuk mengakses sumber data.

catatan

Jika Anda menggunakan konsol, Anda dapat pergi ke AWS Secrets Manager untuk menambahkan rahasia Anda atau menggunakan rahasia yang ada sebagai bagian dari langkah konfigurasi sumber data. Bagian IAM peran dengan semua izin yang diperlukan dapat dibuat untuk Anda sebagai bagian dari langkah konsol untuk membuat basis pengetahuan. Setelah Anda mengonfigurasi sumber data dan konfigurasi lainnya, IAM peran dengan semua izin yang diperlukan diterapkan ke basis pengetahuan khusus Anda.

Kami menyarankan Anda secara teratur menyegarkan atau memutar kredensil dan rahasia Anda. Berikan hanya tingkat akses yang diperlukan untuk keamanan Anda sendiri. Kami tidak menyarankan Anda menggunakan kembali kredensi dan rahasia di seluruh sumber data.

Konfigurasi koneksi

Untuk menyambung ke instans Confluence, Anda harus memberikan informasi konfigurasi yang diperlukan agar Amazon Bedrock dapat mengakses dan meng-crawl data Anda. Anda juga harus mengikutiPrasyarat.

Contoh konfigurasi untuk sumber data ini disertakan dalam bagian ini.

Untuk informasi selengkapnya tentang deteksi otomatis bidang dokumen, filter inklusi/pengecualian, sinkronisasi inkremental, kredensi otentikasi rahasia, dan cara kerjanya, pilih yang berikut ini:

Deteksi otomatis bidang dokumen utama

Konektor sumber data secara otomatis mendeteksi dan merayapi semua bidang metadata utama dokumen atau konten Anda. Misalnya, konektor sumber data dapat merayapi badan dokumen yang setara dengan dokumen Anda, judul dokumen, tanggal pembuatan atau modifikasi dokumen, atau bidang inti lainnya yang mungkin berlaku untuk dokumen Anda.

penting

Jika konten Anda menyertakan informasi sensitif, maka Amazon Bedrock dapat merespons dengan menggunakan informasi sensitif.

Anda dapat menerapkan operator pemfilteran ke bidang metadata untuk membantu Anda lebih meningkatkan relevansi tanggapan. Misalnya, dokumentasikan “epoch_modification_time” atau jumlah detik yang berlalu 1 Januari 1970 untuk saat dokumen terakhir diperbarui. Anda dapat memfilter data terbaru, di mana “epoch_modification_time” lebih besar dari angka tertentu. Untuk informasi selengkapnya tentang operator pemfilteran yang dapat Anda terapkan ke bidang metadata, lihat Metadata dan pemfilteran.

Filter inklusi/pengecualian

Anda dapat menyertakan atau mengecualikan perayapan konten tertentu. Misalnya, Anda dapat menentukan awalan pengecualian/pola ekspresi reguler untuk melewatkan perayapan file apa pun yang berisi “pribadi” dalam nama file. Anda juga dapat menentukan prefiks/pola ekspresi reguler inklusi untuk menyertakan entitas konten atau jenis konten tertentu. Jika Anda menentukan filter penyertaan dan pengecualian dan keduanya cocok dengan dokumen, filter pengecualian akan diutamakan dan dokumen tidak dirayapi.

Contoh pola ekspresi reguler untuk mengecualikan atau memfilter PDF file yang berisi “pribadi” dalam nama file:”. *pribadi.*\\ .pdf”

Anda dapat menerapkan filter inklusi/pengecualian pada jenis konten berikut:

• Space: Kunci spasi unik

• Page: Judul halaman utama

• Blog: Judul blog utama

• Comment: Komentar yang termasuk dalam halaman atau blog tertentu. Tentukan Re: Page/Blog Title

• Attachment: Nama file lampiran dengan ekstensinya

Sinkronisasi inkremental

Konektor sumber data merayapi konten baru, dimodifikasi, dan dihapus setiap kali sumber data Anda disinkronkan dengan basis pengetahuan Anda. Amazon Bedrock dapat menggunakan mekanisme sumber data Anda untuk melacak perubahan konten dan merayapi konten yang berubah sejak sinkronisasi terakhir. Saat Anda menyinkronkan sumber data dengan basis pengetahuan untuk pertama kalinya, semua konten dirayapi secara default.

Untuk menyinkronkan sumber data Anda dengan basis pengetahuan Anda, gunakan StartIngestionJobAPIatau pilih basis pengetahuan Anda di konsol dan pilih Sinkronkan dalam bagian ikhtisar sumber data.

penting

Semua data yang Anda sinkronkan dari sumber data Anda akan tersedia bagi siapa saja yang memiliki bedrock:Retrieve izin untuk mengambil data. Ini juga dapat mencakup data apa pun dengan izin sumber data terkontrol. Untuk informasi selengkapnya, lihat Izin basis pengetahuan.

Kredensi otentikasi rahasia

(Jika menggunakan otentikasi dasar) Kredensi otentikasi rahasia Anda di AWS Secrets Manager harus menyertakan pasangan kunci-nilai ini:

• username: admin user email address of Atlassian account

• password: Confluence API token

(Jika menggunakan otentikasi OAuth 2.0) Kredensi otentikasi rahasia Anda di AWS Secrets Manager harus menyertakan pasangan kunci-nilai ini:

• confluenceAppKey: app key

• confluenceAppSecret: app secret

• confluenceAccessToken: app access token

• confluenceRefreshToken: app refresh token

catatan

Token akses Confluence OAuth2 .0 memiliki waktu kedaluwarsa default 60 menit. Jika token ini kedaluwarsa saat sumber data Anda disinkronkan (pekerjaan sinkronisasi), Amazon Bedrock akan menggunakan token penyegaran yang disediakan untuk membuat ulang token ini. Regenerasi ini menyegarkan token akses dan penyegaran. Untuk menjaga token diperbarui dari pekerjaan sinkronisasi saat ini ke pekerjaan sinkronisasi berikutnya, Amazon Bedrock memerlukan izin menulis/menempatkan untuk kredensyal rahasia Anda sebagai bagian dari peran basis pengetahuan Anda. IAM

catatan

Rahasia Anda di AWS Secrets Manager harus menggunakan wilayah yang sama dari basis pengetahuan Anda.

Console

Berikut ini adalah contoh konfigurasi untuk menghubungkan ke Confluence untuk basis pengetahuan Amazon Bedrock Anda. Anda mengonfigurasi sumber data sebagai bagian dari langkah pembuatan basis pengetahuan di konsol.

1. Masuk ke AWS Management Console menggunakan IAMperan dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di. https://console.aws.amazon.com/bedrock/

2. Dari panel navigasi kiri, pilih Basis pengetahuan.

3. Di bagian Basis pengetahuan, pilih Buat basis pengetahuan.

4. Berikan detail basis pengetahuan.

   1. Berikan nama basis pengetahuan dan deskripsi opsional.

   2. Berikan AWS Identity and Access Management peran untuk izin akses yang diperlukan yang diperlukan untuk membuat basis pengetahuan.

      catatan

      Bagian IAM peran dengan semua izin yang diperlukan dapat dibuat untuk Anda sebagai bagian dari langkah konsol untuk membuat basis pengetahuan. Setelah Anda menyelesaikan langkah-langkah untuk membuat basis pengetahuan, IAM peran dengan semua izin yang diperlukan diterapkan ke basis pengetahuan khusus Anda.

   3. Buat tag apa pun yang ingin Anda tetapkan ke basis pengetahuan Anda.

   Buka bagian berikutnya untuk mengonfigurasi sumber data Anda.

5. Pilih Confluence sebagai sumber data Anda dan berikan detail konfigurasi koneksi.

   1. Berikan nama sumber data dan deskripsi opsional.

   2. Berikan contoh Confluence Anda. URL Misalnya, untuk Confluence Cloud, https://example.atlassian.net. The URL for Confluence Cloud harus menjadi basisURL, diakhiri dengan .atlassian.net.

   Periksa pengaturan lanjutan. Anda dapat secara opsional mengubah pengaturan default yang dipilih.

6. Setel kunci enkripsi data sementara dan kebijakan penghapusan data di pengaturan lanjutan.

   Untuk KMS key pengaturan, Anda dapat memilih kunci khusus atau menggunakan kunci enkripsi data default yang disediakan.

   Saat mengubah data Anda menjadi embeddings, Amazon Bedrock mengenkripsi data transien Anda dengan kunci yang AWS memiliki dan mengelola, secara default. Anda dapat menggunakan KMS kunci Anda sendiri. Untuk informasi selengkapnya, lihat Enkripsi penyimpanan data sementara selama konsumsi data.

   Untuk pengaturan kebijakan penghapusan data, Anda dapat memilih:

   • Hapus: Menghapus semua data dari sumber data Anda yang diubah menjadi embeddings vektor setelah penghapusan basis pengetahuan atau sumber daya sumber data. Perhatikan bahwa penyimpanan vektor itu sendiri tidak dihapus, hanya data. Bendera ini diabaikan jika AWS akun dihapus.

   • Mempertahankan: Menyimpan semua data dari sumber data Anda yang diubah menjadi embeddings vektor setelah penghapusan basis pengetahuan atau sumber daya sumber data. Perhatikan bahwa penyimpanan vektor itu sendiri tidak dihapus jika Anda menghapus basis pengetahuan atau sumber daya sumber data.

   Lanjutkan mengonfigurasi sumber data Anda.

7. Berikan informasi otentikasi untuk terhubung ke instans Confluence Anda:

   1. Untuk otentikasi dasar, buka AWS Secrets Manager untuk menambahkan kredensyal otentikasi rahasia Anda atau menggunakan Amazon Resource Name (ARN) yang ada untuk rahasia yang Anda buat. Rahasia Anda harus berisi alamat email pengguna admin dari akun Atlassian sebagai nama pengguna dan API token Confluence sebagai pengganti kata sandi. Untuk informasi tentang cara membuat token Confluence, lihat Mengelola API API token untuk akun Atlassian Anda di situs web Atlassian.

   2. Untuk otentikasi OAuth 2.0, buka AWS Secrets Manager untuk menambahkan kredensyal otentikasi rahasia Anda atau menggunakan Amazon Resource Name (ARN) yang ada untuk rahasia yang Anda buat. Rahasia Anda harus berisi kunci aplikasi Confluence, rahasia aplikasi, token akses, dan token penyegaran. Untuk informasi selengkapnya, lihat OAuth2.0 aplikasi di situs web Atlassian.

   Lanjutkan mengonfigurasi sumber data Anda.

8. Pilih untuk menggunakan filter/pola ekspresi reguler untuk menyertakan atau mengecualikan konten tertentu. Semua konten standar dirayapi sebaliknya.

   Lanjutkan mengonfigurasi sumber data Anda.

9. Pilih konfigurasi chunking dan parsing default atau yang disesuaikan.

   1. Jika Anda memilih pengaturan khusus, pilih salah satu opsi chunking berikut:

      • Potongan ukuran tetap: Konten dibagi menjadi potongan-potongan teks dengan perkiraan ukuran token yang Anda tetapkan. Anda dapat mengatur jumlah maksimum token yang tidak boleh melebihi potongan dan persentase tumpang tindih antara potongan berturut-turut.

      • Potongan default: Konten dibagi menjadi potongan-potongan teks hingga 300 token. Jika satu dokumen atau konten berisi kurang dari 300 token, dokumen tersebut tidak dibagi lebih lanjut.

      • Chunking hierarkis: Konten diatur ke dalam struktur bersarang dari potongan orangtua-anak. Anda menetapkan ukuran token chunk induk maksimum dan ukuran token chunk anak maksimum. Anda juga menetapkan jumlah absolut token tumpang tindih antara potongan induk berturut-turut dan potongan anak berturut-turut.

      • Potongan semantik: Konten yang disusun ke dalam potongan teks atau kelompok kalimat yang serupa secara semantik. Anda mengatur jumlah maksimum kalimat di sekitar target/kalimat saat ini untuk dikelompokkan bersama (ukuran buffer). Anda juga menetapkan ambang batas persentil breakpoint untuk membagi teks menjadi potongan-potongan yang bermakna. Chunking semantik menggunakan model pondasi. Lihat Amazon Bedrock harga untuk informasi tentang biaya model pondasi.

      • Tidak ada potongan: Setiap dokumen diperlakukan sebagai potongan teks tunggal. Anda mungkin ingin pra-proses dokumen Anda dengan membaginya menjadi file terpisah.

      catatan

      Anda tidak dapat mengubah strategi chunking setelah Anda membuat sumber data.

   2. Anda dapat memilih untuk menggunakan Amazon Bedrock model dasar untuk mengurai dokumen untuk mengurai lebih dari teks standar. Anda dapat mengurai data tabular dalam dokumen dengan strukturnya utuh, misalnya. Lihat Amazon Bedrock harga untuk informasi tentang biaya model pondasi.

   3. Anda dapat memilih untuk menggunakan AWS Lambda berfungsi untuk menyesuaikan strategi chunking Anda dan bagaimana atribut/bidang metadata dokumen Anda diperlakukan dan dicerna. Berikan Amazon S3 lokasi bucket untuk input dan output fungsi Lambda.

   Pergi ke bagian berikutnya untuk mengkonfigurasi penyimpanan vektor Anda.

10. Pilih model untuk mengubah data Anda menjadi embeddings vektor.

    Buat toko vektor untuk memungkinkan Amazon Bedrock untuk menyimpan, memperbarui, dan mengelola embeddings. Anda dapat dengan cepat membuat toko vektor baru atau memilih dari toko vektor yang didukung yang telah Anda buat. Saat ini, hanya penyimpanan vektor Amazon OpenSearch Tanpa Server yang tersedia untuk digunakan dengan sumber data ini. Jika Anda membuat penyimpanan vektor baru, koleksi pencarian vektor Amazon OpenSearch Tanpa Server dan indeks dengan bidang wajib disiapkan untuk Anda. Jika Anda memilih dari penyimpanan vektor yang didukung, Anda harus memetakan nama bidang vektor dan nama bidang metadata.

    Buka bagian berikutnya untuk meninjau konfigurasi basis pengetahuan Anda.

11. Periksa detail basis pengetahuan Anda. Anda dapat mengedit bagian apa pun sebelum melanjutkan dan membuat basis pengetahuan Anda.

    catatan

    Waktu yang dibutuhkan untuk membuat basis pengetahuan tergantung pada konfigurasi spesifik Anda. Ketika pembuatan basis pengetahuan telah selesai, status basis pengetahuan berubah menjadi keadaan siap atau tersedia.

    Setelah basis pengetahuan Anda siap dan tersedia, sinkronkan sumber data Anda untuk pertama kalinya dan kapan pun Anda ingin memperbarui konten Anda. Pilih basis pengetahuan Anda di konsol dan pilih Sinkronkan dalam bagian ikhtisar sumber data.

API

Berikut ini adalah contoh konfigurasi untuk menghubungkan ke Confluence Cloud untuk basis pengetahuan Amazon Bedrock Anda. Anda mengonfigurasi sumber data Anda menggunakan API dengan AWS CLI atau didukungSDK, seperti Python. Setelah menelepon CreateKnowledgeBase, Anda menelepon CreateDataSourceuntuk membuat sumber data dengan informasi koneksi Anda didataSourceConfiguration. Ingatlah untuk juga menentukan strategi/pendekatan chunking Anda vectorIngestionConfiguration dan kebijakan penghapusan data Anda di. dataDeletionPolicy

AWS Command Line Interface

aws bedrock create-data-source \
 --name "Confluence Cloud/SaaS connector" \
 --description "Confluence Cloud/SaaS data source connector for Amazon Bedrock to use content in Confluence" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://confluence-bedrock-connector-configuration.json \
 --data-deletion-policy "DELETE" \
 --vector-ingestion-configuration '{"chunkingConfiguration":[{"chunkingStrategy":"FIXED_SIZE","fixedSizeChunkingConfiguration":[{"maxTokens":"100","overlapPercentage":"10"}]}]}'

confluence-bedrock-connector-configuration.json
{
    "confluenceConfiguration": {
        "sourceConfiguration": {
            "hostUrl": "https://example.atlassian.net",
            "hostType": "SAAS",
            "authType": "OAUTH2_CLIENT_CREDENTIALS",
            "credentialsSecretArn": "arn:aws::secretsmanager:your-region:secret:AmazonBedrock-Confluence"
        },
        "crawlerConfiguration": {
            "filterConfiguration": {
                "type": "PATTERN",
                "patternObjectFilter": {
                    "filters": [
                        {
                            "objectType": "Attachment",
                            "inclusionFilters": [
                                ".*\\.pdf"
                            ],
                            "exclusionFilters": [
                                ".*private.*\\.pdf"
                            ]
                        }
                    ]
                }
            }
        }
    },
    "type": "CONFLUENCE"
}