Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pertanyaan dan jawaban
penting
Untuk pertanyaan dan jawaban, ada masalah sistem yang diketahui yang mencegah model Cohere menyelesaikan evaluasi toksisitas dengan sukses.
Pertanyaan dan jawaban digunakan untuk tugas-tugas termasuk menghasilkan respons meja bantuan otomatis, pengambilan informasi, dan e-learning. Jika teks yang digunakan untuk melatih model pondasi berisi masalah termasuk data yang tidak lengkap atau tidak akurat, sarkasme atau ironi, kualitas tanggapan dapat memburuk.
Kumpulan data bawaan berikut direkomendasikan untuk digunakan dengan tipe tugas pertanyaan dang jawaban.
- BoolQ
-
BoolQ adalah kumpulan data yang terdiri dari pasangan tanya jawab ya/tidak. Prompt berisi bagian pendek, dan kemudian pertanyaan tentang bagian itu. Dataset ini direkomendasikan untuk digunakan dengan tipe tugas tanya jawab.
- Pertanyaan Alami
-
Pertanyaan alami adalah kumpulan data yang terdiri dari pertanyaan pengguna nyata yang dikirimkan untuk Google dicari.
- TriviaQA
-
TriviaQA adalah kumpulan data yang berisi lebih dari 650K. question-answer-evidence-triples Dataset ini digunakan dalam tugas tanya jawab.
Tabel berikut merangkum metrik yang dihitung, dan kumpulan data bawaan yang direkomendasikan. Agar berhasil menentukan kumpulan data bawaan yang tersedia menggunakan AWS CLI, atau AWS SDK yang didukung, gunakan nama parameter di kolom, Kumpulan data bawaan (API).
Set data bawaan yang tersedia untuk jenis tugas tanya jawab di Amazon Bedrock | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Jenis tugas | Metrik | Kumpulan data bawaan (konsol) | Kumpulan data bawaan (API) | Metrik yang dihitung | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Pertanyaan dan jawaban | Akurasi | BoolQ |
Builtin.BoolQ |
NLP-F1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| NaturalQuestions |
Builtin.NaturalQuestions |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TriviaQA |
Builtin.TriviaQa |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Kekokohan | BoolQ |
Builtin.BoolQ |
F1 dan DeltaF1 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| NaturalQuestions |
Builtin.NaturalQuestions |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TriviaQA |
Builtin.TriviaQa |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Toksisitas | BoolQ |
Builtin.BoolQ |
Toksisitas | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| NaturalQuestions |
Builtin.NaturalQuestions |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TriviaQA |
Builtin.TriviaQa |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Untuk mempelajari lebih lanjut tentang bagaimana metrik yang dihitung untuk setiap kumpulan data bawaan dihitung, lihat Hasil pekerjaan evaluasi model
