Pertanyaan Umum Amazon Bedrock

Agen untuk Amazon Bedrock adalah kemampuan terkelola penuh yang memudahkan developer dalam membuat aplikasi berbasis AI generatif, yang dapat menyelesaikan tugas kompleks untuk berbagai kasus penggunaan dan memberikan jawaban terbaru berdasarkan sumber pengetahuan eksklusif. Hanya dengan beberapa klik, Agen untuk Amazon Bedrock secara otomatis mengurai tugas dan membuat rencana orkestrasi—tanpa pengodean manual apa pun. Agen terhubung ke data perusahaan secara aman melalui API, yang secara otomatis mengubah data menjadi format yang dapat dibaca oleh mesin, dan menambahkan informasi yang relevan pada permintaan untuk menghasilkan respons yang paling akurat. Agen kemudian juga dapat memanggil API untuk memenuhi permintaan pengguna secara otomatis. Misalnya, perusahaan manufaktur mungkin ingin mengembangkan aplikasi AI generatif yang mengotomatisasi pelacakan tingkat inventaris, data penjualan, informasi rantai pasokan, dan dapat merekomendasikan titik serta jumlah pemesanan ulang yang optimal untuk memaksimalkan efisiensi. Sebagai kemampuan yang terkelola penuh, Agen untuk Amazon Bedrock menghapus pekerjaan yang tidak terdiferensiasi dalam mengelola integrasi sistem dan penyediaan infrastruktur, sehingga developer dapat menggunakan AI generatif sepenuhnya di seluruh organisasi mereka.

Anda dapat menghubungkan FM ke sumber data perusahaan secara aman dengan menggunakan Agen untuk Amazon Bedrock. Dengan dasar pengetahuan, Anda dapat menggunakan agen untuk memberi FM di Amazon Bedrock akses ke data tambahan, yang membantu model menghasilkan respons yang lebih relevan, konteks spesifik, dan akurat tanpa harus melatih ulang FM secara terus-menerus. Berdasarkan input pengguna, agen mengidentifikasi dasar pengetahuan yang sesuai, mengambil informasi yang relevan, dan menambahkan informasi ke prompt input, yang akan memberikan lebih banyak informasi konteks kepada model untuk menghasilkan penyelesaian.

Agen untuk Amazon Bedrock dapat membantu Anda meningkatkan produktivitas, meningkatkan pengalaman layanan pelanggan Anda, atau mengotomatisasi tugas DevOps.

Dengan agen, developer memiliki dukungan tanpa hambatan untuk pemantauan, enkripsi, izin pengguna, dan manajemen invokasi API tanpa harus menulis kode kustom. Agen untuk Amazon Bedrock mengotomatisasi rekayasa perintah dan orkestrasi dari tugas yang diminta pengguna. Developer dapat menggunakan templat prompt yang dibuat oleh agen sebagai acuan untuk menyempurnakannya lebih lanjut demi pengalaman pengguna yang lebih baik. Mereka dapat memperbarui prapemrosesan pengguna, rencana orkestrasi, dan respons FM. Dengan akses ke templat prompt, developer memiliki kontrol yang lebih baik atas orkestrasi Agen.

Dengan agen terkelola penuh, Anda tidak perlu khawatir tentang penyediaan atau pengelolaan infrastruktur dan dapat membawa aplikasi ke produksi lebih cepat.

Setiap konten pelanggan yang diproses oleh Amazon Bedrock dienkripsi dan disimpan saat diam di Wilayah AWS tempat Anda menggunakan Amazon Bedrock.

Tidak. Input pengguna dan output model tidak dibagikan dengan penyedia model pihak ketiga.

Amazon Bedrock menawarkan beberapa kemampuan untuk mendukung persyaratan keamanan dan privasi serta kompatibel dengan standar kepatuhan umum, termasuk GDPR dan HIPAA. Seperti halnya semua layanan AWS, Anda mendapatkan kontrol AWS Identity and Access Management (IAM) standar untuk autentikasi dan AWS CloudTrail untuk mengaudit aktivitas API. Semua data Anda dienkripsi saat diam menggunakan kunci AWS Key Management Service (AWS KMS) Anda sendiri, yang memberikan kontrol penuh dan visibilitas tentang cara data serta model kustom Anda disimpan dan diakses. Dengan PrivateLink, Anda dapat meneruskan data di AWS ke Amazon Bedrock secara eksklusif melalui AWS dan bukan melalui internet publik. Amazon Bedrock juga dapat melampirkan instans pelatihannya ke Amazon VPC Anda untuk membaca dan menuliskan data ke Amazon S3.

Tidak, AWS dan penyedia model pihak ketiga tidak akan menggunakan input atau output apa pun dari Bedrock untuk melatih Amazon Titan atau model pihak ketiga mana pun.

Amazon Bedrock mendukung SDK untuk layanan runtime. SDK iOS dan Android, serta Java, JS, Python, CLI, .Net, Ruby, PHP, Go, dan CPP mendukung input teks dan ucapan.

Streaming didukung di semua SDK.

Lihat Halaman Harga Amazon Bedrock untuk informasi harga terbaru.

Tergantung pada kontrak dukungan AWS Anda, Amazon Bedrock didukung dalam paket Dukungan Developer, Dukungan Bisnis, dan Dukungan Korporasi.

Anda dapat menggunakan metrik CloudWatch untuk melacak token input dan output.

Kami meluncurkan Pra-pelatihan Lanjutan untuk model Titan Text Express dan Titan di Amazon Bedrock; ini akan memungkinkan Anda melanjutkan pra-pelatihan model dasar Titan menggunakan data tanpa label dalam jumlah besar. Tipe pelatihan ini akan mengadaptasi model dari korpus domain umum ke korpus domain yang lebih spesifik seperti medis, hukum, keuangan, dll. sekaligus tetap mempertahankan sebagian besar kemampuan model dasar Titan. 

Biasanya, korporasi mungkin ingin membuat model untuk tugas di domain tertentu. Model dasar mungkin tidak dilatih tentang jargon teknis yang digunakan dalam domain spesifik tersebut. Oleh karena itu, menyempurnakan model dasar secara langsung akan memerlukan catatan pelatihan berlabel dalam jumlah besar dan durasi pelatihan yang lama untuk mendapatkan hasil yang akurat. Untuk meringankan beban ini, pelanggan dapat memberikan data tanpa label dalam jumlah besar untuk pekerjaan Pra-Pelatihan Lanjutan. Pekerjaan ini akan mengadaptasi model dasar Titan ke domain baru. Kemudian pelanggan dapat menyempurnakan model kustom yang baru dilatih sebelumnya untuk tugas hilir menggunakan catatan pelatihan berlabel yang jauh lebih sedikit dan durasi pelatihan yang lebih singkat. 

Pra-pelatihan Lanjutan Bedrock dan Penyempurnaan (FT) memiliki persyaratan yang sangat mirip. Karena alasan ini, kami memilih untuk membuat API terpadu yang mendukung CPT dan FT. Penyatuan API mengurangi kurva pembelajaran dan akan membantu pelanggan menggunakan fitur standar seperti CloudWatch Event Bridge untuk melacak pekerjaan yang berjalan lama, integrasi S3 untuk mengambil data pelatihan, tanda Sumber Daya, dan enkripsi Model. 

Pra-pelatihan Lanjutan membantu Anda dengan mudah mengadaptasi model Titan ke data spesifik domain Anda sambil tetap mempertahankan fungsionalitas dasar model Titan. Untuk membuat pekerjaan Pra-pelatihan Lanjutan, navigasikan ke Konsol Bedrock dan klik ‘Model Kustom’. Anda akan menavigasi ke halaman model kustom yang memiliki dua tab: Model dan Pekerjaan pelatihan. Kedua tab menyediakan menu menurun di sebelah kanan yang disebut sebagai “Sesuaikan Model”. Pilih “Pra-pelatihan Lanjutan” dari menu menurun Sesuaikan Model untuk menavigasi ke layar “Buat Pekerjaan pra-pelatihan lanjutan”. Anda akan memberikan model sumber, nama, enkripsi model, data input, hyper-parameter, dan data output. Selain itu, Anda dapat memberikan Tanda beserta detail tentang peran IAM dan kebijakan sumber daya untuk pekerjaan tersebut.

Eksklusif untuk Amazon Bedrock, rangkaian model Amazon Titan menggabungkan 25 tahun pengalaman Amazon dalam berinovasi dengan AI dan machine learning di seluruh bisnisnya. Model fondasi (FM) Amazon Titan memberi berbagai pilihan gambar, multimodal, dan model teks beperforma tinggi kepada pelanggan, melalui API terkelola penuh. Amazon Titan dibuat oleh AWS dan dilatih sebelumnya pada set data besar, yang menjadikannya model tujuan umum yang kuat dan dibangun untuk mendukung berbagai kasus penggunaan, sekaligus mendukung penggunaan AI yang bertanggung jawab. Gunakan apa adanya atau sesuaikan secara pribadi dengan data Anda sendiri.

Untuk mempelajari selengkapnya tentang data yang diproses untuk mengembangkan dan melatih FM Amazon Titan, kunjungi halaman Pelatihan & Privasi Model Amazon Titan.

Format data yang didukung mencakup file .pdf, .txt, .md, .html, .doc dan .docx, .csv, .xls, dan .xlsx. File harus diunggah ke Amazon S3. Cukup arahkan ke lokasi data Anda di Amazon S3, dan Knowledge Bases for Amazon Bedrock akan menangani seluruh alur kerja penyerapan ke dalam basis data vektor Anda.

Knowledge Bases for Amazon Bedrock menyediakan tiga opsi untuk memotong teks sebelum mengonversinya menjadi penyematan. 

1.  Opsi default: Knowledge Bases for Amazon Bedrock secara otomatis membagi dokumen Anda menjadi beberapa bagian yang masing-masing berisi 200 token untuk memastikan bahwa satu kalimat tidak terputus di tengahnya. Jika suatu dokumen berisi kurang dari 200 token, dokumen tersebut tidak dipecah lebih lanjut. Tumpang tindih 20% token dipertahankan di antara dua bagian yang berurutan.

2.  Pengelompokan ukuran tetap: Dalam opsi ini, Anda dapat menentukan jumlah maksimum token per potongan dan persentase tumpang tindih di antara potongan untuk Knowledge Bases for Amazon Bedrock agar secara otomatis membagi dokumen Anda menjadi beberapa potongan untuk memastikan bahwa kalimat tidak terputus di tengah. 

3.  Opsi Buat satu penyematan per dokumen: Amazon Bedrock membuat satu penyematan per dokumen. Opsi ini cocok jika Anda telah memproses dokumen Anda terlebih dahulu dengan membaginya menjadi beberapa file terpisah dan tidak ingin Bedrock memecah dokumen Anda lebih lanjut.
 

Saat ini, Knowledge Bases for Amazon Bedrock menggunakan versi terbaru model Titan Text Embeddings yang tersedia di Amazon Bedrock. Model Titan Text Embeddings mendukung token 8K dan 25+ bahasa serta membuat penyematan dengan ukuran 1.536 dimensi. 

Knowledge Bases for Amazon Bedrock menangani seluruh alur kerja penyerapan untuk mengubah dokumen Anda menjadi penyematan (vektor) dan menyimpan penyematan dalam basis data vektor khusus. Knowledge Bases for Amazon Bedrock mendukung basis data populer untuk penyimpanan vektor, termasuk mesin vektor untuk Amazon OpenSearch Nirserver, Pinecone, Redis Enterprise Cloud, Amazon Aurora (segera hadir), dan MongoDB (segera hadir). Jika Anda tidak memiliki basis data vektor, Amazon Bedrock membuat penyimpanan vektor Amazon OpenSearch Nirserver untuk Anda.

Bergantung pada kasus penggunaan Anda, Anda dapat menggunakan Amazon EventBridge untuk membuat sinkronisasi berkala atau berdasarkan peristiwa di antara Amazon S3 ke Knowledge Bases for Amazon Bedrock.

Evaluasi Model di Amazon Bedrock memungkinkan Anda mengevaluasi, membandingkan, dan memilih model dasar terbaik untuk kasus penggunaan Anda hanya dalam beberapa klik. Amazon Bedrock menawarkan pilihan evaluasi otomatis dan evaluasi manusia. Anda dapat menggunakan evaluasi otomatis dengan metrik yang telah ditentukan sebelumnya seperti akurasi, ketahanan, dan toksisitas. Anda dapat menggunakan alur kerja evaluasi manusia untuk metrik subjektif atau khusus seperti keramahan, gaya, dan keselarasan dengan suara merek. Untuk evaluasi manusia, Anda dapat memanfaatkan karyawan internal atau tim yang dikelola AWS sebagai peninjau. Evaluasi model menyediakan set data bawaan yang dikurasi atau Anda dapat membawa set data Anda sendiri.

Anda dapat mengevaluasi berbagai metrik yang telah ditentukan sebelumnya seperti akurasi, ketahanan, dan toksisitas menggunakan evaluasi otomatis. Anda juga dapat menggunakan alur kerja evaluasi manusia untuk metrik subjektif atau khusus, seperti keramahan, relevansi, gaya, dan keselarasan dengan suara merek.

Evaluasi otomatis memungkinkan Anda mempersempit daftar FM yang tersedia dengan cepat berdasarkan kriteria standar (seperti akurasi, toksisitas, dan ketahanan). Evaluasi berbasis manusia sering kali digunakan untuk mengevaluasi kriteria yang lebih bernuansa atau subjektif yang memerlukan penilaian manusia dan ketika evaluasi otomatis mungkin tidak ada (seperti suara merek, niat kreatif, keramahan).

Anda dapat dengan cepat mengevaluasi model Bedrock untuk metrik seperti akurasi, ketahanan, dan toksisitas dengan memanfaatkan set data bawaan yang dikurasi, atau dengan membawa set data cepat Anda sendiri. Setelah set data perintah Anda dikirim ke model Amazon Bedrock untuk inferensi, respons model diberi skor dengan algoritma evaluasi untuk setiap dimensi. Mesin backend mengumpulkan skor respons perintah individu menjadi skor ringkasan dan menyajikannya melalui laporan visual yang mudah dipahami.

Amazon Bedrock memungkinkan Anda mengatur alur kerja tinjauan manusia dengan beberapa klik dan menghadirkan karyawan internal Anda atau memanfaatkan tim pakar yang dikelola AWS untuk mengevaluasi model. Melalui antarmuka intuitif Amazon Bedrock, manusia dapat meninjau dan memberikan umpan balik terhadap respons model dengan mengklik jempol ke atas/bawah, memberi peringkat pada skala 1-5, memilih yang terbaik dari beberapa respons, atau memberi peringkat perintah. Misalnya, anggota tim dapat diperlihatkan bagaimana dua model merespons perintah yang sama, lalu diminta untuk memilih model yang memperlihatkan output yang lebih akurat, relevan, atau bergaya. Anda dapat menentukan kriteria evaluasi yang penting bagi Anda, cukup dengan menyesuaikan instruksi dan tombol agar muncul di UI evaluasi untuk tim Anda. Anda juga dapat memberikan instruksi terperinci dengan contoh dan sasaran evaluasi model secara keseluruhan, sehingga mereka dapat menyelaraskan pekerjaannya. Metode ini berguna untuk mengevaluasi kriteria subjektif yang memerlukan penilaian manusia, atau keahlian bidang studi yang lebih bernuansa, dan tidak dapat dengan mudah dinilai dengan evaluasi otomatis.

Pagar Pembatas untuk Amazon Bedrock memungkinkan Anda mengimplementasikan perlindungan untuk aplikasi AI generatif berdasarkan kasus penggunaan dan kebijakan AI yang bertanggung jawab. Pagar pembatas membantu mengontrol interaksi antara pengguna dan Model Fondasi (FM) dengan memfilter konten yang tidak diinginkan dan berbahaya serta akan segera menyunting informasi pengenal pribadi (PII), sehingga meningkatkan keamanan dan privasi konten dalam aplikasi AI generatif. Anda dapat membuat beberapa pagar pembatas dengan konfigurasi berbeda yang disesuaikan dengan kasus penggunaan tertentu. Selain itu, Anda dapat terus memantau dan menganalisis input pengguna dan respons FM yang mungkin melanggar kebijakan yang ditentukan pelanggan di pagar pembatas.

Pagar pembatas memungkinkan pelanggan menentukan serangkaian kebijakan untuk membantu melindungi aplikasi AI generatif Anda. Anda dapat mengonfigurasi kebijakan berikut di pagar pembatas.

• Topik yang Ditolak – Anda dapat menentukan serangkaian topik yang tidak diinginkan dalam konteks aplikasi Anda. Misalnya, asisten perbankan online dapat dirancang untuk tidak memberikan nasihat investasi.
• Filter Konten – Anda dapat mengonfigurasi ambang batas untuk memfilter konten berbahaya dalam kategori kebencian, penghinaan, seksual, dan kekerasan.
• Filter Kata (Segera Hadir) – Anda dapat menentukan serangkaian kata yang akan diblokir dalam input pengguna dan respons yang dihasilkan FM.
• Redaksi PII (Segera Hadir) – Anda dapat memilih serangkaian PII yang dapat disunting dalam respons yang dihasilkan FM. Berdasarkan kasus penggunaannya, Anda juga dapat memblokir input pengguna jika berisi PII.

Pagar pembatas dapat digunakan dengan semua model bahasa besar yang tersedia di Amazon Bedrock, termasuk Titan, Anthropic Claude, Meta Llama 2, AI21 Jurassic, dan FM Cohere Command. Alat ini juga dapat digunakan dengan FM yang telah disesuaikan serta Agen untuk Amazon Bedrock.

AWS menawarkan ganti rugi kekayaan intelektual (IP) yang tidak dibatasi untuk klaim hak cipta yang timbul dari output generatif dari layanan AI generatif Amazon yang tersedia secara umum berikut ini: model Amazon Titan, Amazon CodeWhisperer Profesional, dan Layanan lain yang tercantum dalam Bagian 50.10 Ketentuan Layanan (“Ganti Rugi Layanan AI Generatif”). Artinya, pelanggan dilindungi dari klaim pihak ketiga yang menuduh adanya pelanggaran hak cipta atas output yang dihasilkan oleh Layanan AI Generatif yang Diberi Ganti Rugi sebagai respons terhadap input atau data lain yang diberikan oleh pelanggan. Pelanggan juga harus menggunakan Layanan secara bertanggung jawab, seperti tidak memasukkan data yang melanggar atau menonaktifkan fitur pemfilteran Layanan.

Selain itu, ganti rugi IP standar kami untuk penggunaan Layanan melindungi pelanggan dari klaim pihak ketiga yang menuduh pelanggaran IP (termasuk klaim hak cipta) oleh Layanan dan data yang digunakan untuk melatih mereka.