Amazon Bedrock mengumumkan pratinjau caching prompt
Hari ini, AWS mengumumkan bahwa Amazon Bedrock sekarang mendukung caching prompt. Caching prompt adalah kemampuan baru yang dapat mengurangi biaya hingga 90% dan latensi hingga 85% untuk model yang didukung dengan melakukan cache pada prompt yang sering digunakan di beberapa panggilan API. Ini memungkinkan Anda untuk menyimpan input berulang dan menghindari konteks pemrosesan ulang, seperti prompt sistem yang panjang dan contoh umum yang membantu memandu respons model. Ketika cache digunakan, sumber daya komputasi yang dibutuhkan untuk menghasilkan output menjadi lebih sedikit. Haslinya, kami tidak hanya dapat memproses permintaan Anda lebih cepat, tetapi juga dapat menerapkan penghematan biaya dari penggunaan sumber daya yang lebih sedikit.
Amazon Bedrock adalah layanan terkelola penuh yang menawarkan pilihan FM berkinerja tinggi dari perusahaan AI terkemuka melalui satu API. Amazon Bedrock juga menyediakan serangkaian kemampuan luas yang dibutuhkan pelanggan untuk membangun aplikasi AI generatif dengan keamanan, privasi, dan kemampuan AI yang bertanggung jawab. Kemampuan ini membantu Anda membangun aplikasi yang disesuaikan untuk berbagai kasus penggunaan di berbagai industri, sehingga membantu organisasi mencapai pertumbuhan berkelanjutan dari AI generatif sembari menyediakan alat untuk membangun kepercayaan pelanggan dan tata kelola data.
Caching prompt sekarang tersedia di Claude 3.5 Haiku dan Claude 3.5 Sonnet v2 di AS Barat (Oregon) dan AS Timur (Virginia Utara) melalui inferensi lintas wilayah, dan model Nova Micro, Nova Lite, dan Nova Pro di AS Timur (Virginia Utara). Saat peluncuran, hanya sejumlah pelanggan tertentu yang akan memiliki akses ke fitur ini. Untuk mempelajari lebih lanjut tentang berpartisipasi dalam pratinjau, lihat halaman ini. Untuk mempelajari lebih lanjut tentang caching prompt, lihat dokumentasi dan blog kami.