Amazon Bedrock công bố bản dùng thử tính năng lưu câu lệnh vào bộ nhớ đệm
AWS công bố Amazon Bedrock sẽ hỗ trợ lưu trữ câu lệnh vào bộ nhớ đệm kể từ hôm nay. Tính năng mới lưu trữ câu lệnh vào bộ nhớ đệm giúp giảm chi phí tới 90% và giảm độ trễ tới 85% cho các mô hình được hỗ trợ bằng cách lưu trữ các câu lệnh thường dùng cho nhiều lệnh gọi API vào bộ nhớ đệm. Tính năng này cho phép bạn lưu trữ dữ liệu đầu vào lặp lại vào bộ nhớ đệm và tránh xử lý lại ngữ cảnh, chẳng hạn như câu lệnh hệ thống dài và ví dụ phổ biến để hướng dẫn mô hình đưa ra phản hồi. Khi sử dụng bộ nhớ đệm, bạn sẽ cần sử dụng ít tài nguyên điện toán hơn để tạo đầu ra. Nhờ đó, chúng tôi không chỉ xử lý yêu cầu của bạn nhanh hơn mà còn có thể tiết kiệm chi phí nhờ sử dụng ít tài nguyên hơn.
Amazon Bedrock là dịch vụ được quản lý hoàn toàn, cho phép lựa chọn các FM hiệu năng cao từ các công ty AI hàng đầu thông qua một API duy nhất. Amazon Bedrock cũng cung cấp một loạt chức năng cần thiết để khách hàng xây dựng ứng dụng AI tạo sinh, tích hợp sẵn khả năng bảo mật, tính riêng tư và những chức năng AI có trách nhiệm. Những tính năng này giúp bạn xây dựng ứng dụng phù hợp cho loạt trường hợp sử dụng trong các ngành khác nhau, giúp các tổ chức mở ra khả năng phát triển bền vững từ AI tạo sinh, đồng thời cung cấp công cụ để tạo dựng niềm tin của khách hàng và khả năng quản trị dữ liệu.
Tính năng lưu trữ câu lệnh vào bộ nhớ đệm được áp dụng cho mô hình Claude 3.5 Haiku và Claude 3.5 Sonnet v2 ở các khu vực Miền Tây Hoa Kỳ (Oregon) và Miền Đông Hoa Kỳ (Bắc Virginia) qua tính năng suy luận liên khu vực, cũng như các mô hình Nova Micro, Nova Lite, và Nova Pro ở khu vực Miền Đông Hoa Kỳ (Bắc Virginia). Ở giai đoạn ra mắt ban đầu, chỉ một số khách hàng có quyền truy cập tính năng này. Để tìm hiểu thêm về cách tham gia sử dụng bản dùng thử, hãy xem trang này. Để tìm hiểu thêm về tính năng lưu câu lệnh vào bộ nhớ đệm, hãy xem tài liệu và blog của chúng tôi.