Membangun agen AI yang dapat diskalakan: Arsitektur nirserver di AWS

 

Membangun perangkat lunak di era AI generatif menghadirkan suatu paradoks. Di satu sisi, model pengetahuan terdepan telah menjadi sangat kuat hingga membuat versi awal dari aplikasi bertenaga AI mungkin melibatkan lebih dari sekadar memanggil API obrolan sederhana (dan meminta agen coding untuk menulis sebagian besar kode!). Di sisi lain, tingkat akurasi, kinerja, dan pengoptimalan biaya yang dibutuhkan oleh aplikasi AI tingkat produksi sering melibatkan arsitektur teknis yang kompleks.

Kompleksitas ini muncul sebagian karena algoritma AI generatif bersifat probabilistik, bukan deterministik. Untuk mengurangi varians dalam output model dan meningkatkan keandalan, pengembang menggunakan teknik seperti menunjukkan contoh respons yang 'baik' atau menyertakan informasi tambahan ('konteks'), yang dapat dipertimbangkan model saat menghasilkan output. Akibatnya, kode aplikasi bertenaga AI dengan cepat menjadi jauh lebih kompleks dibanding panggilan sederhana ke API obrolan model. Setidaknya, pengembang perlu menambahkan satu lapisan penyajian data yang mencakup panggilan ke basis data khusus untuk membangun konteks yang akan ditampilkan ke model.

Namun, kompleksitasnya tidak berhenti di situ. Makin banyak kemampuan yang ditambahkan oleh pengembang ke aplikasi bertenaga AI mereka, makin sering mereka menemukan kebutuhan akan konteks dan serangkaian prompt yang berbeda. Jadi, pengembang—yang cenderung menyukai abstraksi—akan menyusun kode yang menjalankan kemampuan-kemampuan yang berbeda ini menjadi modul yang berdiri sendiri. Dalam AI, jenis pola desain ini dikenal sebagai 'agen'.

Agen adalah modul kode yang menggunakan model AI generatif untuk melakukan tugas tertentu secara mandiri. Agen dapat bertindak sendiri atau bersama dengan agen lain. Mereka juga dapat memanggil 'alat' yang biasanya berupa API atau fungsi yang disertakan dalam konteks yang tersedia untuk agen. Hasil bersih dari pendekatan agentik untuk desain perangkat lunak ini adalah bahwa rekayasa konteks—proses pengambilan data relevan yang dibutuhkan agen untuk menyelesaikan tugasnya—menjadi lebih kompleks. Selain itu, agen itu sendiri sering perlu berjalan secara asinkron di luar aplikasi utama (ini terutama berlaku untuk agen yang memerlukan akses ke data sensitif). Hal ini dapat memerlukan pengelolaan lingkungan runtime yang sepenuhnya terpisah serta kredensial.

Aplikasi AI agentik umumnya dapat dipecah menjadi komponen-komponen berikut:

1. Model AI generatif, yang biasanya mencakup model bahasa besar (LLM) dan API yang menyediakan akses ke sana.
2. Kerangka kerja perangkat lunak, yang menyediakan abstraksi yang mudah ke API model tingkat rendah, serta kit pengembangan perangkat lunak untuk membangun agen dan melakukan banyak operasi akses data yang diperlukan untuk rekayasa konteks.
3. Komponen penyajian data, yang menyediakan informasi yang termasuk dalam konteks yang diberikan kepada agen. Ini dapat terdiri dari berbagai penyimpanan data yang berbeda (sistem manajemen basis data relasional, basis data NoSQL, dll.) , tetapi akan hampir selalu menyertakan beberapa bentuk layanan pencarian semantik. Untuk aplikasi agentik, ini biasanya dialihkan ke penyimpanan vektor, yang menyimpan representasi numerik dari data teks yang disebut sematan.
4. Lingkungan runtime untuk agen. Untuk aplikasi agentik sederhana, agen dapat berjalan di dalam proses bersama kode aplikasi. Tetapi dalam kebanyakan kasus, agen perlu berjalan di ruang proses mereka sendiri, terpisah dari aplikasi utama.

Seperti halnya semua arsitektur perangkat lunak yang memerlukan beberapa komponen untuk bekerja bersama, ada banyak sekali pekerjaan berat yang sifatnya umum yang diperlukan untuk memastikan komponen-komponen ini tangguh, redundan, dan berkinerja tinggi. Untungnya, aplikasi AI agentik mendapat manfaat dari arsitektur cloud-native yang sama dengan aplikasi tradisional. Arsitektur nirserver khususnya sangat menarik untuk aplikasi AI agentik, dan AWS menghadirkan berbagai penawaran nirserver yang memungkinkan pengembang membangun aplikasi AI agentik dengan cepat, mudah, dan hemat biaya.

Mari mulai dari komponen yang paling dikenal: model AI generatif itu sendiri. Istilah untuk penyajian model adalah 'inferensi' dan untuk inferensi nirserver, Amazon Bedrock menyediakan layanan terkelola untuk menjalankan dan mengakses model dasar AI generatif. Ada beragam jenis model, mulai dari LLM pengetahuan terdepan seperti Claude dari Anthropic, model berbasis suara seperti Amazon Nova Sonic, hingga model bobot terbuka dari OpenAI dan Mistral, yang semuanya dapat diakses melalui API terpadu.

Selanjutnya, inferensi. Hal ini biasanya kompleks dan membutuhkan perangkat keras khusus seperti GPU dan pemahaman mendalam tentang kerangka kerja jaringan tingkat rendah yang memungkinkan klaster GPU untuk berkomunikasi satu sama lain. Secara tradisional, inferensi telah menciptakan tantangan operasional dan penghalang aksesibilitas, terutama untuk perusahaan rintisan. Amazon Bedrock membantu mengatasi hambatan-hambatan tersebut, karena pengguna hanya perlu mempelajari cara menggunakan API solusi.

Selain inferensi dan penyajian model, Amazon Bedrock juga memiliki dukungan penuh untuk komponen penyajian data paling umum dalam tumpukan AI agentik. Basis Pengetahuan Amazon Bedrock, misalnya, dapat digunakan untuk pencarian semantik, yang melibatkan pencarian kumpulan dokumen yang secara semantik mirip dengan teks dalam kueri. Hal ini sangat penting dalam kasus ketika agen AI membutuhkan informasi tambahan dalam konteksnya.

Misalnya, agen layanan pelanggan mungkin perlu berkonsultasi dengan dokumen FAQ yang sesuai dengan informasi yang diminta oleh pelanggan, mis. 'Bagaimana cara mengubah alamat yang terkait dengan akun saya?' Dengan Basis Pengetahuan Amazon Bedrock, dokumen FAQ dapat diindeks untuk pencarian semantik dengan menyimpannya di bucket Amazon S3 dan mengonfigurasi bucket tersebut sebagai sumber data untuk Basis Pengetahuan Bedrock. Layanan ini menangani 'pemotongan' dokumen (memecah dokumen menjadi bagian-bagian yang lebih kecil), 'vektorisasi' setiap potongan (membuat sematan numerik dari teks), serta menyimpan dan menghubungkan potongan dan sematan tersebut satu sama lain sehingga potongan yang relevan dapat dikembalikan dalam kueri semantik.

Setelah sematan ini dibuat, mereka perlu disimpan dalam basis data khusus untuk sematan, atau penyimpanan vektor. Basis Pengetahuan Amazon Bedrock mendukung beberapa opsi penyimpanan vektor, termasuk Amazon S3 Vectors, basis data vektor nirserver yang dibangun di dalam Amazon S3. Jenis lapisan penyajian data ini dikenal sebagai Retrieval Augmented Generation (RAG), dan mudah diterapkan menggunakan Basis Pengetahuan Amazon Bedrock, S3, dan S3 Vectors. Hal ini memungkinkan pengembang untuk fokus pada fungsionalitas agen AI mereka daripada mengelola infrastruktur penyajian data yang kompleks.

Setelah sematan disimpan dan dapat diakses melalui penyimpanan vektor, langkah selanjutnya adalah menjalankan agen AI yang menggunakan data ini. Amazon Bedrock AgentCore menyediakan lingkungan runtime nirserver untuk pengembang. Agen dapat dibangun menggunakan kerangka kerja seperti LangChain, Strands, atau bahkan solusi buatan sendiri. Pengembang kemudian dapat mengemas agen dalam arsip zip dan memuatnya ke S3. Atau, mereka dapat membuat gambar kontainer dan mendorongnya ke Elastic Container Registry dari Amazon (ECR). Setelah kode mereka berada di S3 atau ECR, mereka dapat mengonfigurasi AgentCore untuk menjalankan agen mereka di cloud, tanpa perlu mengelola server. AgentCore juga menangani proses operasional seperti otentikasi, mendukung peran AWS Identity and Access Management bawaan, atau Token Web JSON untuk masuk melalui penyedia identitas perusahaan.

Amazon Bedrock dan AgentCore menawarkan lebih banyak kemampuan nirserver, tetapi tiga kemampuan yang dirinci dalam artikel ini merupakan titik awal yang ideal untuk mengembangkan aplikasi AI agentik dengan dukungan penuh untuk RAG. Pertama, Amazon Bedrock untuk inferensi dengan berbagai pilihan model; kedua, Basis Pengetahuan Amazon Bedrock dan S3 Vectors untuk pengindeksan dokumen dan pencarian semantik; dan terakhir, Amazon AgentCore untuk menjalankan agen dengan cara yang aman dan hemat biaya.

Mengembangkan aplikasi AI agentik secara tradisional merupakan proses yang kompleks dan menantang, terutama untuk perusahaan rintisan yang sering beroperasi dengan sumber daya terbatas. Arsitektur nirserver mengurangi kompleksitas ini dengan menghilangkan kebutuhan para insinyur untuk membangun dan mengelola infrastruktur yang mendasarinya. Baik Anda seorang pengembang AI agentik berpengalaman atau pemula, Amazon Bedrock menyediakan seperangkat alat dan layanan komprehensif untuk membantu Anda membangun dan menskalakan dengan percaya diri.

Siap untuk mulai membangun AI agentik di AWS? AWS Activate menawarkan akses ke Kredit AWS yang dapat digunakan untuk mengimbangi biaya solusi yang tercakup dalam artikel ini, serta berbagai layanan lainnya. Sejak didirikan pada tahun 2013, AWS Activate telah memberikan lebih dari $8 miliar kredit untuk perusahaan rintisan di seluruh dunia. Pendiri juga mendapat manfaat dari program dan sumber daya, dukungan teknis, bimbingan bisnis, dan hubungan yang lebih dekat dengan komunitas perusahaan rintisan di seluruh dunia. Bergabunglah dengan jutaan orang lainnya dan temukan cara mewujudkan ide Anda dari konsep hingga siap digunakan di cloud.