Apa itu LangChain?
LangChain adalah kerangka kerja sumber terbuka untuk membangun aplikasi berdasarkan model bahasa besar (LLM). LLM adalah model deep learning besar yang telah dilatih sebelumnya pada sejumlah besar data yang dapat menghasilkan respons terhadap kueri pengguna—misalnya, menjawab pertanyaan atau membuat gambar dari perintah berbasis teks. LangChain memberikan alat dan abstraksi untuk meningkatkan penyesuaian, keakuratan, dan relevansi informasi yang dihasilkan model. Misalnya, developer dapat menggunakan komponen LangChain untuk membangun rantai perintah baru atau menyesuaikan templat yang ada. LangChain juga menyertakan komponen yang memungkinkan LLM untuk mengakses set data baru tanpa pelatihan ulang.
Mengapa LangChain penting?
LLM unggul dalam merespons perintah dalam konteks umum, tetapi berjuang dalam domain tertentu yang tidak pernah dilatih. Perintah adalah kueri yang digunakan orang untuk mencari respons dari LLM. Misalnya, LLM dapat memberikan jawaban untuk banyaknya biaya komputer dengan memberikan perkiraan. Namun, LLM tidak dapat mencantumkan harga model komputer tertentu yang dijual oleh perusahaan Anda.
Untuk melakukan itu, rekayasawan machine learning harus mengintegrasikan LLM dengan sumber data internal organisasi dan menerapkan rekayasa perintah—praktik tempat ilmuwan data menyempurnakan input ke model generatif dengan struktur dan konteks tertentu.
LangChain menyederhanakan langkah-langkah menengah untuk mengembangkan aplikasi yang responsif terhadap data tersebut sehingga membuat rekayasa perintah lebih efisien. LangChain dirancang untuk mengembangkan beragam aplikasi yang ditenagai oleh model bahasa dengan lebih mudah, termasuk chatbot, penjawab pertanyaan, pembuatan konten, ringkasan, dan banyak lagi.
Bagian berikut menjelaskan manfaat LangChain.
Gunakan kembali model bahasa
Dengan LangChain, organisasi dapat menggunakan kembali LLM untuk aplikasi khusus domain tanpa pelatihan ulang atau penyempurnaan. Tim pengembangan dapat membangun aplikasi kompleks yang mengacu informasi kepemilikan untuk menambah respons model. Misalnya, Anda dapat menggunakan LangChain untuk membangun aplikasi yang membaca data dari dokumen internal yang disimpan dan meringkasnya menjadi respons percakapan. Anda dapat membuat alur kerja Retrieval Augmented Generation (RAG) yang memperkenalkan informasi baru ke model bahasa selama dalam perintah. Menerapkan alur kerja sadar konteks seperti RAG mengurangi halusinasi model dan meningkatkan akurasi respons.
Sederhanakan pengembangan AI
LangChain menyederhanakan pengembangan kecerdasan buatan (AI) dengan mengabstraksi kompleksitas integrasi sumber data dan penyempurnaan perintah. Developer dapat menyesuaikan urutan untuk membangun aplikasi kompleks dengan cepat. Alih-alih memprogram logika bisnis, tim perangkat lunak dapat mengubah templat dan pustaka yang diberikan LangChain untuk mengurangi waktu pengembangan.
Dukungan developer
LangChain memberikan developer AI alat untuk menghubungkan model bahasa dengan sumber data eksternal. LangChain adalah sumber terbuka dan didukung oleh komunitas yang aktif. Organisasi dapat menggunakan LangChain secara gratis dan menerima dukungan dari developer lain yang mahir dalam kerangka kerja.
Bagaimana cara kerja LangChain?
Dengan LangChain, developer dapat menyesuaikan model bahasa secara fleksibel untuk konteks bisnis tertentu dengan menunjuk langkah-langkah yang diperlukan untuk mengeluarkan hasil yang diinginkan.
Rantai
Rantai adalah prinsip dasar yang memegang berbagai komponen AI di LangChain untuk memberikan respons sadar konteks. Rantai adalah serangkaian tindakan otomatis dari kueri pengguna ke output model. Misalnya, developer dapat menggunakan rantai untuk:
- Menghubungkan ke sumber data yang berbeda.
- Menghasilkan konten unik.
- Menerjemahkan beberapa bahasa.
- Menjawab kueri pengguna.
Tautan
Rantai terbuat dari tautan. Setiap tindakan yang dirangkai oleh developer untuk membentuk urutan berantai disebut tautan. Dengan tautan, developer dapat membagi tugas kompleks menjadi beberapa tugas yang lebih kecil. Contoh tautan meliputi:
- Memformat input pengguna.
- Mengirim kueri ke LLM.
- Mengambil data dari penyimpanan cloud.
- Menerjemahkan dari satu bahasa ke bahasa lain.
Dalam kerangka kerja LangChain, tautan menerima input dari pengguna dan meneruskannya ke pustaka LangChain untuk pemrosesan. LangChain juga memungkinkan penataan ulang tautan untuk membuat alur kerja AI yang berbeda.
Gambaran Umum
Untuk menggunakan LangChain, developer menginstal kerangka kerja di Python dengan perintah berikut:
pip menginstal langchain
Developer kemudian menggunakan blok bangunan rantai atau LangChain Expression Language (LCEL) untuk menyusun rantai dengan perintah pemrograman sederhana. Fungsi rantai() meneruskan argumen tautan ke pustaka. Perintah jalankan() mengambil hasilnya. Developer dapat meneruskan hasil tautan saat ini ke tautan berikut atau mengembalikannya sebagai output akhir.
Di bawah ini adalah contoh fungsi rantai chatbot yang mengembalikan detail produk dalam berbagai bahasa.
rantai([
retrieve_data_from_product_database().
send_data_to_language_model().
format_output_in_a_list().
translate_output_in_target_language()
])
Apa saja komponen inti LangChain?
Dengan menggunakan LangChain, tim perangkat lunak dapat membangun sistem model bahasa sadar konteks dengan modul berikut.
Antarmuka LLM
LangChain memberikan API yang dapat digunakan developer untuk menghubungkan dan mengueri LLM dari kode mereka. Developer dapat berinteraksi dengan model publik dan kepemilikan, seperti GPT, Bard, dan PaLM terhadap LangChain dengan membuat panggilan API sederhana alih-alih menulis kode yang kompleks.
Templat perintah
Templat perintah adalah struktur yang telah dibuat sebelumnya yang digunakan developer untuk memformat kueri secara konsisten dan tepat untuk model AI. Developer dapat membuat templat perintah untuk aplikasi chatbot, pembelajaran few-shot, atau memberikan instruksi khusus ke model bahasa. Selain itu, mereka dapat menggunakan kembali templat di berbagai aplikasi dan model bahasa yang berbeda.
Agen
Developer menggunakan alat dan pustaka yang diberikan LangChain untuk menyusun dan menyesuaikan rantai yang ada untuk aplikasi yang kompleks. Agen adalah rantai khusus yang meminta model bahasa untuk memutuskan urutan terbaik dalam merespons kueri. Saat menggunakan agen, developer memberikan input pengguna, alat yang tersedia, dan kemungkinan langkah perantara untuk mencapai hasil yang diinginkan. Kemudian, model bahasa mengembalikan urutan tindakan yang dapat dilakukan oleh aplikasi.
Modul pengambilan
LangChain memungkinkan perancangan sistem RAG dengan berbagai alat untuk mengubah, menyimpan, mencari, dan mengambil informasi yang menyempurnakan respons model bahasa. Developer dapat membuat representasi semantik dari informasi dengan penyematan kata dan menyimpannya di basis data vektor lokal atau cloud.
Memori
Beberapa aplikasi model bahasa percakapan menyempurnakan respons mereka dengan informasi yang diingat dari interaksi sebelumnya. LangChain memungkinkan developer untuk memasukkan kemampuan memori dalam sistem mereka. LangChain mendukung:
- Sistem memori sederhana yang mengingat percakapan terbaru.
- Struktur memori kompleks yang menganalisis pesan historis untuk mengembalikan hasil yang paling relevan.
Callback
Callback adalah kode yang ditempatkan developer di aplikasi mereka untuk melakukan log, memantau, dan mengalirkan peristiwa tertentu dalam operasi LangChain. Misalnya, developer dapat melacak saat rantai pertama kali dipanggil dan kesalahan yang terjadi pada callback.
Bagaimana AWS dapat membantu memenuhi kebutuhan LangChain Anda?
Menggunakan Amazon Bedrock, Amazon Kendra, Amazon SageMaker JumpStart, LangChain, dan LLM, Anda dapat membangun aplikasi kecerdasan buatan generatif (AI generatif) yang sangat akurat pada data korporasi. LangChain adalah antarmuka yang mengikat komponen-komponen ini bersama:
- Amazon Bedrock adalah layanan terkelola yang dapat digunakan organisasi untuk membangun dan melakukan deployment aplikasi AI generatif. Anda dapat menggunakan Amazon Bedrock untuk mengatur model generasi, yang Anda akses dari LangChain.
- Amazon Kendra adalah layanan yang ditenagai machine learning (ML) yang membantu organisasi melakukan pencarian internal. Anda dapat menghubungkan Amazon Kendra ke LangChain, yang menggunakan data dari basis data eksklusif untuk menyempurnakan output model bahasa.
- Amazon SageMaker Jumpstart adalah hub ML yang menyediakan algoritma dan model dasar yang sudah dibangun sebelumnya yang dapat dilakukan deployment oleh developer dengan cepat. Anda dapat melakukan host model dasar di SageMaker Jumpstart dan memintanya dari LangChain.
Mulai LangChain di AWS dengan membuat akun sekarang juga.
Langkah Berikutnya di AWS
