Apa itu model autoregresif?
Model autoregresif adalah kelas model machine learning (ML) yang secara otomatis memprediksi komponen berikutnya dalam urutan dengan mengambil pengukuran dari input sebelumnya dalam urutan. Autoregresi adalah teknik statistik yang digunakan dalam analisis deret waktu yang mengasumsikan bahwa nilai saat ini dari deret waktu adalah fungsi dari nilai masa lalunya. Model autoregresif menggunakan teknik matematika serupa untuk menentukan korelasi probabilistik antara elemen-elemen dalam suatu urutan. Model ini kemudian menggunakan pengetahuan yang diperoleh untuk menebak elemen berikutnya dalam urutan yang tidak diketahui. Misalnya, selama pelatihan, model autoregresif memproses beberapa kalimat bahasa Inggris dan mengidentifikasi bahwa kata “is” selalu mengikuti kata “there.” Kemudian menghasilkan urutan baru yang memiliki rangkaian “there is” .
Bagaimana cara menggunakan model autoregresif dalam AI generatif?
Kecerdasan buatan generatif (AI generatif) adalah teknologi ilmu data canggih yang mampu menciptakan konten baru dan unik dengan belajar dari data pelatihan besar-besaran. Bagian berikut menjelaskan cara pemodelan autoregresif mengaktifkan aplikasi AI generatif.
Pemrosesan bahasa alami (NLP)
Pemodelan autoregresif adalah komponen penting dari model bahasa besar (LLM). LLM didukung oleh transformator pralatih generatif (GPT), yaitu jaringan neural dalam yang berasal dari arsitektur transformator. Transformator terdiri dari enkoder-dekoder, yang masing-masing memungkinkan pemahaman bahasa alami dan pembuatan bahasa alami. GPT hanya menggunakan dekoder untuk pemodelan bahasa autoregresif. Hal ini memungkinkan GPT untuk memahami bahasa alami dan merespons dengan cara yang dipahami manusia. Model bahasa besar yang ditenagai GPT memprediksi kata berikutnya dengan mempertimbangkan distribusi probabilitas korpus teks yang dilatih.
Baca mengenai Pemrosesan Bahasa Alami (NLP)
Baca informasi tentang Model Bahasa Besar (LLM)
Sintesis gambar
Autoregresi memungkinkan model deep learning untuk menghasilkan gambar dengan menganalisis informasi terbatas. Jaringan neural pemrosesan gambar, seperti PixelRNN dan PixelCNN menggunakan pemodelan autoregresif untuk memprediksi data visual dengan memeriksa informasi piksel yang ada. Anda dapat menggunakan teknik autoregresif untuk mempertajam, meningkatkan, dan merekonstruksi gambar sekaligus mempertahankan kualitas.
Prediksi deret waktu
Model autoregresif sangat membantu dalam memprediksi kemungkinan peristiwa deret waktu. Misalnya, model deep learning menggunakan teknik autoregresif untuk memprakirakan harga saham, cuaca, dan kondisi lalu lintas berdasarkan nilai historis.
Augmentasi data
Rekayasawan ML melatih model AI dengan set data yang dikuratori untuk meningkatkan performa. Dalam beberapa kasus, tidak ada cukup data untuk melatih model secara memadai. Rekayasawan menggunakan model autoregresif untuk menghasilkan data pelatihan deep learning yang baru dan realistis. Mereka menggunakan data yang dihasilkan untuk menambah set data pelatihan terbatas yang sudah ada.
Bagaimana cara kerja pemodelan autoregresif?
Model autoregresif yang menggunakan variasi analisis regresi linier untuk memprediksi urutan berikutnya dari rentang variabel yang diberikan. Dalam analisis regresi, model statistik dilengkapi dengan beberapa variabel independen, yang digunakan untuk memprediksi nilai variabel dependen.
Regresi linier
Anda dapat membayangkan regresi linier seperti menggambar garis lurus yang paling mewakili nilai rata-rata yang didistribusikan pada grafik dua dimensi. Dari garis lurus, model menghasilkan titik data baru yang sesuai dengan distribusi kondisional nilai historis.
Pertimbangkan bentuk paling sederhana dari persamaan grafik garis antara y (variabel dependen) dan x (variabel independen); y=m*x+c, dengan c dan m konstan untuk semua kemungkinan nilai x dan y. Jadi, misalnya, jika set data input untuk (x,y) adalah (1,5), (2,8), dan (3,11). Untuk mengidentifikasi metode regresi linier, Anda akan menggunakan langkah-langkah berikut:
- Buat garis lurus dan ukur korelasi antara 1 dan 5.
- Ubah arah garis lurus untuk nilai baru (2,8) dan (3,11) hingga semua nilai sesuai.
- Identifikasi persamaan regresi linier sebagai y=3*x+2.
- Perkirakan atau prediksi bahwa y adalah 14 ketika x adalah 4.
Autoregresi
Model autoregresif menerapkan regresi linier dengan variabel lag dari output yang diambil dari langkah sebelumnya. Tidak seperti regresi linier, model autoregresif tidak menggunakan variabel independen lain kecuali hasil yang diprediksi sebelumnya. Pertimbangkan rumus berikut.
Jika dinyatakan dalam istilah probabilistik, model autoregresif mendistribusikan variabel independen ke dalam n langkah yang mungkin, dengan asumsi bahwa variabel sebelumnya secara kondisional memengaruhi hasil langkah berikutnya.
Kita juga dapat menjelaskan pemodelan autoregresif dengan persamaan di bawah ini.
Di sini, y adalah hasil prediksi dari beberapa urutan hasil sebelumnya dikalikan dengan koefisien masing-masing, ϕ. Koefisien mewakili bobot atau parameter yang memengaruhi pentingnya prediktor untuk hasil baru. Rumus ini juga mempertimbangkan derau acak yang dapat memengaruhi prediksi, yang mengindikasikan bahwa model ini tidak ideal dan masih dapat diperbaiki lebih lanjut.
Lag
Ilmuwan data menambahkan lebih banyak nilai lag untuk meningkatkan akurasi pemodelan autoregresif. Mereka melakukannya dengan meningkatkan nilai t, yang menunjukkan jumlah langkah dalam deret waktu data. Jumlah langkah yang lebih banyak memungkinkan model untuk menangkap lebih banyak prediksi masa lalu sebagai input. Misalnya, Anda dapat mengembangkan model autoregresif dengan menyertakan prediksi suhu dari 7 hari hingga 14 hari terakhir untuk mendapatkan hasil yang lebih akurat. Meskipun demikian, meningkatkan urutan lag dari model autoregresif tidak selalu menghasilkan akurasi yang lebih baik. Jika koefisien mendekati nol, prediktor tertentu memiliki sedikit pengaruh pada hasil model. Selain itu, perluasan urutan yang tidak terbatas akan menghasilkan model yang lebih kompleks yang membutuhkan lebih banyak sumber daya komputasi untuk dijalankan.
Apa itu autokorelasi?
Autokorelasi adalah metode statistik yang mengevaluasi seberapa kuat output dari model autoregresif dipengaruhi oleh variabel lag. Ilmuwan data menggunakan autokorelasi untuk menggambarkan hubungan antara output dan input lag dari sebuah model. Semakin tinggi korelasi, semakin tinggi akurasi prediksi model. Berikut ini adalah beberapa pertimbangan autokorelasi:
- Korelasi positif berarti bahwa output mengikuti tren yang dipetakan dalam nilai sebelumnya. Misalnya, model memprediksi bahwa harga saham akan naik hari ini karena telah meningkat selama beberapa hari terakhir.
- Korelasi negatif berarti bahwa variabel output berlawanan dengan hasil sebelumnya. Misalnya, sistem autoregresif mengamati bahwa hujan turun dalam beberapa hari terakhir, tetapi meramalkan besok akan cerah.
- Korelasi nol mungkin menunjukkan kurangnya pola spesifik antara input dan output.
Rekayasawan data menggunakan autokorelasi untuk menentukan berapa banyak langkah yang harus mereka sertakan dalam model untuk mengoptimalkan sumber daya komputasi dan akurasi respons. Dalam beberapa aplikasi, model autoregresif mungkin menunjukkan autokorelasi yang kuat saat menggunakan variabel masa lalu, tetapi menunjukkan autokorelasi yang lebih lemah untuk input yang jauh. Misalnya, para rekayasawan menemukan bahwa prediktor cuaca autoregresif kurang sensitif terhadap prediksi masa lalu dari lebih dari 30 hari. Jadi, mereka merevisi model untuk hanya memasukkan hasil lag dari 30 hari terakhir. Hal ini memberikan hasil yang lebih akurat menggunakan sumber daya komputasi yang lebih sedikit.
Apa perbedaan antara autoregresi dan tipe teknik analisis regresif lainnya?
Terlepas dari autoregresi, beberapa teknik regresif telah diperkenalkan untuk menganalisis variabel dan interdependensinya. Bagian berikut menjelaskan perbedaannya.
Regresi linier dibandingkan dengan autoregresi
Kedua metode regresi ini mengasumsikan bahwa variabel masa lalu berbagi hubungan linier dengan nilai masa depan. Regresi linier memprediksi hasil berdasarkan beberapa variabel independen dalam kerangka waktu yang sama. Sementara itu, autoregresi hanya menggunakan satu tipe variabel tetapi mengembangkannya ke beberapa titik untuk memprediksi hasil pada masa mendatang. Misalnya, Anda menggunakan regresi linier untuk memprediksi waktu perjalanan berdasarkan cuaca, volume lalu lintas, dan kecepatan berjalan. Atau, model autoregresi menggunakan waktu perjalanan Anda sebelumnya untuk memperkirakan waktu kedatangan hari ini.
Regresi polinomial dibandingkan dengan autoregresi
Regresi polinomial adalah metode statistik yang menangkap hubungan variabel non-linear. Beberapa variabel tidak dapat diwakili secara linier oleh garis lurus dan memerlukan istilah polinomial tambahan untuk mencerminkan hubungannya dengan lebih baik. Misalnya, rekayasawan menggunakan regresi polinomial untuk menganalisis pendapatan karyawan berdasarkan tingkat pendidikan mereka. Sementara itu, autoregresi sangat cocok untuk memprediksi pendapatan masa depan seorang karyawan berdasarkan gaji sebelumnya.
Regresi logistik dibandingkan dengan autoregresi
Regresi logistik membuat model statistik dapat memprediksi kemungkinan peristiwa tertentu dalam istilah probabilistik. Regresi ini mengungkapkan hasil prediksi dalam persentase, bukan rentang angka. Misalnya, analis bisnis menggunakan model regresi logistik untuk memprediksi peluang kenaikan biaya pasokan sebesar 85 persen di bulan berikutnya. Sebaliknya, model autoregresi memprediksi kemungkinan harga persediaan mengingat prediksi historisnya untuk bulan-bulan sebelumnya.
Regresi ridge dibandingkan dengan autoregresi
Regresi ridge adalah varian regresi linier yang memungkinkan koefisien model dibatasi. Ilmuwan data dapat menyesuaikan faktor penalti untuk mengompensasi pengaruh koefisien dalam pemodelan hasil. Koefisien parameter dapat ditekan hingga mendekati nol dalam model regresi ridge. Model ini sangat membantu saat algoritma regresif cenderung overfitting. Overfitting adalah kondisi saat model dapat menggeneralisasi data pelatihan dengan baik, tetapi tidak dengan data dunia nyata yang asing. Sementara itu, model autoregresi tidak memiliki mekanisme penalti koefisien.
Regresi lasso dibandingkan dengan autoregresi
Regresi lasso mirip dengan regresi ridge, yang dapat membatasi koefisien variabel dengan faktor penalti. Namun, regresi lasso dapat menekan koefisien menjadi nol. Hal ini memungkinkan ilmuwan data untuk menyederhanakan model kompleks dengan mengabaikan parameter non-kritis. Sementara itu, model autoregresi tidak mengatur prediksi dengan penyusutan koefisien.
Bagaimana AWS dapat membantu model autoregresif Anda?
Dengan Amazon Web Services (AWS), tim perangkat lunak dapat membangun, melatih, melakukan deployment, dan menskalakan model autoregresif untuk aplikasi AI generatif dengan lebih efisien. Dengan keamanan tingkat perusahaan dan infrastruktur terkelola, AWS menyederhanakan pengembangan model generatif untuk bisnis dan mengurangi waktu ke pasar. Misalnya, Anda dapat menggunakan:
- Amazon Bedrock, yang merupakan layanan terkelola yang menyediakan model fondasi yang dapat Anda gunakan untuk menyesuaikan dan berinovasi dengan data Anda sendiri.
- Amazon SageMaker untuk membangun, melatih, dan melakukan deployment model ML untuk kasus penggunaan apa pun.
- AWS Trainium dan AWS Inferentia untuk melatih, melakukan host, dan menskalakan aplikasi AI generatif di cloud dengan daya komputasi beperforma tinggi dan berbiaya rendah.
Mulai model autoregresif di AWS dengan membuat akun sekarang juga.
