Lewati ke Konten Utama
Apa Itu Pemrosesan Bahasa Alami (NLP)? Mengapa NLP penting? Apa saja kasus penggunaan NLP untuk bisnis? Apa saja pendekatan untuk pengolahan bahasa alami? Apa saja tugas NLP? Apa saja teknologi dalam NLP? Bagaimana cara kerja NLP? Bagaimana cara AWS membantu tugas NLP Anda?

Apa Itu Pemrosesan Bahasa Alami (NLP)?

Pemrosesan bahasa alami (NLP) adalah teknologi yang memungkinkan komputer untuk menginterpretasikan, memanipulasi, dan memahami bahasa manusia. Banyak organisasi dewasa ini memiliki begitu banyak data suara dan teks dari berbagai saluran komunikasi seperti email, pesan teks, umpan berita media sosial, video, audio, dan banyak lagi. Pemrosesan bahasa alami adalah kunci dalam menganalisis data ini untuk wawasan bisnis yang dapat ditindaklanjuti. Organisasi dapat mengklasifikasikan, menyortir, memfilter, dan memahami maksud atau sentimen yang tersembunyi dalam data bahasa. Pemrosesan bahasa alami merupakan fitur utama otomatisasi bertenaga AI dan mendukung komunikasi antara mesin dan manusia secara waktu nyata.

Mengapa NLP penting?

Pemrosesan bahasa alami terintegrasi pada hampir semua alur kerja otomasi modern yang berhubungan dengan komunikasi manusia. Setiap chatbot yang berinteraksi dengan Anda ditenagai oleh pemrosesan bahasa alami, seperti kebanyakan alat AI. Seiring dengan meningkatnya jumlah data teks dan suara yang tidak terstruktur di dunia, NLP memungkinkan bisnis untuk mengubah komunikasi menjadi keunggulan kompetitif.

Sejarah

NLP ditemukan pada tahun 1950-an, ketika para peneliti pertama kali bereksperimen dengan terjemahan mesin. Salah satu tonggak paling awal adalah eksperimen Georgetown-IBM pada tahun 1954, yang secara otomatis menerjemahkan 60 kalimat Rusia ke dalam bahasa Inggris.

Teknologi NLP mendapatkan popularitas pada tahun 1990-an dan awal 2000-an dengan aplikasi seperti pemfilteran spam, klasifikasi dokumen, dan chatbot dasar. Namun, titik balik datang pada tahun 2010-an dengan munculnya model deep learning. Peneliti menggunakan arsitektur jaringan neural untuk menganalisis urutan data sehingga memungkinkan untuk menganalisis blok teks yang lebih besar. Organisasi dapat menggunakan NLP untuk mendapatkan wawasan yang terdapat dalam email, umpan balik pelanggan, tiket dukungan, dan posting media sosial.

NLP dalam AI

Teknologi AI generatif menandai terobosan besar dalam pemrosesan bahasa alami. Perangkat lunak sekarang dapat merespons secara kreatif, lebih dari sekadar memproses, tetapi juga menghasilkan bahasa alami. Agen AI dengan kemampuan NLP dapat meringkas rapat, menyusun email, dan menerjemahkan percakapan secara waktu nyata.

Apa saja kasus penggunaan NLP untuk bisnis?

Perusahaan menggunakan pemrosesan bahasa alami untuk beberapa tugas otomatis, seperti:

  • Memproses, menganalisis, dan mengarsipkan dokumen besar.
  • Menganalisis umpan balik pelanggan atau rekaman pusat panggilan
  • Menjalankan chatbot untuk layanan pelanggan otomatis
  • Menjawab pertanyaan seputar siapa-apa-kapan-di mana
  • Mengklasifikasikan dan mengekstraksi teks

Bisnis menggunakan perangkat lunak dan alat pemrosesan bahasa alami (NLP) untuk menyederhanakan, mengotomatiskan, dan menyederhanakan operasi secara efisien serta akurat. Kami memberikan beberapa contoh kasus penggunaan di bawah ini.

Penyuntingan data sensitif

Bisnis di sektor asuransi, hukum, dan layanan kesehatan memproses, menyortir, dan mengambil sejumlah besar dokumen sensitif seperti catatan medis, data keuangan, dan data privat. Sebagai ganti meninjau informasi secara manual, perusahaan menggunakan teknologi NLP untuk menyunting informasi pengidentifikasi pribadi dan melindungi data sensitif. Misalnya, Chisel AI membantu banyak operator asuransi mengekstraksi nomor polis, tanggal kedaluwarsa, dan atribut nasabah pribadi lainnya dari dokumen yang tidak terstruktur dengan Amazon Comprehend.

Keterlibatan pelanggan

Teknologi NLP memungkinkan chatbot dan bot suara makin terdengar seperti manusia saat bercakap dengan pelanggan. Banyak bisnis menggunakan chatbot untuk menskalakan kemampuan dan kualitas layanan pelanggan sambil menjaga biaya operasional tetap seminimal mungkin. PubNub, yang membangun perangkat lunak chatbot, menggunakan Amazon Comprehend untuk memperkenalkan fungsionalitas obrolan yang dilokalkan untuk para pelanggan globalnya. T-Mobile menggunakan NLP untuk mengidentifikasi kata kunci tertentu dalam pesan teks pelanggan dan menawarkan rekomendasi yang dipersonalisasi. Oklahoma State University melakukan deployment solusi chatbot Tanya Jawab untuk menjawab pertanyaan siswa menggunakan teknologi machine learning.

Analitik bisnis

Tenaga pemasaran menggunakan alat NLP seperti Amazon Comprehend dan Amazon Lex untuk mendapatkan persepsi yang berdasar tentang hal-hal yang dirasakan pelanggan terhadap produk atau layanan suatu perusahaan. Dengan memindai frasa tertentu, mereka dapat mengukur suasana hati dan emosi pelanggan dalam umpan balik tertulis. Misalnya, Success KPI menyediakan solusi pemrosesan bahasa alami yang membantu bisnis berfokus pada area yang ditargetkan dalam analisis sentimen dan membantu pusat kontak mendapatkan wawasan yang dapat ditindaklanjuti dari analitik panggilan.

Apa saja pendekatan untuk pengolahan bahasa alami?

Kami memberikan beberapa pendekatan umum untuk pemrosesan bahasa alami (NLP) di bawah ini.

NLP dengan pengawasan

Metode NLP dengan pengawasan melatih perangkat lunak dengan serangkaian input dan output berlabel atau diketahui. Pertama-tama, program ini memproses banyak data yang diketahui dan belajar bagaimana menghasilkan output yang benar dari input yang tidak diketahui. Misalnya, perusahaan melatih alat NLP untuk mengategorikan dokumen sesuai dengan label tertentu.

NLP tanpa pengawasan

NLP tanpa pengawasan menggunakan model bahasa statistik untuk memprediksi pola yang terjadi ketika diberi input yang tidak berlabel. Misalnya, fitur pelengkapan otomatis dalam pesan teks menyarankan kata-kata relevan yang masuk akal untuk kalimat dengan memantau respons pengguna. 

Pemahaman bahasa alami

Pemahaman bahasa alami (NLU) adalah subset NLP yang berfokus pada analisis makna di balik kalimat. NLU memungkinkan perangkat lunak menemukan makna yang sama dalam kalimat berbeda atau memproses kata yang memiliki makna berbeda.

Pembuatan bahasa alami

Pembuatan bahasa alami (NLG) berfokus di pembuatan teks percakapan seperti yang dilakukan manusia berdasarkan kata kunci atau topik tertentu. Misalnya, chatbot cerdas dengan kemampuan NLG dapat berkomunikasi dengan pelanggan menggunakan cara yang sama seperti staf dukungan pelanggan.

Apa saja tugas NLP?

Teknik pemrosesan bahasa alami (NLP), atau tugas NLP, memecah teks atau ucapan manusia menjadi bagian-bagian lebih kecil yang dapat dengan mudah dipahami oleh program komputer. Berikut adalah kemampuan pemrosesan dan analisis teks umum di NLP.

Penandaan kelas kata

Dalam proses ini, perangkat lunak NLP menandai setiap kata dalam sebuah kalimat menurut penggunaan kontekstual, seperti kata benda, kata kerja, kata sifat, atau kata keterangan. Proses ini membantu komputer memahami bagaimana kata-kata membentuk hubungan yang bermakna satu sama lain.

Disambiguasi makna kata

Beberapa kata mungkin memiliki arti yang berbeda saat digunakan dalam skenario yang berbeda. Misalnya, kata "bat" yang memiliki arti berbeda dalam kalimat ini:

  • A bat is a nocturnal creature (Kelelawar adalah hewan nokturnal).
  • Baseball players use a bat to hit the ball (Pemain baseball menggunakan tongkat pemukul untuk memukul bola).

Dengan disambiguasi makna kata, perangkat lunak NLP mengidentifikasi makna kata yang dimaksud, baik dengan melatih model bahasanya atau mengacu ke definisi kamus.

Pengenalan suara

Pengenalan suara mengubah data suara menjadi teks. Prosesnya melibatkan pemecahan kata ke dalam beberapa bagian yang lebih kecil dan pemahaman aksen, ucapan yang kurang jelas, intonasi, dan penggunaan tata bahasa nonstandar dalam percakapan sehari-hari. Aplikasi utama pengenalan suara adalah transkripsi, yang dapat dilakukan menggunakan layanan ucapan-ke-teks seperti Amazon Transcribe.

Terjemahan mesin

Perangkat lunak terjemahan mesin menggunakan pemrosesan bahasa alami untuk menggoresi teks atau ucapan dari satu bahasa ke bahasa lain sambil mempertahankan akurasi kontekstual. Layanan AWS yang mendukung terjemahan mesin adalah Amazon Translate.

Pengenalan entitas bernama

Proses ini mengidentifikasi nama unik untuk orang, tempat, acara, perusahaan, dan banyak lagi. Perangkat lunak NLP menggunakan pengenalan entitas bernama untuk menentukan hubungan antara berbagai entitas dalam sebuah kalimat.

Pertimbangkan contoh berikut: "Jane pergi berlibur ke Prancis, dan ia memanjakan diri dengan masakan lokal."

Perangkat lunak NLP mengidentifikasi "Jane" dan "Prancis" sebagai entitas khusus dalam kalimat tersebut. Hal ini dapat diperluas lebih lanjut dengan resolusi referensi bersama, dengan menentukan apakah kata yang berbeda digunakan untuk menggambarkan entitas yang sama. Dalam contoh di atas, baik "Jane" maupun "ia" menunjuk ke orang yang sama.

Analisis sentimen

Analisis sentimen adalah pendekatan berbasis kecerdasan buatan untuk menginterpretasikan emosi yang disampaikan oleh data tekstual. Perangkat lunak NLP menganalisis teks untuk kata atau frasa yang menunjukkan ketidakpuasan, kebahagiaan, keraguan, penyesalan, dan emosi tersembunyi lainnya.

Apa saja teknologi dalam NLP?

Pemrosesan bahasa alami (NLP) menggabungkan linguistik komputasional, kecerdasan buatan prediktif, dan model deep learning untuk memproses bahasa manusia.

Linguistik komputasional

Linguistik komputasional adalah ilmu memahami dan membangun model bahasa manusia dengan alat komputer dan perangkat lunak. Para peneliti menggunakan metode linguistik komputasional, seperti analisis sintaksis dan semantik, untuk menciptakan kerangka kerja yang membantu mesin memahami bahasa manusia yang digunakan dalam percakapan. Alat seperti penerjemah bahasa, synthesizer teks ke ucapan, dan perangkat lunak pengenalan ucapan didasarkan pada linguistik komputasional.

AI prediktif

AI prediktif, yang juga disebut machine learning atau deep learning, adalah teknologi yang melatih komputer dengan data sampel untuk melakukan tugas-tugas tertentu. Deep learning melibatkan jaringan neural yang terdiri dari simpul pemrosesan data yang disusun menyerupai otak manusia. Dengan deep learning, komputer mengenali, mengklasifikasikan, dan mengorelasikan pola kompleks dalam data input.

Bahasa manusia memiliki sejumlah sifat, seperti sarkasme, metafora, variasi dalam struktur kalimat, serta tata bahasa dan pengecualian penggunaan yang memerlukan waktu bertahun-tahun untuk dipelajari oleh manusia. Pemrogram menggunakan metode prediktif untuk mengajari aplikasi NLP mengenali dan memahami fitur-fitur ini secara akurat sejak awal.

Jaringan neural tradisional menangani urutan data menggunakan pola arsitektur enkoder/dekoder. Enkoder membaca dan memproses seluruh urutan data input, seperti kalimat bahasa Inggris, dan mengubahnya menjadi representasi matematika yang ringkas. Representasi ini adalah ringkasan yang menangkap esensi dari input. Kemudian, dekoder mengambil ringkasan ini dan, langkah demi langkah, menghasilkan urutan output. Output ini bisa berupa kalimat yang sama dalam bahasa lain, atau informasi tentang maksud kalimat dan sentimen.

AI Generatif

Teknologi AI generatif menggunakan transformator - jaringan neural yang menggabungkan mekanisme self-attention. Alih-alih memproses data secara berurutan, mekanisme ini memungkinkan model untuk melihat bagian yang berbeda dari urutan sekaligus dan menentukan bagian mana yang paling penting.

Karena adanya self-attention, transformator dapat belajar dari set data yang lebih besar dan memproses teks yang sangat besar di mana konteks dari jauh ke belakang memengaruhi makna dari teks yang akan muncul selanjutnya.

Bagaimana cara kerja NLP?

Biasanya, implementasi NLP dimulai dengan mengumpulkan dan menyiapkan data teks atau ucapan yang tidak terstruktur dari banyak sumber seperti gudang data cloud, survei, email, atau aplikasi proses bisnis internal.

Prapemrosesan

Perangkat lunak NLP menggunakan teknik prapemrosesan seperti tokenisasi, stemming, lematisasi, dan penghapusan kata henti guna menyiapkan data untuk berbagai aplikasi.

Berikut penjelasan dari teknik-teknik ini:

  • Tokenisasi memecah sebuah kalimat menjadi unit kata atau frasa inividual.
  • Stemming dan lematisasi menyederhanakan kata ke dalam bentuk akarnya. Misalnya, proses ini mengubah "starting" menjadi "start."
  • Dengan penghapusan kata henti, kata yang tidak berkontribusi pada makna penting kalimat, seperti "for" dan "with" akan dihapus.

Pelatihan

Para peneliti menggunakan data yang diproses sebelumnya dan machine learning untuk melatih model NLP guna menjalankan aplikasi spesifik berdasarkan informasi tekstual yang disediakan. Pelatihan algoritma NLP memerlukan pemberian sampel data besar pada perangkat lunak untuk meningkatkan akurasi algoritma.

Deployment dan inferensi

Ahli AI kemudian melakukan deployment model atau mengintegrasikan model tersebut ke dalam lingkungan produksi yang sudah ada. Model NLP menerima input dan memprediksi output untuk kasus penggunaan tertentu yang didesain untuk model tersebut. Anda dapat menjalankan aplikasi NLP di data langsung dan mendapatkan output yang diperlukan.

Bagaimana cara AWS membantu tugas NLP Anda?

AWS menyediakan rangkaian layanan kecerdasan buatan terluas dan terlengkap untuk pelanggan dari semua tingkat keahlian. Layanan ini terhubung dengan kumpulan sumber data yang komprehensif.

  • Amazon Comprehend membantu menemukan wawasan dan hubungan dalam teks
  • Amazon Transcribe melakukan pengenalan ucapan otomatis
  • Amazon Translate menerjemahkan teks dengan lancar, yang mendukung lusinan pasangan bahasa
  • Amazon Polly mengubah teks menjadi ucapan yang terdengar alami
  • Amazon Lex membantu membangun chatbot untuk berinteraksi dengan pelanggan
  • Amazon Kendra melakukan pencarian cerdas pada sistem korporasi untuk menemukan konten yang dicari dengan cepat

Mulai NLP dengan membuat akun AWS sekarang juga.