Metin Analizi Nedir?

İşletmeler, yapılandırılmamış çeşitli veri kaynaklarından eyleme dönüştürülebilir öngörüler elde etmek için metin analizini kullanmaktadır. E-posta, sosyal medya ve müşteri anketi yanıtları gibi kaynaklardan elde edilen geri bildirimleri, karar verme süreçlerinde yardımcı kaynak olarak kullanırlar. Ancak bu gibi kaynaklardaki metinlerin devasa hacmi, bu metinlerin bir metin çözümleme yazılımı kullanılmadan işlenmesini çok zor hale getirir.

Metin analizi sayesinde çeşitli kaynaklardan daha hızlıca doğru bilgiler edinebilirsiniz. Bu süreç, tamamen otomatik ve istikrarlı olmasının yanı sıra eyleme dönüştürebileceğiniz veriler sağlar. Metin analizi yazılımı kullanmak, örneğin, sosyal medya gönderilerinde yer alabilecek olumsuz duyguyu hemen tespit etmenize ve sorunun çözümü için adım atmanıza olanak sağlar

Duygu analizi

Duygu analizinde veya görüş madenciliğinde, bir metin parçasında iletilen görüşü anlamak için metin analizi yöntemleri kullanılır. Müşterilerinizin satın aldığı ürün veya hizmetlerden memnun olup olmadığını belirlemek için ürün değerlendirmeleri, bloglar, forumlar ve diğer çevrimiçi medya kaynakları üzerinde duygu analizi gerçekleştirebilirsiniz. Duygu analizi; yeni eğilimleri keşfetmenize, duygu değişimlerini takip etmenize ve PR sorunlarını ele almanıza yardımcı olur. Duygu analizini kullanarak ve belirli anahtar sözcükleri tanımlayarak müşteri görüşlerindeki değişiklikleri takip edebilir ve sorunun temel nedenini tespit edebilirsiniz. 

Kayıt yönetimi

Metin analizi, belgelerin verimli bir şekilde yönetilmesini, kategorilere ayrılmasını ve bu belgelerde arama yapılmasını sağlar. Buna, hasta kaydı yönetiminin otomatik hale getirilmesi, markanın adının geçtiği mesajların izlenmesi ve sigorta dolandırıcılığının tespit edilmesi de dahildir. Örneğin, LexisNexis Legal & Professional şirketi, 200 milyon belge arasından belirli kayıtları bulmak için metin ayıklama işlevini kullanmaktadır.

Müşteri deneyimini kişiselleştirme

E-postaları, ürün değerlendirmelerini, sohbetleri ve diğer metin tabanlı yazışmaları işlemek için metin analizi yazılımını kullanabilirsiniz. Müşterilerin tercihleri, satın alma alışkanlıkları ve genel marka algıları hakkında öngörülere sahip olduğunuzda, farklı müşteri segmentlerine özel kişiselleştirilmiş deneyimler sunabilirsiniz. 

Metin analizi yazılımı aşağıdaki genel teknikleri kullanmaktadır.

Metin sınıflandırması

Metin sınıflandırmasında, metin analizi yazılımı belirli anahtar sözcükleri belirli konular, kullanıcı niyetleri veya duygularla nasıl ilişkilendireceğini öğrenir. Bunu yaparken aşağıdaki yöntemleri kullanır: 

• Kural tabanlı sınıflandırmada, etiketler semantik bileşenler veya söz dizimi modelleri için önceden tanımlanmış kurallara dayalı olarak metne atanır.
• Makine öğrenimi tabanlı sistemler, metin analizi yazılımını örneklerle eğiterek ve metin etiketlemedeki doğruluk oranlarını artırarak çalışır. Yapılandırılmış verileri işlemek, sözcükleri kategorilere ayırmak ve sözcükler arasında semantik anlayış geliştirmek için Naive Bayes, Destek Vektör Makineleri ve Derin Öğrenme gibi dil modellerini kullanırlar.

Örneğin, olumlu bir ürün değerlendirmesi genellikle iyi, hızlı ve harika gibi sözcükler içerir. Ancak olumsuz bir ürün değerlendirmesi mutsuz, yavaş ve kötü gibi sözcükler içerebilir. Veri bilimciler, metin analizi yazılımını belirli terimleri arayacak ve ürün değerlendirmelerini olumlu veya olumsuz olarak kategorilere ayıracak şekilde eğitir. Böylece, müşteri destek ekipleri ürün değerlendirmelerinden müşteri duygularını kolaylıkla izleyebilir.

Metin ayıklama

Metin ayıklama yönteminde metin taranır ve önemli bilgiler alınır. Bu yöntemde, bir metin parçasındaki anahtar sözcükler, ürün öznitelikleri, marka adları, yer adları ve daha fazlası tanımlanabilir. Ayıklama yazılımı aşağıdaki yöntemleri uygular:

• Düzenli ifade (REGEX): Ayıklanacak öğeyle ilgili bir ön koşul görevi gören biçimlendirilmiş bir sembol dizisidir.
• Koşullu rastgele alanlar (CRF'ler): Bu, belirli modelleri veya ifadeleri değerlendirerek metni ayıklayan bir makine öğrenimi yöntemidir. REGEX'e kıyasla daha gelişmiş ve esnektir. 

Örneğin, bir markanın anıldığı sosyal medya gönderilerini izlemek için metin ayıklama yöntemini kullanabilirsiniz. Markanızın anıldığı tüm sosyal medya gönderilerinin manuel olarak izlenmesi imkansızdır. Metin ayıklama, markanızın anıldığı gönderileri gerçek zamanlı olarak size bildirir. 

Konu modelleme

Konu modelleme yöntemleri, yapılandırılmamış bir metinde geçen ilgili anahtar sözcükleri tespit eder ve bir konu veya tema altında gruplandırır. Bu yöntemler birden fazla metin belgesini okuyabilir ve çeşitli sözcüklerin belgelerdeki geçiş sayısına göre belgeleri temalar halinde sınıflandırır. Konu modelleme yöntemleri belgelerin ek analizi için bağlam sağlar.

Konu modelleme yöntemlerini kullanarak, örneğin, taranmış belge arşivinizi okuyabilir ve belgeleri faturalar, yasal belgeler ve müşteri anlaşmaları altında sınıflandırabilirsiniz. Daha sonra farklı analiz yöntemlerini faturalara uygulayarak finansal öngörüler elde edebilir ya da müşteri anlaşmaları üzerinde uygulayarak müşteri öngörüleri elde edebilirsiniz.

PII düzeltme

PII düzeltme işlemi; bir belgedeki ad, adres veya hesap numarası gibi kişisel olarak tanımlanabilir bilgileri (PII) otomatik olarak algılayıp kaldırır. PII düzeltme işlemi, gizliliğin korunmasına ve yerel yasa ve düzenlemelere uygunluğun sağlanmasına yardımcı olur.

Örneğin, belgeleri bir arama çözümünde dizine eklemeden önce destek biletlerini ve bilgi makalelerini analiz ederek PII'yı tespit edip düzeltebilirsiniz. Böylece arama sonuçlarında belgelerdeki PII'nın görünmemesini sağlayabilirsiniz.

Metin analizini uygulamak için dört aşamadan oluşan sistematik bir süreç izlemeniz gerekir.

1. Aşama - Veri toplama

Bu aşamada, dahili veya harici kaynaklardan metin verileri toplarsınız.

Dahili veriler

Dahili veriler işletmenize ait olan ve hemen ulaşılabilir durumdaki metin içerikleridir. Örneğin e-postalar, sohbetler, faturalar ve çalışan anketleri. 

Harici veriler

Harici verileri sosyal medya gönderileri, çevrimiçi ürün değerlendirmeleri, haber yazıları ve çevrimiçi forumlar gibi kaynaklardan bulabilirsiniz. Kendi kontrolünüz dışında olmaları, harici verileri edinmeyi zorlaştırır. Harici verileri ayıklamak için web kazıma araçlarını kullanmanız veya üçüncü taraf çözümleriyle entegrasyon sağlamanız gerekebilir.

2. Aşama - Veri hazırlama

Veri hazırlama, metin analizinin önemli bir parçasıdır. İşlenmemiş metin verilerinin analiz için kabul edilebilir bir formatta yapılandırılmasını içerir. Metin analizi yazılımı bu süreci otomatik hale getirir ve aşağıdaki genel doğal dil işleme (NL) yöntemlerini içerir. 

Belirteçlere ayırma

Belirteçlere ayırma, işlenmemiş metnin semantik anlam taşıyan birden fazla parçaya ayrılmasıdır. Örneğin, işletmeler metin çözümlemesinden faydalanır ifadesi; işletmeler, metin, çözümlemesinden ve faydalanır şeklinde belirteçlere ayrılır.

Cümle öğelerini etiketleme

Cümle öğelerini etiketleme yönteminde belirteçlere ayrılan metne dil bilgisi etiketleri atanır. Örneğin, yukarıda bahsedilen belirteçlere bu adım uygulandığında işletmeler: ad; metin: ad; çözümleme: ad; faydalanır: fiil sonucu ortaya çıkar.

Ayrıştırma

Ayrıştırma işleminde belirteçlere ayrılan sözcükler ile İngilizce dil bilgisi arasında anlamlı bağlantılar kurulur. Metin analizi yazılımının sözcükler arasındaki ilişkiyi görselleştirmesine yardımcı olur. 

Kök çözümleme

Kök çözümleme, sözcüklerin cümlede kullanıldıkları anlama göre sözlükteki köküne (lemma) indirildiği bir dil bilimsel işlemdir. Örneğin, görselleştiriliyor sözcüğünün sözlükteki hali görselleştirme şeklindedir.

Etkisiz kelimelerin kaldırılması

Etkisiz kelimeler bir cümleye çok az semantik bağlam katan veya hiç katmayan kelimelerdir. Örneğin ve, veya, için. Kullanım senaryosuna bağlı olarak, yazılım bu tür kelimeleri yapılandırılmış metinden kaldırabilir. 

3. Aşama - Metin analizi

Metin analizi, sürecin temel bölümüdür. Bu bölümde, metin analizi yazılımı farklı yöntemler kullanarak metni işler. 

Metin sınıflandırması

Sınıflandırma, kurallara veya makine öğrenimi sistemlerine dayalı olarak metin verilerine etiketler atanması işlemidir.

Metin ayıklama

Ayıklama işlemi, metinde belirli anahtar sözcüklerin varlığının tespit edilmesini ve bunların etiketlerle ilişkilendirilmesini içerir. Yazılım bunu yapmak için düzenli ifadeler ve koşullu rastgele alanlar (CRF'ler) gibi yöntemleri kullanır.

4. Aşama - Görselleştirme

Görselleştirme, metin analizi sonuçlarının kolayca anlaşılabilir bir formata dönüştürülmesi işlemidir. Metin çözümleme sonuçlarını grafik, çizelge ve tablo halinde elde edebilirsiniz. Görselleştirilen sonuçlar, modelleri ve eğilimleri tespit etmenize ve eylem planları oluşturmanıza yardımcı olur. Örneğin, ürün iadelerinde ani bir artış yaşadığınızı fakat bunun nedenini bulmakta güçlük çektiğinizi varsayalım. Görselleştirme işlemi ile müşteri geri bildirimlerinde kusur, yanlış boyut veya tam oturmayan kalıp gibi sözcükleri arayabilir ve bunları bir tablo haline getirebilirsiniz. Böylece en öncelikli sorunu tespit edebilirsiniz. 

Amazon Comprehend, metindeki değerli öngörüleri ve bağlantıları ortaya çıkarmak için makine öğrenimi kullanan bir doğal dil işleme hizmetidir. Bu hizmeti, belge işleme akışlarındaki bilgileri otomatik olarak sınıflandırarak ve ayıklayarak bu iş akışlarını basitleştirmek için kullanabilirsiniz. Örneğin, Amazon Comprehend'i kullanarak aşağıdaki görevleri gerçekleştirebilirsiniz:

• Müşteri destek biletleri, ürün değerlendirmeleri, sosyal medya akışları vb. üzerinde duygu analizi gerçekleştirme. 
• Akıllı bir chatbot geliştirmek için Amazon Comprehend'i Amazon Lex ile entegre etme.
• Amazon Comprehend Medical ile belgelerdeki tıbbi terimleri ayıklama ve terimler arasındaki ilişkiyi tespit etme.

Hemen bir AWS hesabı oluşturarak kullanmaya başlayın.