ML'yi Snapchat'in birçok özelliğine ekliyoruz ve bu alanda yenilikleri keşfetmek en önemli önceliğimiz. Infertia'yi öğrendiğimizde performans ve maliyet dâhil olmak üzere ML dağıtımları için bize yardımcı olması için Inf1/Inferentia bulut sunucuları edinmek için AWS ile işbirliğine başladık. Öneri modellerimiz ile başladık ve gelecekte Inf1 bulut sunucuları ile daha fazla model edinmeyi dört gözle bekliyoruz.

Sprinklr'ın yapay zeka temelli birleştirilmiş müşteri deneyimi yönetme (Unified-CXM) platformu, şirketlerin birden fazla kanalda gerçek zamanlı müşteri geri bildirimlerini toplayıp eyleme geçirilebilir öngörülere dönüştürmesine olanak tanır ve sonuç olarak proaktif sorun çözümü, iyileştirilmiş ürün geliştirme, iyileştirilmiş içerik pazarlaması, daha iyi müşteri hizmeti ve çok daha fazlasını ortaya çıkarır. Amazon EC2 Inf1'i kullanarak NLP modellerimizden birinin performansını önemli ölçüde iyileştirebildik ve görüntü işleme modellerimizden birinin performansını artırdık. Küresel müşterilerimize daha iyi hizmet sunabilmek için Amazon EC2 Inf1'i kullanmaya devam etmek için sabırsızlanıyoruz.

Son teknoloji NLP ürünümüz Finch for Text, kullanıcılara büyük hacimli metinlerde birden fazla varlık türünü ayıklama, belirsizleştirme ve zenginleştirme olanağı sunuyor. Finch for Text, müşterilerimize küresel veri akışlarında düşük gecikmeli zenginleştirmeler sağlamak için önemli bilgi işlem kaynakları gerektirir. Artık AWS Inf1 bulut sunucularını; PyTorch NLP, çeviri ve varlık anlam ayrımı modellerimizde kullanıyoruz. Çıkarım hızımızı ve performansımızı korurken minimum optimizasyonlarla çıkarım maliyetlerimizi %80'in üzerinde (GPU'lar üzerinden) azaltmayı başardık. Bu iyileştirme; müşterilerimizin Fransızca, İspanyolca, Almanca ve Felemenkçe dilindeki metinlerini akış veri akışlarında ve küresel ölçekte gerçek zamanlı olarak zenginleştirmelerini sağlıyor. Bu da finansal hizmetlerimiz, veri toplayıcımız ve kamu sektörü müşterilerimiz için kritik bir öneme sahip.

Yüz binlerce kaynaktan farklı biçimlerde (görüntüler, videolar, ses dosyaları, metin sensörleri, tüm bu türlerin kombinasyonları) birçok dilde dünyanın dört bir yanından birçok olay türü hakkında uyarılar sağlıyoruz. Bu ölçek göz önüne alındığında hız ve maliyeti optimize etmek, işletmemiz için kesinlikle kritik bir öneme sahiptir. AWS Inferentia ile model gecikmesini azalttık ve dolar başına 9 kata kadar daha iyi aktarım hızı elde ettik. Bu, daha gelişmiş DL modelleri dağıtarak ve maliyetlerimizi kontrol altında tutarken 5 kat daha fazla veri hacmi işleyerek model doğruluğunu artırmamıza ve platformumuzun özelliklerini büyütmemize olanak sağladı.

Autodesk, Inferentia kullanarak yapay zeka temelli sanal asistanımız olan Autodesk Virtual Agent’in (AVA) bilişsel teknolojisini geliştiriyor. AVA, doğal dil anlama (NLU) ve derin öğrenme (DL) teknikleri uygulayarak sorguların arkasındaki bağlamı, niyeti ve anlamı çıkarmak için aylık 100.000 müşteri sorusunu cevaplamaktadır. Inferentia kullanarak NLU modellerimiz için G4dn bulut sunucularına kıyasla 4,9 kat daha yüksek aktarım hızı elde edebiliyoruz ve Inferentia temelli Inf1 bulut sunucularında daha fazla iş yükü çalıştırmayı dört gözle beliyoruz.

Yere nüfuz eden radarın kullanımı ve görsel kusurların tespiti genel olarak uzman anketörlerin alanıdır. AWS mikro hizmet tabanlı mimari, otomatik denetim araçları ve denetçiler tarafından çekilen videoları işlememize olanak tanır. Şirket içi yerleşik modellerimizi geleneksel GPU tabanlı bulut sunucularından Inferentia'ya geçirerek maliyetleri %50 oranında azaltmayı başardık. Ayrıca süreleri bir G4dn GPU bulut sunucusuyla karşılaştırırken performans kazanımlarını görebildik. Ekibimiz, Inferentia tabanlı Inf1 bulut sunucularında daha fazla iş yükü çalıştırmayı dört gözle bekliyor.

NTT PC, gelişmiş duruş tahmini ML modellerine dayanan bir hareket analizi API platform hizmeti olan AnyMotion hizmetini geliştirdi. AnyMotion platformumuzu tam olarak yönetilen bir container düzenleme hizmeti için Amazon ECS'yi kullanarak Amazon EC2 Inf1 bulut sunucuları üzerinde dağıttık. AnyMotion container'larımızı Amazon EC2 Inf1 üzerinde dağıtarak, güncel nesil GPU tabanlı EC2 bulut sunucularına kıyasla aktarım hızında 4,5 kat artış, %25 daha düşük çıkarım gecikme süresi ve %90 daha düşük maliyet sağladık. Bu üstün sonuçlar, uygun ölçekte AnyMotion hizmetinin kalitesini artırmaya yardımcı olacak.

Dijital sağlık platformları pazarı gözle görülür bir hızla büyüyor. Bu pazarda istihbarat toplamak çok miktarda müşteri görüşleri verisi olduğundan ve bu verilerin yapılandırılmamış doğasından zorlayıcı bir görevdir. Uygulamamız DL doğal dil modelleri (Dönüştürücüler) aracılığıyla müşteri görüşlerinden eyleme dönüştürülebilir öngörüler oluşturmayı otomatik hâle getirir. Uygulamamız işlem açısından yoğundur ve uygulamamızın yüksek performanslı bir şekilde dağıtılması gerekir. DL çıkarım iş yükümüzü AWS Inferentia işlemcisi tarafından sağlanan Amazon EC2 Inf1 bulut sunucularına sorunsuz bir şekilde dağıttık. Yeni Inf1 bulut sunucuları, GPU tabanlı bulut sunucularına kıyasla 2 kat daha yüksek aktarım hızı sağlıyor ve çıkarım iş yüklerimizi kolaylaştırmamıza olanak tanıyor.

Condé Nast'ın küresel portföyünde Wired, Vogue ve Vanity Fair gibi 20'den fazla lider medya markası bulunuyor. Birkaç hafta içinde ekibimiz, öneri motorumuzu AWS Inferentia çipleriyle entegre etmeyi başardı. Bu birleşme, SageMaker'ın Inf1 bulut sunucularında son teknoloji doğal dil modelleri için birden fazla çalışma zamanı optimizasyonu sağlıyor. Sonuç olarak, daha önce dağıtılan GPU bulut sunucularıyla kıyaslandığında %72 daha düşük maliyet gözlemledik.

Ciao, geleneksel güvenlik kameralarını insan gözünün özelliğine eş değer yüksek performanslı analiz kameralarına dönüştürüyor. Uygulamamız, bir olayı felakete dönüşmeden önce uyarı aracılığıyla bildirmek için bulut tabanlı yapay zekaya sahip kamera çözümlerini kullanarak çevresel koşulları izleme yoluyla felaket önleme çözümünde ilerleme kaydetmektedir. Bu tür bir uyarı, duruma önceden müdahale etmeyi sağlar. Nesne algılama sayesinde, personele gerek olmadan fiziksel mağazalardaki videolardan gelen misafir sayısını tahmin ederek de öngörü sağlayabiliriz. Ciao Camera, YOLOv4 ile G4dn'den %40 daha iyi fiyat performansına sahip AWS Inferentia temelli Inf1 bulut sunucularını ticari olarak kullanmaya başlamıştır. Daha fazla hizmetimizin, Inf1 bulut sunucularının sunduğu önemli maliyet verimliliğinden yararlanmasını bekliyoruz.

Asahi Shimbun, Japonya'daki en popüler günlük gazetelerden biridir. Şirketimizin bir departmanı olarak kurulan Media Lab’de, özellikle yapay zekâ olmak üzere son teknolojiyi araştırmayı ve yeni işler için en son teknolojileri bağlamayı amaçlayan görevler vardır. AWS Inferentia temelli Amazon EC2 Inf1 bulut sunucularının Tokyo’da başlatılmasıyla bu bulut sunucularında PyTorch temelli metin özetlememizi test ettik. Bu uygulama son 30 yıldaki makalelerde eğitilmiş büyük tutarda metin işler ve başlıklar ve özet cümleler oluşturur. Inferentia'yı kullanarak CPU temelli bulut sunucuları üzerindeki maliyetleri daha da azalttık. Maliyetlerdeki bu çarpıcı düşüş, karmaşık modellerimizin çoğunu uygun ölçekte dağıtmamızı sağlıyor. Önceden bunun ekonomik olarak uygulanabilir olmadığına inanıyorduk."

CS Disco, avukatlar için avukatlar tarafından geliştirilen, e-keşfe yönelik yapay zeka çözümlerinin lider tedarikçisi olarak hukuk teknolojisini yeniden icat ediyor. Disco AI, terabaytlarca verinin derlenmesi gibi zahmetli bir görevi hızlandırıyor, inceleme sürelerini kısaltıyor ve işlem açısından masraflı ve yüksek maliyetli olan karmaşık NLP modellerinden yararlanarak inceleme doğruluğunu artırıyor. Disco, AWS Inferentia tabanlı Inf1 bulut sunucularının, günümüzdeki GPU bulut sunucularıyla kıyaslandığında Disco AI'da çıkarım maliyetini en az %35 oranında azalttığını belirledi. CS Disco, Inf1 bulut sunucuları ile ilgili bu pozitif deneyime dayanarak Inferentia'ya geçiş yapma fırsatlarını keşfedecek.

Talroo'da müşterilerimize özgün iş adayları çekmelerine böylece işe alım yapabilmelerine imkan veren veri temelli bir platform sağlıyoruz. Müşterilerimize en iyi ürün ve hizmetleri sunabilmek için sürekli olarak yeni teknolojileri araştırmaktayız. Inferentia’yı kullanarak yapay zekâ temelli arama ve eşleştirme teknolojimizi geliştirmek için metin verilerinden oluşan bir kitaplıktan öngörüler çıkarıyoruz. Talroo, SageMaker ile yüksek aktarım hızlı NLU modelleri oluşturmak için Amazon EC2 Inf1 bulut sunucularından yararlanır. Talroo’nun ilk testleri Amazon EC2 Inf1 bulut sunucularının G4dn GPU temelli bulut sunucularına oranla %40 daha az çıkarım gecikmesi ve 2 kat daha yüksek aktarım hızı teslim ettiğini göstermiştir. Bu sonuçlar doğrultusunda Talroo, AWS altyapısının bir parçası olarak Amazon EC2 Inf1 bulut sunucularını kullanmayı planlıyor.

Digital Media Professionals (DMP), yapay zeka temelli bir ZIA™ platformu ile geleceği görselleştirmektedir. DMP'nin verimli bilgisayarlı görme sınıflandırma teknolojileri durum gözleme, suçu önleme ve kazayı önleme gibi büyük miktarda gerçek zamanlı görüntü verilerine yönelik öngörü oluşturmak için kullanılmaktadır. Görüntü segmentasyonu modellerimizin, AWS Inferentia tabanlı Inf1 bulut sunucularında GPU tabanlı G4 bulut sunucularından dört kat daha hızlı çalıştığını fark ettik. Bu daha yüksek aktarım hızı ve daha düşük maliyet sayesinde Inferentia, araç yol kameralarına yönelik uygulamalar gibi yapay zeka iş yüklerimizi uygun ölçekte dağıtmamızı sağlıyor.

ML, stratejimiz için temel niteliği taşıdığından AWS Inferentia tabanlı Inf1 bulut sunucularını denemekten çok heyecan duyduk. Inf1 bulut sunucularının araştırma ve geliştirme işlem hattımıza entegre edilmesinin kolay olduğunu gördük. En önemlisi, G4dn GPU tabanlı bulut sunucularına kıyasla etkileyici performans kazançları gözlemledik. İlk modelimizle Inf1 bulut sunucuları yaklaşık %45 daha yüksek aktarım hızı sağladı ve çıkarım başına maliyeti neredeyse %50 oranında azalttı. Diğer modelleri de taşımak ve ML çıkarım altyapımızın çoğunluğunu AWS Inferentia'ya geçirmek için AWS ekibiyle yakın iş birliği içinde çalışmak istiyoruz.

SkyWatch, her gün uzaydan elde edilen yüzlerce trilyon piksellik dünya gözlem verisi işliyor. Yeni AWS Inferentia tabanlı Inf1 bulut sunucularının, gerçek zamanlı bulut algılama ve görüntü kalitesi puanlama için Amazon SageMaker kullanarak benimsenmesi hızlı ve kolaydı. Bu, yalnızca dağıtım yapılandırmamızdaki bulut sunucusu tipini değiştirme meselesiydi. Bulut sunucu tiplerini Inferentia tabanlı Inf1 ile değiştirerek performansımızı %40 oranında iyileştirdik ve genel masraflarımızı %23’e kadar düşürdük. Bu, büyük bir kazanç. Bu, minimum mühendislik yüküyle beraber müşterilerimize yüksek kalitede uydu görüntüsü sunmaya devam ederken genel operasyonel maliyetimizi azaltmamıza olanak sağladı. Verilerimizin güvenilirliğinin ve müşteri deneyiminin daha da iyileşmesi amacıyla Inf1 bulut sunucularını kullanmak için tüm çıkarım uç noktalarımızı ve toplu ML işlemlerimizi geçirmeyi sabırsızlıkla bekliyoruz.

Yapay zeka sohbet robotu hizmetimizi Amazon EC2 Inf1 bulut sunucularına taşımak oldukça kolaydı. Geçiş sürecini iki ay içinde tamamladık ve Amazon ECS'yi kullanarak Inf1 bulut sunucularında geniş ölçekli bir hizmet başlattık. Inf1 bulut sunucusu başına birden çok model sunarak çıkarım gecikmemizi %97 oranında ve çıkarım maliyetlerimizi %50'nin üzerinde (karşılaştırılabilir GPU tabanlı bulut sunucularına göre) azaltmayı başardık. Inferentia tabanlı Inf1 bulut sunucularında daha fazla iş yükü çalıştırmayı dört gözle bekliyoruz.

Metin reklam işleme süreçlerimiz için, AWS Inferentia tabanlı Inf1 bulut sunucuları üzerinde küresel olarak PyTorch tabanlı BERT modelleri dağıtıyoruz. GPU'lardan Inferentia'ya geçerek, maliyetlerimizi benzer performansla %69 oranında azaltabildik. AWS Inferentia için modellerimizi derleyerek test etmemiz üç haftadan az bir zaman aldı. Modellerimizi Inf1 bulut sunucularına dağıtmak için Amazon SageMaker'ı kullanmak, dağıtımımızın ölçeklenebilir ve yönetmesi kolay olmasını sağladık. Derlenen modelleri ilk kez analiz ettiğimde AWS Inferentia ile elde edilen performans öylesine etkileyiciydi ki, doğru olduklarını doğrulamak için karşılaştırmaları yeniden çalıştırmak zorunda kaldım! Gelecekte görüntü reklam işleme modellerimizi Inferentia'ya taşımayı planlıyoruz. Hâlihazırda yaptığımız karşılaştırmalarda, bu modeller için benzer GPU tabanlı bulut sunucularına kıyasla %30 daha kısa gecikme süresi ve %71 oranında maliyet tasarrufu elde ettiğimizi gördük.

AWS tarafından desteklenen Amazon Alexa'nın yapay zeka ve makine öğrenimi tabanlı zekası, bugün 100 milyondan fazla cihazda kullanılabilir. Biz, müşterilerimize Alexa'nın daima daha akıllı, daha konuşkan, daha proaktif ve hatta daha eğlenceli olacağı sözünü veriyoruz. Bu sözleri yerine getirmek için yanıt sürelerinde ve ML altyapısı maliyetlerinde sürekli iyileştirmeler gerekmektedir. Bu yüzden, Alexa'nın metin seslendirmesindeki çıkarım gecikmesini ve çıkarım başına olan maliyeti azaltmak amacıyla Amazon EC2 Inf1'i kullanacağımız için çok heyecanlıyız. Amazon EC2 Inf1 sayesinde, her ay Alexa'yı kullanan onlarca milyon müşterimize çok daha iyi hizmet sunabileceğiz.

Amazon Prime Video, Prime Video üyeleri için en iyi izleyici deneyimini sağlamak amacıyla canlı etkinliklerin video kalitesini analiz etmek için bilgisayarlı görü ML modellerini kullanıyor. Görüntü sınıflandırma ML modellerimizi EC2 Inf1 bulut sunucularına dağıttık ve performansta 4 kat iyileşme ve maliyette %40'a varan tasarruf elde ettik. Şimdi bu maliyet tasarruflarından yararlanarak Prime Video üyelerine daha gelişmiş görüntüleme deneyimi sunmak amacıyla ses ve video dosyaları arasındaki senkronizasyon boşlukları gibi daha karmaşık kusurları tespit edebilen gelişmiş modeller geliştirmek ve oluşturmak istiyoruz.

Amazon Rekognition, müşterilere nesneleri, insanları, metinleri ve etkinlikleri tanımlamada yardım eden basit ve kolay bir görüntü ve video analizi uygulamasıdır. Amazon Rekognition, müşterilerimiz için günlük trilyonlarca görüntü ve video analiz edebilen yüksek performanslı DL altyapısına ihtiyaç duymaktadır. AWS Inferentia temelli Inf1 bulut sunucuları ile nesne sınıflandırması gibi Amazon Rekognition modelleri çalıştırmak, bu modelleri GPU’larda çalıştırmaya kıyasla 8 kat daha az gecikme süresi ve 2 kat daha fazla aktarım hızıyla sonuçlanmıştır. Bu sonuçlar doğrultusunda Amazon Rekognition'ı Inf1'e taşıyarak müşterilerimizin doğru sonuçları daha hızlı almalarını sağlıyoruz.