AWS Türkçe Blog

Amazon SageMaker Studio’da Amazon SageMaker JumpStart’ın tescilli temel modellerini kullanın

Orijinal makale: Link (June Won, Nitin Eusebius ve Mani Khanuja)

Amazon SageMaker JumpStart, makine öğrenimi yolculuğunuzu hızlandırmanıza yardımcı olabilecek bir makine öğrenimi (ML) merkezidir. SageMaker JumpStart ile, genel kullanıma açık ve tescilli temel modelleri keşfedebilir ve üretken yapay zeka uygulamalarınız için özel Amazon SageMaker bulut sunucularına dağıtabilirsiniz. SageMaker JumpStart, temel modelleri ağdan izole edilmiş bir ortamdan dağıtmanıza olanak tanır ve müşteri eğitimini ve çıkarım verilerini model sağlayıcılarla paylaşmaz.

Bu gönderide, Amazon SageMaker Studio‘dan AI21, Cohere ve LightOn gibi model sağlayıcıların tescilli modellerini kullanmaya nasıl başlayacağınızı açıklıyoruz. SageMaker Studio, SageMaker kurumsal veri bilimcisi müşterilerinin yeni üretken AI uygulamaları için modelleri değerlendirip oluşturduğu bir not defteri ortamıdır.

SageMaker’da temel modeller

Temel modeller (Foundation models), milyarlarca parametre içeren ve makale özetleme ve metin, resim veya video oluşturma gibi çok çeşitli görevleri gerçekleştirebilmeniz için terabaytlarca metin ve resim verisi üzerinde önceden eğitilmiş büyük ölçekli makine öğrenimi modelleridir. Temel modeller önceden eğitildiğinden, eğitim ve altyapı maliyetlerinin düşürülmesine yardımcı olabilir ve kullanım durumunuz için özelleştirmeye olanak sağlayabilir.

SageMaker JumpStart iki tür temel modeli sağlar:

  • Tescilli modeller (Proprietary models) – Bu modeller, Jurassic-2 modelleriyle AI21, Cohere Command ile Cohere ve tescilli algoritmalar ve veriler üzerinde eğitilmiş Mini ile LightOn gibi sağlayıcılardandır. Ağırlık ve betikler gibi model yapay olgularını (artifacts) görüntüleyemezsiniz, ancak yine de çıkarım için SageMaker sunucularına konuşlandırabilirsiniz.
  • Herkese açık modeller (Publicly available models) – Bunlar, halka açık algoritmalar ve veriler üzerinde eğitilmiş Stable Diffusion ile Hugging Face, Falcon ve FLAN gibi popüler model merkezlerindendir. Bu modeller için, kullanıcılar model yapay olgularına erişebilir ve çıkarım için dağıtımdan önce kendi verileriyle ince ayar yapabilir.

Modelleri keşfedin

Temel modellere, SageMaker Studio kullanıcı arabirimindeki SageMaker JumpStart ve SageMaker Python SDK aracılığıyla erişebilirsiniz. Bu bölümde, SageMaker Studio kullanıcı arayüzünde modelleri nasıl keşfedeceğimizi ele alıyoruz.

SageMaker Studio, makine öğrenimi modellerinizi oluşturmanıza, eğitmenize, hata ayıklamanıza, devreye almanıza ve izlemenize olanak tanıyan, makine öğrenimi için web tabanlı bir tümleşik geliştirme ortamıdır (IDE). SageMaker Studio’yu nasıl başlatacağınız ve kuracağınız hakkında daha fazla bilgi için Amazon SageMaker Studio‘ya bakın.

SageMaker Studio kullanıcı arayüzüne girdikten sonra, Prebuilt and automated solutions (Önceden oluşturulmuş ve otomatikleştirilmiş çözümler) altında önceden eğitilmiş modeller, not defterleri ve önceden oluşturulmuş çözümler içeren SageMaker JumpStart’a erişebilirsiniz.

SageMaker JumpStart açılış sayfasından çözümlere, modellere, not defterlerine ve diğer kaynaklara göz atabilirsiniz. Aşağıdaki ekran görüntüsü, çözümlerin ve temel modellerin listelendiği bir açılış sayfası örneğini göstermektedir.

Her modelin, aşağıdaki ekran görüntüsünde gösterildiği gibi, model adını, ince ayar yapılıp yapılmadığını, sağlayıcı adını ve model hakkında kısa bir açıklamayı içeren bir model kartı vardır. Model hakkında daha fazla bilgi edinmek ve eğitime ya da dağıtıma başlamak için model kartını da açabilirsiniz.

AWS Marketplace’te abone olun

SageMaker JumpStart’taki tescilli modeller, AI21, Cohere ve LightOn gibi model sağlayıcılar tarafından yayınlanır. Tescilli modelleri, aşağıdaki ekran görüntüsünde gösterildiği gibi, model kartlarındaki “Proprietary” (Tescilli) etiketi ile tanımlayabilirsiniz.

Not defterini aşağıdaki ekran görüntüsünde gösterildiği gibi salt okunur modda açmak için model kartında View notebook‘u (Not defterini görüntüle) seçebilirsiniz. Ön koşullar ve diğer kullanım talimatları ile ilgili önemli bilgiler için not defterini okuyabilirsiniz.

Not defterini içe aktardıktan sonra, kodları çalıştırmadan önce uygun not defteri ortamını (resim, çekirdek, sunucu türü vb.) seçmeniz gerekir. Ayrıca, seçilen not defterine göre abonelik ve kullanım talimatlarını da izlemelisiniz.

Tescilli bir modeli kullanmadan önce modele AWS Marketplace‘ten abone olmanız gerekir:

  1. AWS Marketplace’te model listeleme sayfasını açın.

URL, not defterinin Important (Önemli) bölümünde sağlanır veya ona SageMaker JumpStart hizmet sayfasından erişebilirsiniz. Listeleme sayfası, modelle ilgili genel bakış, fiyatlandırma, kullanım ve destek bilgilerini gösterir.

  1. AWS Marketplace listesinde Continue to subscribe‘ı (Abone olmak için devam) seçin.

Modeli görüntülemek veya modele abone olmak için gerekli izinlere sahip değilseniz, sizin için modele abone olmaları için BT yöneticinize veya satın alma irtibat noktanıza ulaşın. Birçok kuruluş, AWS Marketplace izinlerini, bu izinlere sahip birinin AWS Marketplace Management Portal’da gerçekleştirebileceği eylemleri kontrol etmek için sınırlayabilir.

  1. Subscribe to this software page (Bu yazılıma abone olun) sayfasında ayrıntıları gözden geçirin ve siz ve kuruluşunuz EULA, fiyatlandırma ve destek koşullarını kabul ediyorsanız Accept offer‘ı (Teklifi kabul et) seçin.

Herhangi bir sorunuz veya toplu indirim talebiniz varsa ayrıntılar sayfasında sağlanan destek e-postası aracılığıyla doğrudan model sağlayıcıya ulaşın veya AWS hesap ekibinize ulaşın.

  1. Continue to configuration (Yapılandırmaya devam et) seçin ve bir Bölge seçin.

Görüntülenen bir ürün ARN’i göreceksiniz. Bu, Boto3 kullanarak konuşlandırılabilir bir model oluştururken belirtmeniz gereken model paketi ARN’idir.

  1. Bölgenize karşılık gelen ARN’i kopyalayın ve aynısını not defterinin hücre talimatında belirtin.

Örnek istemlerle örnek çıkarım

SageMaker Studio’da SageMaker JumpStart’tan keşfedilebilen A21 Labs, Cohere ve LightOn’dan örnek temel modellerden bazılarına bakalım. Hepsi, AWS Marketplace’ten abone olmak ve not defterini içe aktarmak ve yapılandırmak için aynı talimatlara sahiptir.

AI21 Summarize

A121 Labs’ın Summarize modeli, uzun metinleri, kaynakla olgusal olarak tutarlı kalan kısa, okuması kolay bölümlere sıkıştırır. Model, bir metin gövdesine dayalı olarak temel fikirleri yakalayan özetler oluşturmak üzere eğitilmiştir. Herhangi bir yönlendirme gerektirmez. Özetlenmesi gereken metni girmeniz yeterlidir. Kaynak metniniz, yaklaşık 10.000 kelimeye veya etkileyici bir 40 sayfaya çevrilen 50.000’e kadar karakter içerebilir.

AI21 Summarize modeli için örnek not defteri, uyulması gereken önemli önkoşulları sağlar. Örneğin, model AWS Marketplace’ten abonedir, uygun IAM rol izinlerine ve gerekli boto3 sürümüne sahiptir, vb. Model paketini nasıl seçeceğiniz, gerçek zamanlı çıkarım için uç noktaları nasıl oluşturacağınız ve ardından nasıl temizleyeceğiniz konusunda size yol gösterir.

Seçilen model paketi, ARN’lerin Bölgelere eşlenmesini içerir. Bu, AWS Marketplace abonelik sayfasında (Evaluate and subscribe in Marketplace -Marketplace’te Değerlendir ve abone ol- bölümünde) Continue to configuration‘ı (Yapılandırmaya devam et) seçtikten ve ardından ilgili ürün ARN’sini göreceğiniz bir Bölge seçtikten sonra topladığınız bilgilerdir.

Not defterinde ARN önceden doldurulmuş olabilir.

Daha sonra, bu not defterini çalıştırmak için gereken bazı kitaplıkları içe aktarır ve Vikipedi’den verilere erişmeyi ve verileri ayrıştırmayı kolaylaştıran bir Python kitaplığı olan wikipedia’yı yüklersiniz. Not defteri bunu daha sonra Vikipedi’den uzun bir metnin nasıl özetleneceğini göstermek için kullanır.

Not defteri ayrıca, deploy ve invoke endpoint gibi SageMaker API’larını çevreleyen bir sarmalayıcı olan ai21 Python SDK’i yüklemeye devam eder.

Not defterinin sonraki birkaç hücresi aşağıdaki adımlardan geçer:

  • Bölgeyi seçin ve model paket haritasından ARN model paketini getirin
  • Modeli çalıştırmak için bir sunucu türü (kullanım durumunuza ve model için desteklenen sunucuya bağlı olarak; daha fazla ayrıntı için Task-specific models‘e -Göreve özgü modeller- bakın) seçerek çıkarım uç noktanızı oluşturun.
  • Model paketinden dağıtılabilir bir model oluşturun

Bir haber makalesinden alınan tek bir paragrafın özetini oluşturmak için çıkarımı çalıştıralım. Çıktıda da görebileceğiniz gibi özetlenen metin model tarafından çıktı olarak sunulur.

AI21 Summarize, 50.000 karaktere kadar girişleri işleyebilir. Bu, kabaca 10.000 kelime veya 40 sayfa anlamına gelir. Modelin davranışını göstermek için Vikipedi’den bir sayfa yüklüyoruz.

Artık test için gerçek zamanlı bir çıkarım gerçekleştirdiğiniz için uç noktaya ihtiyacınız olmayabilir. Ücretlendirilmemek için uç noktayı silebilirsiniz.

Cohere Command

Cohere Command, talimat benzeri istemlerle iyi yanıt veren üretken bir modeldir. Bu model, işletmelere ve kuruluşlara tüm üretken görevlerde en iyi kalite, performans ve doğruluğu sağlar. Metin yazarlığı, adlandırılmış varlık tanıma, başka kelimelerle ifade etme veya özetleme çabalarınızı canlandırmak ve bunları bir sonraki seviyeye taşımak için Cohere’in Command modelini kullanabilirsiniz.

Cohere Command modeli için örnek not defteri, uyulması gereken önemli önkoşulları sağlar. Örneğin, model AWS Marketplace’ten abonedir, uygun IAM rol izinlerine ve gerekli boto3 sürümüne sahiptir, vb. Model paketini nasıl seçeceğiniz, gerçek zamanlı çıkarım için uç noktaları nasıl oluşturacağınız ve ardından nasıl temizleyeceğiniz konusunda size yol gösterir.

Bazı görevler Boto3’yi yüklemek, cohere-sagemaker‘ı yüklemek (paket, Cohere modeliyle arabirimi basitleştirmek için geliştirilmiş işlevsellik sağlar) ve oturumu ve Bölgeyi almak gibi, önceki not defteri örneğinde kapsanan görevlere benzer.

Uç noktayı oluşturmayı keşfedelim. Model paketi ARN’ini, uç nokta adını, kullanılacak sunucu tipini ve sunucu sayısını sağlarsınız. Uç noktası oluşturulduktan sonra, SageMaker’ın endpoint bölümünde görünür.

Şimdi Command modelinden bazı çıktıları görmek için çıkarımı çalıştıralım.

Aşağıdaki ekran görüntüsü, bir iş ilanı oluşturmanın ve bunun çıktısının bir örneğini göstermektedir. Gördüğünüz gibi, model verilen istemden bir gönderi oluşturdu.

Şimdi aşağıdaki örneklere bakalım:

  • Bir ürün açıklaması oluşturma
  • Bir blog yazısının gövde paragrafını oluşturma
  • Bir sosyal yardım e-postası oluşturma

Gördüğünüz gibi, Cohere Command modeli çeşitli üretken görevler için metin üretti.

Artık test için gerçek zamanlı çıkarım gerçekleştirdiğiniz için uç noktaya ihtiyacınız olmayabilir. Ücretlendirilmemek için uç noktayı silebilirsiniz.

LightOn Mini-instruct

LightOn tarafından oluşturulan 40 milyar parametreye sahip bir AI modeli olan Mini-instruct, çok sayıda kaynaktan alınan yüksek kaliteli veriler kullanılarak eğitilmiş güçlü, çok dilli bir AI sistemidir. Doğal dili anlamak ve ihtiyaçlarınıza özel komutlara tepki vermek için tasarlanmıştır. Sesli asistanlar, sohbet robotları ve akıllı cihazlar gibi tüketici ürünlerinde takdire şayan bir performans sergiler. Ayrıca, aracı yardımı ve otomatikleştirilmiş müşteri hizmetleri için doğal dil üretimi de dahil olmak üzere çok çeşitli iş uygulamalarına sahiptir.

LightOn Mini-instruct modeli için örnek not defteri, takip edilmesi gereken önemli önkoşulları sağlar. Örneğin, model AWS Marketplace’ten abonedir, uygun IAM rol izinlerine ve gerekli boto3 sürümüne sahiptir, vb. Model paketini nasıl seçeceğiniz, gerçek zamanlı çıkarım için uç noktaları nasıl oluşturacağınız ve ardından nasıl temizleyeceğiniz konusunda size yol gösterir.

Boto3’i yüklemek ve oturum Bölgesini almak gibi bazı görevler önceki not defteri örneğinde ele alınanlara benzer.

Uç noktayı oluşturmaya bakalım. İlk olarak, model paketi ARN’i, uç nokta adını, kullanılacak sunucu tipini ve sunucu sayısını sağlayın. Uç noktası oluşturulduktan sonra, SageMaker’ın uç nokta bölümünde görünür.

Şimdi bir konu için makaleler için bir fikir listesi oluşturmasını isteyerek modelden çıkarım yapmayı deneyelim, bu durumda suluboya.

Gördüğünüz gibi, LightOn Mini-instruct modeli, verilen komut istemine göre oluşturulan metni sağlayabildi.

Temizleme

Örnek tescilli Temel Modeller için yukarıdaki modelleri test edip uç noktalar oluşturduktan sonra, SageMaker çıkarım uç noktalarını sildiğinizden ve ücret ödememek için modelleri sildiğinizden emin olun.

Sonuç

Bu gönderide, SageMaker Studio’da AI21, Cohere ve LightOn gibi model sağlayıcıların tescilli modellerini kullanmaya nasıl başlayacağınızı gösterdik. Müşteriler, Studio’dan SageMaker JumpStart’ta, SageMaker SDK’inde ve SageMaker Konsolunda tescilli Temel Modelleri keşfedebilir ve kullanabilir. Bununla, müşterilerin makale özetleme ve metin, resim veya video oluşturma gibi çok çeşitli görevleri gerçekleştirebilmeleri için milyarlarca parametre içeren ve terabaytlarca metin ve resim verisi üzerinde önceden eğitilmiş büyük ölçekli makine öğrenimi modellerine erişimleri vardır. Temel modeller önceden eğitildiğinden, eğitim ve altyapı maliyetlerini düşürmeye yardımcı olabilir ve kullanım durumunuz için özelleştirmeyi etkinleştirebilir.

Kaynaklar