Ana İçeriğe Atla

AWS Yapay Zeka Çipleri

AWS Neuron

AWS Trainium ve AWS Inferentia'da yapay zeka ve derin öğrenmeyi optimize etmeye yarayan SDK

AWS Neuron'u kullanmaya başlayın

AWS Neuron nedir?

AWS Neuron, AWS Inferentia ve AWS Trainium destekli Amazon Elastic Compute Cloud (Amazon EC2) bulut sunucularında derin öğrenme ve üretken yapay zeka iş yüklerini çalıştırmak için kullanılan yazılım geliştirme setidir (SDK). Bir derleyici, çalışma zamanı, eğitim ve çıkarım kitaplıkları ve izleme, profil oluşturma ve hata ayıklamaya yönelik geliştirici araçları içerir. Neuron, derin öğrenme ve yapay zeka modelleri oluşturma ve dağıtma, en yüksek performansı ve en düşük maliyeti elde edecek şekilde optimize etme, model davranışı hakkında daha ayrıntılı öngörüler elde etme dahil olmak üzere uçtan uca makine öğrenimi (ML) geliştirme yaşam döngünüzü destekler.
An abstract illustration of a human head silhouette filled with colorful geometric data patterns and lines, representing artificial intelligence and machine learning concepts.

Popüler makine öğrenimi çerçeveleri ve kitaplıkları ile yerel entegrasyon

Neuron; PyTorch ve JAX'ın yanı sıra Hugging Face Optimum Neuron, PyTorch Lightning ve AXLearn gibi temel makine öğrenimi kitaplıklarıyla yerel olarak entegredir. Neuron ayrıca StableHLO ve GSPMD dahil olmak üzere OpenXLA'yı destekleyerek PyTorch, XLA ve JAX geliştiricilerinin Neuron'un Inferentia ve Trainium'a yönelik derleyici optimizasyonlarını kullanmalarına imkan tanır. Neuron; Trainium ve Inferentia tabanlı bulut sunucularını Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster ve AWS Toplu İşlem gibi hizmetlerin yanı sıra Ray (Anyscale), Domino Data Lab ve Datadog gibi üçüncü taraf hizmetleriyle birlikte kullanmanızı sağlar.
Abstract digital illustration featuring concentric rings of pink brick-like segments on a dark blue background, representing AWS security, identity, and compliance concepts.

Dağıtılmış eğitim ve çıkarım kitaplıkları

Neuron, açık kaynak PyTorch kitaplıkları NxD Training ve NxD Inference ile dağıtılmış eğitim ve çıkarım için kullanıma hazır optimizasyonlar içerir. NxD Training, büyük ölçekli dağıtılmış eğitimi basitleştirip optimize eder ve çeşitli model mimarilerini, paralellik stratejilerini ve eğitim iş akışlarını destekler. NxD Inference; cihaza yerleşik örnekleme, QKV ağırlık füzyonu, sürekli toplu işleme, spekülatif kod çözme, dinamik bucketing ve dağıtılmış çıkarım gibi temel özelliklerle optimize edilmiş model çıkarımı için kapsamlı bir çözüm sunar. NxD Inference ayrıca vLLM ve Hugging Face TGI gibi sunum çözümleriyle de entegredir. Her ikisi de farklı model mimarileri için bir model merkezi içerir.
A vibrant abstract background featuring a pattern of colorful rectangular shapes arranged in horizontal rows, with various shades of blue, red, purple, pink, and yellow.

Gelişmiş uygulamalı bilim özellikleri

Neuron, Trainium ve Inferentia'daki açık kaynaklı yapay zeka araştırmalarında ve inovasyonda sınırları zorlama konusunda bilim insanlarının ve araştırmacıların elini güçlendiren çeşitli uygulamalı bilim özelliklerine sahiptir. Nöron Kernel Arabirimi (NKI), Trainium ve Inferentia'da bulunan donanım ilkelerine ve talimatlarına doğrudan erişim sağlayarak araştırmacıların optimum performans için işlem çekirdekleri oluşturup ayarlamasına olanak tanır. Yaygın olarak kullanılan Triton benzeri söz dizimini ve bölme düzeyinde anlam bilimi benimseyen Python tabanlı bir programlama ortamıdır. Araştırmacılar, derin öğrenme modellerini yeni işlevler, optimizasyonlar ve bilim yenilikleriyle geliştirmek için NKI'yi kullanabilir. Neuron'un özel C++ işleçleri, geliştiricilerin Inferentia ve Trainium için optimize edilmiş kendi işleçlerini oluşturarak SDK'nin işlevselliğini genişletmelerine imkan verir.
Abstract illustration featuring various geometric shapes, such as triangles, circles, rectangles, and grids, in gradient pastel yellow and purple tones on a lavender background. Arrows and dotted lines add motion and connectivity, suitable for themes of application integration and creative design.

Güçlü geliştirici araçları

AWS Neuron SDK, AWS Inferentia ve Trainium destekli EC2 bulut sunucularında derin öğrenme modellerinin izlenmesi, yönetimi ve optimizasyonu hakkında derinlemesine bilgiler sağlamak için kapsamlı bir araç seti sunar. Donanım kaynaklarını, model yürütmeyi ve sistem ayrıntılarını izlemek için neuron-top, neuron-monitor ve Neuron Sysfs gibi yardımcı programlar sağlar. Neuron; Kubernetes ve EKS üzerindeki container'lı uygulamalar için Amazon CloudWatch entegrasyonu, ayrıca Data Dog gibi diğer popüler gözlemlenebilirlik araçları yoluyla izleme yapmayı kolaylaştırır. Ek olarak, neuron-profile aracı hem tek düğümlü hem de dağıtılmış uygulamalardaki performans darboğazlarını belirlemeye ve gidermeye yardımcı olur ve popüler makine öğrenimi çerçeveleri için yerel profil oluşturma yetenekleri sağlar.
An abstract background featuring flowing, multicolored waves beneath a variety of geometric shapes (such as circles, rectangles, hexagons, and triangles) on a dark backdrop. The image visually suggests data visualization, analytics, or machine learning concepts.

Kullanmaya başlama

Neuron Derin Öğrenme Amazon Makine Görüntüleri (Neuron DLAMI'leri); Neuron SDK, popüler çerçevelerle ve yararlı kitaplıklarla önceden yapılandırılmış olarak gelir ve AWS Inferentia üzerinde eğitime ve çıkarım çalıştırmaya hızlı bir şekilde başlamanıza olanak tanır. Neuron DLAMI'leri iş akışınızı kolaylaştırarak ve performansı optimize ederek kurulum karmaşıklıklarını ortadan kaldırır, böylece siz de yapay zeka modelleri oluşturmaya ve dağıtmaya odaklanabilirsiniz. Neuron DLamis ile başlayın.

Trainium ve Inferentia için optimize edilmiş çerçevelere sahip önceden yapılandırılmış AWS Neuron Derin Öğrenme Container'larını (Neuron DLC'leri) kullanarak modelleri hızla dağıtın. Özel çözümler için, kendi container'larınızı oluşturun ve Neuron Cihaz Eklentisi, Neuron Zamanlayıcı Uzantısı ve Helm Şemaları gibi Kubernetes özelliklerinden yararlanın. Ölçeklenebilir dağıtımlar için Amazon EKS, AWS Toplu İşlem ve Amazon ECS gibi AWS hizmetleriyle sorunsuz bir şekilde entegrasyon sağlayın. Neuron DLC 'leri kullanmaya başlayın.

Optimum Neuron, Hugging Face Dönüştürücüleri ile AWS Neuron SDK arasında köprü kurarak Trainium ve Inferentia için standart Hugging Face API'leri sağlar. Yapay zeka iş akışları için büyük ölçekli model eğitimi ve dağıtım desteği de dahil olmak üzere hem eğitim hem de çıkarım için çözümler sunar. Amazon SageMaker'ı ve önceden oluşturulmuş Derin Öğrenme Container'larını destekleyen Optimum Neuron, makine öğrenimi için Trainium ve Inferentia kullanımını basitleştirir. Bu entegrasyon, geliştiricilere dönüştürücü tabanlı projeleri için Trainium ve Inferentia'yı kullanırken bilindik Hugging Face arabirimleriyle çalışma olanağı tanır. Hugging Face Optimum Neuron ile başlayın.

Neuron kullanarak modelleri eğitmek ve dağıtmak için Amazon SageMaker JumpStart'ı kullanabilirsiniz. JumpStart, Meta'nın Llama model ailesi gibi popüler modellerin ince ayarlanması ve dağıtılması için destek sağlar. SageMaker Jump Start'ı kullanmaya başlayın.