AWS Neuron nedir?
AWS Neuron, AWS Inferentia ve AWS Trainium destekli Amazon Elastic Compute Cloud (Amazon EC2) bulut sunucularında derin öğrenme ve üretken yapay zeka iş yüklerini çalıştırmak için kullanılan yazılım geliştirme setidir (SDK). Bir derleyici, çalışma zamanı, eğitim ve çıkarım kitaplıkları ve izleme, profil oluşturma ve hata ayıklamaya yönelik geliştirici araçları içerir. Neuron, derin öğrenme ve yapay zeka modelleri oluşturma ve dağıtma, en yüksek performansı ve en düşük maliyeti elde edecek şekilde optimize etme, model davranışı hakkında daha ayrıntılı öngörüler elde etme dahil olmak üzere uçtan uca makine öğrenimi (ML) geliştirme yaşam döngünüzü destekler.

Popüler makine öğrenimi çerçeveleri ve kitaplıkları ile yerel entegrasyon
Neuron; PyTorch ve JAX'ın yanı sıra Hugging Face Optimum Neuron, PyTorch Lightning ve AXLearn gibi temel makine öğrenimi kitaplıklarıyla yerel olarak entegredir. Neuron ayrıca StableHLO ve GSPMD dahil olmak üzere OpenXLA'yı destekleyerek PyTorch, XLA ve JAX geliştiricilerinin Neuron'un Inferentia ve Trainium'a yönelik derleyici optimizasyonlarını kullanmalarına imkan tanır. Neuron; Trainium ve Inferentia tabanlı bulut sunucularını Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster ve AWS Toplu İşlem gibi hizmetlerin yanı sıra Ray (Anyscale), Domino Data Lab, Datadog ve Weights & Biases gibi üçüncü taraf hizmetlerle birlikte kullanmanızı sağlar.

Dağıtılmış eğitim ve çıkarım kitaplıkları
Neuron, açık kaynak PyTorch kitaplıkları NxD Training ve NxD Inference ile dağıtılmış eğitim ve çıkarım için kullanıma hazır optimizasyonlar içerir. NxD Training, büyük ölçekli dağıtılmış eğitimi basitleştirip optimize eder ve çeşitli model mimarilerini, paralellik stratejilerini ve eğitim iş akışlarını destekler. NxD Inference; cihaza yerleşik örnekleme, QKV ağırlık füzyonu, sürekli toplu işleme, spekülatif kod çözme, dinamik bucketing ve dağıtılmış çıkarım gibi temel özelliklerle optimize edilmiş model çıkarımı için kapsamlı bir çözüm sunar. NxD Inference ayrıca vLLM ve Hugging Face TGI gibi sunum çözümleriyle de entegredir. Her ikisi de farklı model mimarileri için bir model merkezi içerir.

Gelişmiş uygulamalı bilim özellikleri
Neuron, Trainium ve Inferentia'daki açık kaynaklı yapay zeka araştırmalarında ve inovasyonda sınırları zorlama konusunda bilim insanlarının ve araştırmacıların elini güçlendiren çeşitli uygulamalı bilim özelliklerine sahiptir. Nöron Kernel Arabirimi (NKI), Trainium ve Inferentia'da bulunan donanım ilkelerine ve talimatlarına doğrudan erişim sağlayarak araştırmacıların optimum performans için işlem çekirdekleri oluşturup ayarlamasına olanak tanır. Yaygın olarak kullanılan Triton benzeri söz dizimini ve bölme düzeyinde anlam bilimi benimseyen Python tabanlı bir programlama ortamıdır. Araştırmacılar, derin öğrenme modellerini yeni işlevler, optimizasyonlar ve bilim yenilikleriyle geliştirmek için NKI'yi kullanabilir. Neuron'un özel C++ işleçleri, geliştiricilerin Inferentia ve Trainium için optimize edilmiş kendi işleçlerini oluşturarak SDK'nin işlevselliğini genişletmelerine imkan verir.

Güçlü geliştirici araçları
AWS Neuron SDK, AWS Inferentia ve Trainium destekli EC2 bulut sunucularında derin öğrenme modellerinin izlenmesi, yönetimi ve optimizasyonu hakkında derinlemesine bilgiler sağlamak için kapsamlı bir araç seti sunar. Donanım kaynaklarını, model yürütmeyi ve sistem ayrıntılarını izlemek için neuron-top, neuron-monitor ve Neuron Sysfs gibi yardımcı programlar sağlar. Neuron; Kubernetes ve EKS üzerindeki container'lı uygulamalar için Amazon CloudWatch entegrasyonu, ayrıca Data Dog ve Weights & Biases gibi diğer popüler gözlemlenebilirlik araçları yoluyla izleme yapmayı kolaylaştırır. Ek olarak, neuron-profile aracı hem tek düğümlü hem de dağıtılmış uygulamalardaki performans darboğazlarını belirlemeye ve gidermeye yardımcı olur ve popüler makine öğrenimi çerçeveleri için yerel profil oluşturma yetenekleri sağlar.
