Erste Schritte mit Amazon EKS

Amazon EKS ermöglicht zwei unterschiedliche Ansätze für agentenbasierte KI. Erstens können Sie autonome Agenten als containerisierte Anwendungen bereitstellen und skalieren, wodurch Sie die Kontrolle über Ihre Agenteninfrastruktur behalten. Zweitens können Sie den Kubernetes-Betrieb und die Anwendungsentwicklung optimieren, sodass Agenten und KI-Assistenten mithilfe des Agent2Agent-Protokolls (A2A) und des Model Context Protocol (MCP) den Betrieb vereinfachen und Probleme durch Interaktionen in natürlicher Sprache beheben können. Dieser Leitfaden führt Sie durch beide Ansätze – die Bereitstellung von Agenten auf Amazon EKS und den Einsatz agentenbasierter KI zur Verbesserung der Entwickler- und Betreibererfahrung mit Amazon EKS.

Stellen Sie autonome KI-Agenten auf Amazon EKS mithilfe des Open-Source-SDK Strands Agents oder Ihres bevorzugten Agenten-Frameworks bereit und skalieren Sie sie. Dieser Ansatz gibt Ihnen die vollständige Kontrolle über Ihre Agenteninfrastruktur, sodass Sie jedes Modell verwenden und Ihre Implementierung anpassen können. EKS bietet produktionstaugliche Funktionen für die Ausführung containerisierter KI-Agenten mit hoher Verfügbarkeit und Skalierbarkeit.

Erkunden Sie die Grundlagen der Erstellung und Bereitstellung von KI-Agenten auf EKS. Erfahren Sie mehr über das Strands-Agents-SDK und wie es die Agentenentwicklung vereinfacht, oder wenden Sie diese Konzepte auf Ihr bevorzugtes Framework an. Schauen Sie sich ein Beispiel aus der Praxis zur Wettervorhersage an, um zu verstehen, wie ein einfacher Agent externe APIs integrieren, Streaming-Antworten verarbeiten und Abfragen in natürlicher Sprache verarbeiten kann. Dieses Beispiel zeigt wichtige Konzepte wie System-Prompts, Toolintegration und API-Workflows, die Sie für die Bereitstellung von Agenten auf EKS benötigen.

Befolgen Sie unsere Schritt-für-Schritt-Anleitung zur Bereitstellung von Strands Agents SDK-Agenten auf Amazon EKS. Beginnen Sie damit, zu lernen, wie Sie Ihren Agenten containerisieren, FastAPI-Endpunkte einrichten, Streaming-Antworten implementieren und Ihre Anwendung mit Docker verpacken. Verwenden Sie unser Beispielprojekt, um grundlegende Konzepte wie die Konfiguration des EKS-Automatikmodus, Helm-Bereitstellungen und grundlegende Tests zu verstehen. In diesem Handbuch wird zwar das Strands-SDK verwendet, die Prinzipien gelten jedoch für die Bereitstellung aller containerisierten Agenten auf EKS.

Erfahren Sie, wie Sie Ihre Agentenbereitstellungen zuverlässig in der Produktion skalieren und betreiben können. Implementieren Sie die automatische Skalierung, um schwankende Workloads zu bewältigen, sorgen Sie durch Backup- und Failover-Konfigurationen für hohe Verfügbarkeit und richten Sie mithilfe von CloudWatch Container Insights eine umfassende Überwachung ein. Folgen Sie unserem EKS-Best-Practices-Leitfaden für die Ausführung von KI/ML-Workloads, um sicherzustellen, dass Ihre Agenteninfrastruktur sicher und beobachtbar ist. Nehmen Sie an unserem Workshop Agentenbasierte KI auf EKS teil, den Sie in Ihrem eigenen Tempo absolvieren können, und erhalten Sie eine Schritt-für-Schritt-Anleitung für die Bereitstellung von KI-Agenten in großem Maßstab.

Transformieren Sie Ihren Kubernetes-Betrieb, indem Sie KI-Codierungsassistenten Tools und Ressourcen in Echtzeit über den MCP-Server für Amazon EKS bereitstellen. Auf diese Weise können KI-Agenten direkt mit Ihren EKS-Clustern interagieren, und zwar mit kontextbezogener Anleitung und Automatisierung durch Interaktionen in natürlicher Sprache. Von der Clustererstellung bis hin zur Fehlerbehebung helfen Ihnen diese KI-Agenten dabei, Ihren Kubernetes-Betrieb zu optimieren und gleichzeitig die Best Practices von AWS beizubehalten.

Erfahren Sie, wie die verschiedenen AWS-MCP-Server die Interaktion zwischen KI-Modellen und AWS-Services und -Ressourcen erleichtern. Erfahren Sie im EKS-MCP-Serverhandbuch, wie KI-Agenten dazu beitragen können, gängige operative Aufgaben zu automatisieren – von der Clusterverwaltung bis zur Fehlerbehebung. Richten Sie Ihre Entwicklungsumgebung ein, um KI-Assistenten wie Amazon Q Developer CLI oder Cline mit der EKS-MCP-Serverintegration zu konfigurieren.

Folgen Sie unserer schrittweisen Anleitung zur Optimierung des Kubernetes-Betriebs mit dem MCP-Server für Amazon EKS. Lernen Sie, Befehle in natürlicher Sprache für die Containerisierung und Bereitstellung von Anwendungen auf EKS zu verwenden. In dieser Demo erfahren Sie mehr darüber, wie KI-Agenten mithilfe der Tools des EKS-MCP-Servers dabei helfen können, Kubernetes-Manifeste zu generieren, Cluster-Ressourcen zu verwalten und Bereitstellungsworkflows zu automatisieren.

Folgen Sie unserer Anleitung zur KI-gestützten Fehlerbehebung mit dem MCP-Server für Amazon EKS, um zu erfahren, wie KI-Agenten helfen können, den Zustand von Anwendungen zu überwachen und häufig auftretende Probleme zu lösen. Anhand praktischer Beispiele für das Debuggen von Pod-Ausfällen und Infrastrukturproblemen lernen Sie, Abfragen in natürlicher Sprache zu verwenden, um CloudWatch-Metriken zu überprüfen, Protokolle zu analysieren und Probleme zu diagnostizieren. Dieser praktische Leitfaden zeigt, wie KI-Unterstützung Ihnen helfen kann, Amazon CloudWatch und andere AWS-Services zu nutzen, um fehlerfreie Anwendungen auf EKS aufrechtzuerhalten.

Die generative KI-Landschaft entwickelt sich rasant. Unternehmen entwickeln, implementieren und skalieren verschiedene KI/ML-Workloads für Anwendungsfälle, die von verteiltem Modelltraining über Feinabstimmung bis hin zu groß angelegten Inferenzbereitstellungen reichen. Kunden wie Anthropic und Adobe entscheiden sich für Amazon EKS, um eine detaillierte Kontrolle über die Rechenressourcen zu erhalten und gleichzeitig die betriebliche Effizienz aufrechtzuerhalten. In diesem Leitfaden erhalten Sie einen Überblick darüber, warum sich Kunden für EKS for KI/ML für häufige Anwendungsfälle wie Modelltraining und -bereitstellung, Retrieval Augmented Generation (RAG) und Inferenz entscheiden.

Amazon EKS ermöglicht Inferenzbereitstellungen auf Produktionsebene mit Unterstützung für GPU-Optimierung, Bereitstellung mehrerer Modelle und automatisierter Skalierung. Unternehmen können ihr vorhandenes EKS-Fachwissen und ihre Betriebspraktiken nutzen, um Inferenz-Workloads schnell zusammen mit anderen Anwendungen bereitzustellen und zu verwalten. Durch die Integration mit Open-Source-Tools und einer Vielzahl von Beschleunigern auf AWS haben Unternehmen wie Vannevar Labs und Omi erhebliche Kostensenkungen und Leistungsverbesserungen erzielt und gleichzeitig die Betriebskonsistenz in ihrer gesamten Infrastruktur aufrechterhalten.

In diesem Lösungsleitfaden lernen Sie die Infrastruktur- und Architekturgrundlagen für die Bereitstellung von Inferenz-Workloads auf EKS kennen. Dabei werden wichtige Themen wie GPU-Unterstützung, Model-Serving-Muster und Ressourcenoptimierung behandelt. Erkunden Sie das Open-Source-Projekt AI in EKS, das einsatzbereite Vorlagen wie die Einrichtung eines skalierbaren LLM-Inferenzdienstes mit Infrastructure-as-Code-Vorlagen für den Produktionseinsatz bereitstellt.

Beginnen Sie mit unserem Best-Practices-Leitfaden zur Clustereinrichtung für Echtzeit-Inferenz, um einen EKS-Cluster zu erstellen, der für Produktionsinferenz-Workloads optimiert ist. Stellen Sie Modelle mithilfe unserer produktionsbereiten KI auf EKS-Inferenzdiagrammen bereit, die Helm-Charts und Infrastructure-as-Code-Vorlagen für beliebte Frameworks wie vLLM und NVIDIA Triton bereitstellen. Informationen zu herkömmlichen ML-Workloads finden Sie im Entwicklerhandbuch für AWS Deep Learning Containers für CPU- und GPU-basierte Inferenz für Bereitstellungsmuster.

Nehmen Sie an unseren praktischen Workshops teil, um Inferenz-Workloads auf EKS mit einem Beschleuniger Ihrer Wahl bereitzustellen – dem NVIDIA-basierten Workshop für GPU-basierte Inferenz und dem AWS Neuron-basierten Workshop mit Inferentia- und Trainium-Beschleunigern. Beide Workshops behandeln wichtige Aufgaben wie die Einrichtung von Geräte-Plugins, das Ressourcenmanagement und die Überwachung. Lesen Sie den umfassenden EKS-Best-Practices-Leitfaden für KI/ML-Workloads, um sicherzustellen, dass Ihre Inferenzbereitstellungen bewährten Mustern in Bezug auf Rechenleistung, Netzwerk, Speicher und Beobachtbarkeit folgen. Diese Leitfäden dienen als fortlaufende Referenz, während Sie Ihre Inferenzarchitektur auf EKS betreiben und weiterentwickeln.

Neu bei Amazon EKS? Folgen Sie den Schritten in diesem Pfad und richten Sie Ihren ersten Kubernetes-Cluster in nur wenigen Minuten ein.

Mit Amazon EKS können Sie Container in wenigen Minuten einrichten und starten, indem Sie sich in der AWS-Managementkonsole anmelden.

Erfahren Sie in der Videoserie Containers von der Couch und dem Containers-Blog-Kanal, wie Amazon EKS funktioniert.

Erfahren Sie anhand von Beispielimplementierungen unter Linux und Windows, wie Sie Workloads und Add-ons in Amazon EKS bereitstellen.