Amazon SageMaker bringt Multi-Adapter Model Inference auf den Markt
Amazon SageMaker führt dieser Tage neue Funktionen zur Multiadapter-Inferenz ein, die Kunden mit vortrainierten Sprachmodellen spannende Möglichkeiten eröffnen. Das Feature erlaubt es Ihnen, Hunderte fein ausbalancierte LoRa-Modelladapter (Low-Rank Adaptation) hinter einem einzigen Endpunkt bereitzustellen und die entsprechenden Adapter je nach Anforderung innerhalb von Millisekunden dynamisch zu laden. Diese ermöglicht es Ihnen, eine Vielzahl spezialisierter LoRa-Adapter, basierend auf einem gemeinsamen Basismodell, effizient zu hosten, was im Vergleich zur Bereitstellung separater Modelle einen hohen Durchsatz und Kosteneinsparungen bietet.
Mit der Multi-Adapter-Inferenz können Sie vortrainierte Modelle schnell an verschiedene Geschäftsanforderungen individuell anpassen. Marketing- und SaaS-Unternehmen können KI/ML-Anwendungen zum Beispiel personalisieren, indem sie individuelle Bilder, Kommunikationsstil und Dokumente des Kunden aufgreifen, um in Sekundenschnelle maßgeschneiderte Inhalte zu generieren. In vergleichbarer Weise können Unternehmen in Branchen wie beispielsweise Gesundheitswesen und Finanzdienstleistungen ein gängiges Lora-basiertes Basismodell wiederverwenden, um eine Vielzahl spezialisierter Aufgaben zu bewältigen, von der medizinischen Diagnose bis zur Betrugserkennung, indem sie einfach den entsprechenden, fein ausbalancierten Adapter austauschen. Diese Flexibilität und Effizienz eröffnet neue Gelegenheiten für den Einsatz leistungsstarker, anpassungsfähiger KI in Ihrer gesamten Organisation.
Das neue Feature zur Multiadapter-Inferenz ist in diesen Regionen allgemein verfügbar: Asien-Pazifik (Tokio, Seoul, Mumbai, Singapur, Sydney, Jakarta), Kanada (Zentral), Europa (Frankfurt, Stockholm, Irland, London), Naher Osten (VAE), Südamerika (Sao Paulo), USA Ost (Nord-Virginia, Ohio) und USA West (Oregon).
Informationen Sie sich bitte zunächst im Entwicklerhandbuch von Amazon SageMaker über die Verwendung von LoRa und die Verwaltung von Modelladaptern.