Was ist Datenerweiterung?
Datenerweiterung ist der Prozess der künstlichen Generierung neuer Daten aus vorhandenen Daten, hauptsächlich um neue Modelle für Machine Learning (ML) zu trainieren. ML-Modelle erfordern große und vielfältige Datensätze für das anfängliche Training. Die Beschaffung ausreichend unterschiedlicher Datensätze aus der realen Welt kann jedoch aufgrund von Datensilos, Vorschriften und anderen Einschränkungen eine Herausforderung darstellen. Bei der Datenerweiterung wird der Datensatz künstlich vergrößert, indem kleine Änderungen an den Originaldaten vorgenommen werden. Generative Lösungen künstlicher Intelligenz (KI) werden heute in verschiedenen Branchen für eine qualitativ hochwertige und schnelle Datenerweiterung eingesetzt.
Warum ist Datenerweiterung wichtig?
Deep-Learning-Modelle stützen sich auf große Mengen unterschiedlicher Daten, um genaue Vorhersagen in verschiedenen Kontexten zu entwickeln. Die Datenerweiterung ergänzt die Erstellung von Datenvariationen, die einem Modell helfen können, die Genauigkeit seiner Vorhersagen zu verbessern. Erweiterte Daten sind im Training von entscheidender Bedeutung.
Hier sind einige der Vorteile der Datenerweiterung.
Verbesserte Modellleistung
Techniken zur Datenerweiterung helfen dabei, Datensätze anzureichern, indem viele Variationen vorhandener Daten erstellt werden. Dies bietet einen größeren Datensatz für das Training und ermöglicht es einem Modell, auf vielfältigere Merkmale zu stoßen. Die erweiterten Daten helfen dem Modell, besser auf unsichtbare Daten zu verallgemeinern und seine Gesamtleistung in realen Umgebungen zu verbessern.
Reduzierte Datenabhängigkeit
Die Erfassung und Aufbereitung großer Datenmengen für Schulungen kann kostspielig und zeitaufwändig sein. Techniken zur Datenerweiterung erhöhen die Effektivität kleinerer Datensätze und reduzieren so die Abhängigkeit von großen Datensätzen in Trainingsumgebungen erheblich. Sie können kleinere Datensätze verwenden, um den Satz mit synthetischen Datenpunkten zu ergänzen.
Überanpassungen in Trainingsdaten vermeiden
Die Datenerweiterung hilft, eine Überanpassung beim Training von ML-Modellen zu verhindern. Überanpassung ist ein unerwünschtes ML-Verhalten, bei dem ein Modell zwar genaue Vorhersagen für Trainingsdaten treffen kann, aber mit neuen Daten zu kämpfen hat. Wenn ein Modell nur mit einem begrenzten Datensatz trainiert, kann es zu einer Überanpassung kommen und es kann Vorhersagen machen, die sich nur auf diesen speziellen Datentyp beziehen. Im Gegensatz dazu sorgt die Datenerweiterung für einen wesentlich größeren und umfassenderen Datensatz für das Modelltraining. Sie lässt Trainingssätze für tiefe neuronale Netze einzigartig erscheinen und verhindert, dass sie lernen, nur mit bestimmten Merkmalen zu arbeiten.
Weitere Informationen über neuronale Netzwerke
Verbesserter Datenschutz
Wenn Sie ein Deep-Learning-Modell für sensible Daten trainieren müssen, können Sie Augmentierungstechniken für die vorhandenen Daten verwenden, um synthetische Daten zu erstellen. Diese erweiterten Daten behalten die statistischen Eigenschaften und Gewichte der Eingabedaten bei und schützen und beschränken gleichzeitig den Zugriff auf das Original.
Was sind die Anwendungsfälle der Datenerweiterung?
Die Datenerweiterung bietet mehrere Anwendungen in verschiedenen Branchen und verbessert die Leistung von ML-Modellen in vielen Sektoren.
Gesundheitswesen
Die Datenerweiterung ist eine nützliche Technologie in der medizinischen Bildgebung, da sie dazu beiträgt, diagnostische Modelle zu verbessern, die Krankheiten anhand von Bildern erkennen, erkennen und diagnostizieren. Die Erstellung eines erweiterten Bildes liefert mehr Trainingsdaten für Modelle, insbesondere für seltene Krankheiten, bei denen es an Variationen in den Quelldaten mangelt. Die Produktion und Verwendung synthetischer Patientendaten treibt die medizinische Forschung voran und berücksichtigt dabei alle Datenschutzaspekte.
Finanzen
Erweiterung hilft dabei, synthetische Betrugsfälle zu erzeugen, sodass Modelle trainiert werden können, um Betrug in realen Szenarien genauer zu erkennen. Größere Pools von Trainingsdaten helfen bei Risikobewertungsszenarien und erhöhen das Potenzial von Deep-Learning-Modellen, Risiken genau einzuschätzen und zukünftige Trends vorherzusagen.
Herstellung
Die Fertigungsindustrie verwendet ML-Modelle, um visuelle Mängel an Produkten zu identifizieren. Durch die Ergänzung realer Daten durch erweiterte Bilder können Modelle ihre Bilderkennungsfähigkeiten verbessern und potenzielle Defekte lokalisieren. Diese Strategie verringert auch die Wahrscheinlichkeit, dass ein beschädigtes oder defektes Projekt an Fabriken und Produktionslinien versendet wird.
Einzelhandel
Einzelhandelsumgebungen verwenden Modelle, um Produkte zu identifizieren und sie anhand visueller Faktoren Kategorien zuzuordnen. Durch die Datenerweiterung können synthetische Datenvariationen von Produktbildern erzeugt werden, wodurch ein Trainingsset entsteht, das in Bezug auf Lichtverhältnisse, Bildhintergründe und Produktwinkel eine größere Varianz aufweist.
Wie funktioniert die Datenerweiterung?
Die Datenerweiterung transformiert, bearbeitet oder modifiziert vorhandene Daten, um Variationen zu erstellen. Im Folgenden finden Sie einen kurzen Überblick über den Prozess.
Erkundung von Datensätzen
Die erste Phase der Datenerweiterung besteht darin, einen vorhandenen Datensatz zu analysieren und seine Eigenschaften zu verstehen. Merkmale wie die Größe der Eingabebilder, die Verteilung der Daten oder die Textstruktur bieten einen weiteren Kontext für die Erweiterung.
Sie können je nach dem zugrunde liegenden Datentyp und den gewünschten Ergebnissen verschiedene Datenerweiterungstechniken auswählen. Wenn Sie beispielsweise einen Datensatz mit vielen Bildern erweitern, indem Sie ihnen Rauschen hinzufügen, sie skalieren oder zuschneiden. Alternativ ersetzt die Erweiterung eines Textdatensatzes für die Verarbeitung natürlicher Sprache (NLP) Synonyme oder paraphrasiert Auszüge.
Lesen Sie mehr über natürliche Sprachverarbeitung
Erweiterung vorhandener Daten
Nachdem Sie die Datenerweiterungstechnik ausgewählt haben, die für Ihr angestrebtes Ziel am besten geeignet ist, beginnen Sie mit der Anwendung verschiedener Transformationen. Datenpunkte oder Bildproben im Datensatz werden mithilfe der von Ihnen ausgewählten Augmentierungsmethode transformiert, wodurch eine Reihe neuer erweiterter Stichproben bereitgestellt wird.
Während des Augmentierungsprozesses halten Sie aus Gründen der Datenkonsistenz dieselben Kennzeichnungsregeln ein und stellen so sicher, dass die synthetischen Daten dieselben Labels enthalten, die den Quelldaten entsprechen.
In der Regel schauen Sie sich die synthetischen Bilder an, um festzustellen, ob die Transformation erfolgreich war. Dieser zusätzliche, von Menschen geleitete Schritt trägt zur Aufrechterhaltung einer höheren Datenqualität bei.
Eingabeformulare integrieren
Als Nächstes kombinieren Sie die neuen, erweiterten Daten mit den Originaldaten, um einen größeren Trainingsdatensatz für das ML-Modell zu erstellen. Wenn Sie das Modell trainieren, verwenden Sie diesen zusammengesetzten Datensatz aus beiden Arten von Daten.
Es ist wichtig zu beachten, dass neue Datenpunkte, die durch synthetische Datenerweiterung erstellt werden, dieselbe Verzerrung aufweisen wie die ursprünglichen Eingabedaten. Um zu verhindern, dass Verzerrungen in Ihre neuen Daten übertragen werden, beheben Sie alle Verzerrungen in den Quelldaten, bevor Sie mit der Datenerweiterung beginnen.
Was sind einige Techniken zur Datenerweiterung?
Die Techniken zur Datenerweiterung variieren je nach Datentyp und Geschäftskontext.
Computervision
Die Datenerweiterung ist eine zentrale Technik bei Computer-Vision-Aufgaben. Es hilft dabei, unterschiedliche Datenrepräsentationen zu erstellen und Klassenungleichgewichte in einem Trainingsdatensatz zu beheben.
Die erste Anwendung der Augmentation in der Computer Vision ist die Positionsvergrößerung. Diese Strategie schneidet, dreht oder dreht ein Eingabebild, um erweiterte Bilder zu erstellen. Beim Zuschneiden wird entweder die Größe des Bilds geändert oder ein kleiner Teil des Originalbilds zugeschnitten, um ein neues Bild zu erstellen. Beim Drehen, Spiegeln und Ändern der Größe verändert sich das Original nach dem Zufallsprinzip mit einer bestimmten Wahrscheinlichkeit, dass neue Bilder entstehen.
Eine weitere Anwendung der Augmentation beim Computersehen ist die Farbvergrößerung. Diese Strategie passt die elementaren Faktoren eines Trainingsbildes an, wie Helligkeit, Kontrastgrad oder Sättigung. Diese üblichen Bildtransformationen ändern den Farbton, die Dunkel- und Hellbalance sowie die Trennung zwischen den dunkelsten und hellsten Bereichen eines Bildes, um erweiterte Bilder zu erzeugen.
Mehr über Computervision lesen
Erweiterung von Audiodaten
Audiodateien, wie z. B. Sprachaufzeichnungen, sind ebenfalls ein häufig verwendetes Feld, in dem Sie die Datenerweiterung verwenden können. Zu Audiotransformationen gehören in der Regel das Einspeisen von zufälligem oder Gaußschen Rauschen in bestimmte Audiodateien, das schnelle Vorspulen von Teilen, das Ändern der Geschwindigkeit von Teilen mit einer festen Rate oder das Ändern der Tonhöhe.
Erweiterung von Textdaten
Die Texterweiterung ist eine wichtige Datenerweiterungstechnik für NLP und andere textbezogene Bereiche des ML. Zu Transformationen von Textdaten gehören das Mischen von Sätzen, das Ändern der Position von Wörtern, das Ersetzen von Wörtern durch ähnliche Synonyme, das Einfügen zufälliger Wörter und das Löschen zufälliger Wörter.
Übertragung neuronaler Stile
Die Übertragung im neuronalen Stil ist eine fortschrittliche Form der Datenerweiterung, bei der Bilder in kleinere Teile zerlegt werden. Es verwendet eine Reihe von Faltungsschichten, die den Stil und den Kontext eines Bildes voneinander trennen, wodurch viele Bilder aus einem einzigen entstehen.
Adversarial Training
Änderungen auf Pixelebene stellen eine Herausforderung für ein ML-Modell dar. Einige Proben enthalten eine Schicht unmerklichen Rauschens über einem Bild, um die Fähigkeit des Modells zu testen, das darunter liegende Bild wahrzunehmen. Diese Strategie ist eine präventive Form der Datenerweiterung, die sich auf potenzielle unbefugte Zugriffe in der realen Welt konzentriert.
Was ist die Rolle der generativen KI bei der Datenerweiterung?
Generative KI ist für die Datenerweiterung unerlässlich, da sie die Produktion synthetischer Daten erleichtert. Sie trägt dazu bei, die Datenvielfalt zu erhöhen, die Erstellung realistischer Daten zu optimieren und den Datenschutz zu wahren.
Generative gegnerische Netzwerke
Generative Adversarial Networks (GAN) bestehen aus zwei zentralen neuronalen Netzwerken, die gegeneinander arbeiten. Der Generator erzeugt Stichproben synthetischer Daten, dann unterscheidet der Diskriminator zwischen den echten Daten und den synthetischen Stichproben.
Im Laufe der Zeit verbessern GANs kontinuierlich die Leistung des Generators, indem sie sich darauf konzentrieren, den Diskriminator zu täuschen. Daten, die den Diskriminator täuschen können, gelten als hochwertige synthetische Daten und bieten eine Datenerweiterung mit hochzuverlässigen Stichproben, die die ursprüngliche Datenverteilung genau nachahmen.
Variationelle Auto-Encoder
Variationelle Autoencoder (VAE) sind eine Art neuronales Netzwerk, mit dessen Hilfe der Stichprobenumfang von Kerndaten erhöht und die zeitaufwändige Datenerfassung reduziert werden kann. VAEs haben zwei verbundene Netzwerke: einen Decoder und einen Encoder. Der Encoder nimmt Beispielbilder auf und übersetzt sie in eine Zwischendarstellung. Der Decoder nimmt die Repräsentation auf und erstellt ähnliche Bilder, basierend auf seinem Verständnis der ursprünglichen Samples. VAEs sind nützlich, da sie Daten erstellen können, die den Stichprobendaten sehr ähnlich sind, was zu mehr Abwechslung beiträgt und gleichzeitig die ursprüngliche Datenverteilung beibehält.
Wie kann AWS Ihre Anforderungen an die Datenerweiterung unterstützen?
Generative KI auf Amazon Web Services (AWS) ist eine Reihe von Technologien, die Unternehmen jeder Größe verwenden können, um generative KI-Anwendungen mit maßgeschneiderten Daten für benutzerdefinierte Anwendungsfälle zu erstellen und zu skalieren. Mit neuen Funktionen, einer Auswahl an branchenführenden Basismodellen (FMs) und der kostengünstigsten Infrastruktur können Sie Innovationen schneller vorantreiben. Im Folgenden finden Sie zwei Beispiele für generative KI-Services auf AWS.
Amazon Bedrock ist ein vollständig verwalteter Service, der eine Auswahl an leistungsstarken FMs von führenden KI-Unternehmen bietet. Sie können generative KI-Funktionen zur Datenerweiterung sicher integrieren und einsetzen, ohne die Infrastruktur verwalten zu müssen.
Amazon Rekognition ist ein vollständig verwalteter KI-Service, der vortrainierte und anpassbare Computer Vision-Funktionen bietet, um Informationen und Erkenntnisse aus Ihren Bildern und Videos zu extrahieren. Die Entwicklung eines maßgeschneiderten Modells zur Analyse von Bildern ist ein bedeutendes Unterfangen, das Zeit, Fachwissen und Ressourcen erfordert. Oft sind Tausende oder Zehntausende von handbeschrifteten Bildern erforderlich, um das Modell mit genügend Daten zu versorgen, um präzise Entscheidungen treffen zu können.
Mit Amazon Rekognition Custom Labels werden verschiedene Datenerweiterungen für das Modelltraining durchgeführt, darunter zufälliges Zuschneiden des Bildes, Farbzittern und zufälliges Gaußsches Rauschen. Anstelle von Tausenden von Bildern müssen Sie nur einen kleinen Satz von Trainingsbildern (normalerweise einige hundert oder weniger), die für Ihren Anwendungsfall spezifisch sind, auf die benutzerfreundliche Konsole hochladen.
Beginnen Sie mit der Datenerweiterung auf AWS, indem Sie noch heute ein Konto erstellen.
Nächste Schritte in AWS
Sie erhalten sofort Zugriff auf das kostenlose Kontingent von AWS.
Starten Sie mit der Entwicklung in der AWS-Managementkonsole.