Amazon OpenSearch Service führt die intelligente Erfassung von Protokollen und Dokumenten in Amazon S3 ein
Amazon OpenSearch Serverless bietet jetzt intelligente Erfassung, eine vollständig verwaltete Funktion, die in Amazon S3 gespeicherte Protokolle und Dokumente in durchsuchbare Inhalte in Amazon OpenSearch Serverless (NextGen)-Sammlungen umwandelt. Mit intelligenter Erfassung können Sie die Erfassung mit wenigen Klicks in der AWS-Managementkonsole oder mit einem einzigen API-Aufruf einrichten, ohne dass die Erfassungsinfrastruktur verwaltet werden muss. Die intelligente Erfassung unterstützt Beobachtbarkeits-Protokolle und strukturierte Daten in den Formaten JSON, NDJSON und JSON Array sowie unstrukturierte Dateien in den Formaten PDF, Word, Klartext und Markdown.
Sie wählen eine S3-Quelle und einen Sammlungsindex, und die intelligente Erfassung erledigt den Rest. Es erkennt automatisch Datentypen, analysiert Dokumente, beschreibt Bilder, zerteilt Text, generiert Vektoreinbettungen und indiziert die Ergebnisse. Sie müssen die Infrastruktur für die Erfassung oder Verarbeitung von Dokumenten nicht im Voraus verwalten oder die Kapazität festlegen. Verwenden Sie Erfassungs-Jobs für einmalige Ladevorgänge wie Migrationen und Backfills oder für Erfassungs-Streams, um einen Index synchron zu halten, wenn neue Objekte in Ihrem Bucket ankommen. Die Kapazität skaliert mit Ihrem Workload bis zum konfigurierten Limit der Sammlung, und Sie zahlen nur für die aktive Verarbeitung. S3-Quell-Buckets können sich im selben AWS-Konto wie die Sammlung oder in einem anderen Konto befinden.
Bei Protokollen und strukturierten Daten wendet die intelligente Erfassung Transformationen an und fügt optional Einbettungen hinzu, ohne dass Pipeline-Code erforderlich ist. Bei unstrukturierten Daten analysiert sie PDF-, Word-, Klartext- und Markdown-Dateien, wobei Überschriften, Leserichtung und Tabellen intakt bleiben. Der Inhalt landet in einem Index, der für die semantische und hybride Suche bereit ist. Wenn Dokumente Charts, Diagramme, Screenshots oder Fotos enthalten, generiert ein Vision-Sprachmodell Textbeschreibungen, die zusammen mit dem umgebenden Inhalt indiziert werden, sodass auch visuelle Informationen durchsuchbar sind.
Die intelligente Erfassung ist derzeit für Amazon OpenSearch Serverless (NextGen)-Sammlungen mit Amazon S3 als Quelle in sieben AWS-Regionen verfügbar. Öffnen Sie zunächst die Amazon OpenSearch Service-Konsole, wählen Sie Ihre Sammlung aus und klicken Sie auf die Registerkarte für die Erfassung. Weitere Informationen finden Sie im Entwicklerhandbuch von Amazon OpenSearch Service unter Intelligente Erfassung. Preisinformationen finden Sie unter Amazon OpenSearch Service – Preise.