Panoramica
Application Builder di IA generativa su AWS facilita lo sviluppo, la sperimentazione rapida e l'implementazione di applicazioni di intelligenza artificiale (IA) generativa senza richiedere un'approfondita esperienza nell'IA. Questa soluzione AWS accelera lo sviluppo e semplifica la sperimentazione aiutando a inserire dati e documenti specifici dell'azienda, valutare e confrontare le prestazioni dei modelli linguistici di grandi dimensioni (LLM), creare rapidamente applicazioni estensibili e implementarle con un'architettura di livello aziendale.
Application Builder di IA generativa su AWS include integrazioni con Amazon Bedrock e i suoi LLM e gli LLM implementati su Amazon SageMaker. Inoltre, questa soluzione dispone di connettori preintegrati a provider come Anthropic e Hugging Face e consente di eseguire connessioni a un modello a scelta utilizzando LangChain o AWS Lambda. Consulta la procedura guidata di implementazione senza codice per creare applicazioni di IA generativa per la ricerca conversazionale, i chatbot generati dall'IA, la generazione e il riepilogo del testo.
Vantaggi
Questa soluzione consente agli utenti di sperimentare in modo rapido, eliminando il pesante carico di lavoro necessario per implementare più istanze con configurazioni diverse e confrontare output e prestazioni. Sperimenta più configurazioni di vari LLM, prompt engineering, knowledge base aziendali e altri parametri.
Con connettori preintegrati per una varietà di LLM, come i modelli disponibili tramite Amazon Bedrock e i provider esterni Anthropic e Hugging Face, questa soluzione offre la flessibilità necessaria per implementare il modello scelto, nonché i servizi AWS e i principali servizi FM preferiti.
Costruita secondo i principi di progettazione AWS Well-Architected, questa soluzione offre sicurezza e scalabilità di livello aziendale con elevata disponibilità e bassa latenza, garantendo una perfetta integrazione nelle applicazioni con standard di prestazioni elevati.
Estendi la funzionalità di questa soluzione integrando progetti esistenti o connettendo in modo nativo servizi AWS aggiuntivi. Poiché si tratta di un'applicazione open source, è possibile utilizzare il livello di orchestrazione LangChain incluso o le funzioni Lambda per connettersi a servizi a scelta.
Dettagli tecnici
Puoi distribuire automaticamente questa architettura utilizzando la Guida all'implementazione e il modello AWS CloudFormation allegato che implementa due architetture separate:
- Pannello di controllo di implementazione: è un'interfaccia utente Web che funge da console di gestione per consentire agli utenti amministratori di visualizzare, gestire e creare i propri casi d'uso. Questa dashboard consente ai clienti di sperimentare, ripetere e implementare rapidamente applicazioni di IA generativa utilizzando più configurazioni di LLM e dati.
- Caso d'uso testuale: consente agli utenti di sperimentare un'interfaccia in linguaggio naturale utilizzando l'IA generativa. Questo caso d'uso può essere integrato in applicazioni nuove o esistenti ed è implementabile tramite la Dashboard di implementazione o in modo indipendente tramite un URL fornito.
-
Pannello di controllo di implementazione
-
Caso d'uso del testo
-
Pannello di controllo di implementazione
-
Fai clic per ingrandire
Fase 1
Gli utenti amministratori accedono all'interfaccia utente del pannello di controllo di implementazione.
Fase 2
Amazon CloudFront offre l'interfaccia utente Web ospitata in un bucket Amazon Simple Storage Service (Amazon S3).Fase 3
AWS WAF protegge le API dagli attacchi. Questa soluzione configura un set di regole chiamato lista di controllo degli accessi Web (Web ACL) che consente, blocca o conta le richieste Web in base a regole e condizioni di sicurezza Web configurabili e definite dall'utente.
Fase 4
L'interfaccia utente Web sfrutta un set di REST API che vengono esposte utilizzando il Gateway Amazon API.
Fase 5
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web di CloudFront sia il Gateway API.
Fase 6
AWS Lambda fornisce la logica aziendale per gli endpoint REST. Questa funzione Lambda di backup gestisce e crea le risorse necessarie per eseguire implementazioni di casi d'uso utilizzando AWS CloudFormation.Fase 7
Amazon DynamoDB funge da archivio di configurazione per i dettagli di implementazione.Fase 8
Quando un nuovo caso d'uso viene creato dall'utente amministratore, la funzione Backing Lambda avvia un evento di creazione dello stack CloudFormation per il caso d'uso richiesto.Fase 9
Se l’implementazione configurata utilizza un LLM a cui si accede all'esterno di AWS, è necessaria una chiave API e viene creato un segreto in AWS Secrets Manager per archiviare la chiave API.Fase 10
Tutte le opzioni di configurazione LLM fornite dall'utente amministratore nella procedura guidata di implementazione vengono salvate in un archivio dei parametri di AWS Systems Manager. L'implementazione utilizza questo archivio dei parametri per configurare l'LLM durante il runtime.Fase 11
Utilizzando Amazon CloudWatch, questa soluzione raccoglie parametri operativi da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo della soluzione.
Fase 1
Gli utenti amministratori accedono all'interfaccia utente del pannello di controllo di implementazione.
Fase 2
Amazon CloudFront offre l'interfaccia utente Web ospitata in un bucket Amazon Simple Storage Service (Amazon S3).Fase 3
AWS WAF protegge le API dagli attacchi. Questa soluzione configura un set di regole chiamato lista di controllo degli accessi Web (Web ACL) che consente, blocca o conta le richieste Web in base a regole e condizioni di sicurezza Web configurabili e definite dall'utente.
Fase 4
L'interfaccia utente Web sfrutta un set di REST API che vengono esposte utilizzando il Gateway Amazon API.
Fase 5
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web di CloudFront sia il Gateway API.
Fase 6
AWS Lambda fornisce la logica aziendale per gli endpoint REST. Questa funzione Lambda di backup gestisce e crea le risorse necessarie per eseguire implementazioni di casi d'uso utilizzando AWS CloudFormation.Fase 7
Amazon DynamoDB funge da archivio di configurazione per i dettagli di implementazione.Fase 8
Quando un nuovo caso d'uso viene creato dall'utente amministratore, la funzione Backing Lambda avvia un evento di creazione dello stack CloudFormation per il caso d'uso richiesto.Fase 9
Se l’implementazione configurata utilizza un LLM a cui si accede all'esterno di AWS, è necessaria una chiave API e viene creato un segreto in AWS Secrets Manager per archiviare la chiave API.Fase 10
Tutte le opzioni di configurazione LLM fornite dall'utente amministratore nella procedura guidata di implementazione vengono salvate in un archivio dei parametri di AWS Systems Manager. L'implementazione utilizza questo archivio dei parametri per configurare l'LLM durante il runtime.Fase 11
Utilizzando Amazon CloudWatch, questa soluzione raccoglie parametri operativi da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo della soluzione.
-
Caso d'uso del testo
-
Fai clic per ingrandire
Fase 1
Gli utenti amministratori implementano il caso d'uso utilizzando il pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.Fase 3
L'interfaccia utente Web sfrutta un'integrazione WebSocket creata utilizzando Gateway API. Gateway API è supportato da una funzione di autorizzazione Lambda personalizzata, che restituisce la policy AWS Identity and Access Management (IAM) appropriata in base al gruppo Amazon Cognito di cui fa parte l'utente che effettua l'autenticazione.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.
Fase 5
Lo Strumento di orchestrazione LangChain è una raccolta di funzioni Lambda e livelli che forniscono la logica aziendale per soddisfare le richieste dell'utente aziendale.
Fase 6
L’orchestratore LangChain utilizza l'archivio dei parametri e DynamoDB per ottenere le opzioni LLM configurate e le informazioni necessarie sulla sessione, come la cronologia della chat.Fase 7
Se l'implementazione ha la knowledge base abilitata, lo l’orchestratore LangChain sfrutta Amazon Kendra per eseguire una query di ricerca e recuperare estratti di documenti.Fase 8
Utilizzando la cronologia della chat, la query e il contesto di Amazon Kendra, l’orchestratore LangChain crea il prompt finale e invia la richiesta all'LLM ospitato su Amazon Bedrock o Amazon SageMaker.Fase 9
Se si utilizza un LLM a cui si accede all'esterno di AWS, la chiave API viene archiviata in Secrets Manager. Questa chiave API deve essere ottenuta prima di effettuare la chiamata API al provider del modello.Fase 10
Quando la risposta ritorna dall'LLM, lo strumento di orchestrazione LangChain ritrasmette la risposta attraverso il WebSocket del Gateway API per essere utilizzata dall'applicazione client.
Fase 11
Utilizzando CloudWatch, questa soluzione raccoglie parametri operativi da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione.
Fase 1
Gli utenti amministratori implementano il caso d'uso utilizzando il pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.Fase 3
L'interfaccia utente Web sfrutta un'integrazione WebSocket creata utilizzando Gateway API. Gateway API è supportato da una funzione di autorizzazione Lambda personalizzata, che restituisce la policy AWS Identity and Access Management (IAM) appropriata in base al gruppo Amazon Cognito di cui fa parte l'utente che effettua l'autenticazione.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.
Fase 5
Lo Strumento di orchestrazione LangChain è una raccolta di funzioni Lambda e livelli che forniscono la logica aziendale per soddisfare le richieste dell'utente aziendale.
Fase 6
L’orchestratore LangChain utilizza l'archivio dei parametri e DynamoDB per ottenere le opzioni LLM configurate e le informazioni necessarie sulla sessione, come la cronologia della chat.Fase 7
Se l'implementazione ha la knowledge base abilitata, lo l’orchestratore LangChain sfrutta Amazon Kendra per eseguire una query di ricerca e recuperare estratti di documenti.Fase 8
Utilizzando la cronologia della chat, la query e il contesto di Amazon Kendra, l’orchestratore LangChain crea il prompt finale e invia la richiesta all'LLM ospitato su Amazon Bedrock o Amazon SageMaker.Fase 9
Se si utilizza un LLM a cui si accede all'esterno di AWS, la chiave API viene archiviata in Secrets Manager. Questa chiave API deve essere ottenuta prima di effettuare la chiamata API al provider del modello.Fase 10
Quando la risposta ritorna dall'LLM, lo strumento di orchestrazione LangChain ritrasmette la risposta attraverso il WebSocket del Gateway API per essere utilizzata dall'applicazione client.
Fase 11
Utilizzando CloudWatch, questa soluzione raccoglie parametri operativi da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione.
- Data di pubblicazione
Contenuto correlato
Il modo più semplice per creare e dimensionare applicazioni di IA generativa con modelli di base.
Queste linee guida dimostrano come implementare un modello di IA generativa fornito da Amazon SageMaker JumpStart per creare un endpoint SageMaker asincrono con la facuilità del Kit di sviluppo per il cloud AWS (AWS CDK).
Queste linee guida dimostrano come creare un'applicazione che consenta agli utenti di porre domande direttamente ai database relazionali utilizzando query in linguaggio naturale (NLQ).
Aumenta la produttività, crea esperienze differenziate e innova più velocemente con AWS.