Panoramica
Una delle principali sfide nella creazione di applicazioni di IA generativa è la complessa configurazione del cloud e la necessità di una profonda esperienza con l'IA. Application Builder di IA generativa su AWS semplifica questo processo, aiutando a sviluppare, testare e implementare applicazioni di IA senza una conoscenza approfondita dell'IA. Questa soluzione accelera lo sviluppo dell'IA incorporando facilmente i dati aziendali, confrontando le prestazioni dei modelli linguistici di grandi dimensioni (LLM), eseguendo attività in più fasi tramite agenti IA, creando rapidamente applicazioni estensibili e implementandole con un'architettura di livello aziendale. Application Builder di IA generativa è dotato di un chatbot e di un'API di IA generativa pronti all'uso che possono essere integrati rapidamente nei processi o nelle applicazioni aziendali.
Questa soluzione include integrazioni con Amazon Bedrock e i suoi LLM oltre agli LLM implementati su Amazon SageMaker. Utilizza gli strumenti Amazon Bedrock per la generazione potenziata tramite recupero (RAG) per migliorare le risposte dell'IA, Amazon Bedrock Guardrails per implementare protezioni e ridurre le allucinazioni e gli agenti Amazon Bedrock per creare flussi di lavoro per attività complesse. Inoltre, è possibile connettersi ad altri modelli di IA utilizzando LangChain o AWS Lambda. Consulta la semplice procedura guidata senza codice per creare applicazioni di IA per la ricerca conversazionale, chatbot generati dall'IA, generazione e riepilogo del testo.
Vantaggi
Questa soluzione consente agli utenti di sperimentare in modo rapido, eliminando il pesante carico di lavoro necessario per implementare più istanze con configurazioni diverse e confrontare output e prestazioni. Sperimenta più configurazioni di vari LLM, progettazione dei prompt, knowledge base aziendali, guardrail, agenti IA e altri parametri.
Grazie ai connettori preintegrati per una varietà di modelli LLM, come quelli disponibili tramite Amazon Bedrock, questa soluzione offre la flessibilità necessaria per implementare il modello scelto, nonché i servizi AWS e i principali servizi FM preferiti. Inoltre, è possibile consentire agli agenti Amazon Bedrock di svolgere varie attività e flussi di lavoro.
Costruita secondo i principi di progettazione AWS Well-Architected, questa soluzione offre sicurezza e scalabilità di livello aziendale con elevata disponibilità e bassa latenza, garantendo una perfetta integrazione nelle applicazioni con standard di prestazioni elevati.
Estendi la funzionalità di questa soluzione integrando progetti esistenti o connettendo in modo nativo servizi AWS aggiuntivi. Poiché si tratta di un'applicazione open source, è possibile utilizzare il livello di orchestrazione LangChain incluso o le funzioni Lambda per connettersi a servizi a scelta.
Specifiche tecniche
È possibile implementare automaticamente questa architettura utilizzando la guida all'implementazione e il modello AWS CloudFormation allegato che implementa tre architetture separate:
- Caso d'uso degli agenti: il caso d'uso degli agenti consente agli utenti di affidare le attività da completare utilizzando gli agenti Amazon Bedrock. È possibile selezionare un modello e scrivere alcune istruzioni in linguaggio naturale e gli agenti IA Amazon Bedrock analizzeranno, orchestreranno e completeranno le attività connettendosi alle origini dati o ad altre API per soddisfare la richiesta.
- Caso d'uso del testo: consente agli utenti di sperimentare un'interfaccia in linguaggio naturale utilizzando l'IA generativa. Questo caso d'uso può essere integrato in applicazioni nuove o esistenti ed è implementabile tramite il Pannello di controllo di implementazione o in modo indipendente tramite un URL fornito.
- Pannello di controllo di implementazione: è un'interfaccia utente Web che funge da console di gestione per consentire agli utenti amministratori di visualizzare, gestire e creare i propri casi d'uso. Questo pannello di controllo consente ai clienti di sperimentare, ripetere e implementare rapidamente applicazioni di IA generativa utilizzando più configurazioni di LLM e dati.
-
Caso d'uso degli agenti
-
Caso d'uso del testo
-
Pannello di controllo di implementazione
-
Caso d'uso degli agenti
-
Fai clic per ingrandire
Fase 1
Gli utenti aziendali implementano il caso d'uso utilizzando il Pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
Amazon CloudFront offre l'interfaccia utente Web ospitata in un bucket Amazon Simple Storage Service (Amazon S3).
Fase 3
L'interfaccia utente Web utilizza un'integrazione WebSocket creata utilizzando il Gateway Amazon API. Il Gateway API è supportato da una funzione personalizzata del Sistema di autorizzazione AWS Lambda, che restituisce la policy AWS Identity and Access Management (AWS IAM) appropriata in base al gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.Fase 5
La soluzione trasmette le richieste in entrata dell'utente aziendale dal Gateway API a una coda Amazon Simple Queue Service (Amazon SQS) e quindi alla funzione Lambda. La coda consente il funzionamento asincrono dell'integrazione del Gateway API con Lambda.La coda trasmette le informazioni di connessione alla funzione Lambda, che, successivamente, inviano i risultati direttamente alla connessione WebSocket del Gateway API per supportare invocazioni di inferenza di lunga durata.
Fase 6
La funzione Lambda utilizza Amazon DynamoDB per ottenere le configurazioni dei casi d'uso necessarie.
Fase 7
La funzione Lambda utilizza l'input dell'utente e le configurazioni dei casi d'uso pertinenti per creare e inviare un payload di richiesta agli agenti Amazon Bedrock per soddisfare l'intento dell'utente.Fase 8
Quando la risposta ritorna dagli agenti Amazon Bedrock, la funzione Lambda la ritrasmette attraverso il WebSocket del Gateway API affinché venga utilizzata dall'applicazione client.Fase 9
Utilizzando Amazon CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione.
Fase 1
Gli utenti aziendali implementano il caso d'uso utilizzando il Pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
Amazon CloudFront offre l'interfaccia utente Web ospitata in un bucket Amazon Simple Storage Service (Amazon S3).
Fase 3
L'interfaccia utente Web utilizza un'integrazione WebSocket creata utilizzando il Gateway Amazon API. Il Gateway API è supportato da una funzione personalizzata del Sistema di autorizzazione AWS Lambda, che restituisce la policy AWS Identity and Access Management (AWS IAM) appropriata in base al gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.Fase 5
La soluzione trasmette le richieste in entrata dell'utente aziendale dal Gateway API a una coda Amazon Simple Queue Service (Amazon SQS) e quindi alla funzione Lambda. La coda consente il funzionamento asincrono dell'integrazione del Gateway API con Lambda.La coda trasmette le informazioni di connessione alla funzione Lambda, che, successivamente, inviano i risultati direttamente alla connessione WebSocket del Gateway API per supportare invocazioni di inferenza di lunga durata.
Fase 6
La funzione Lambda utilizza Amazon DynamoDB per ottenere le configurazioni dei casi d'uso necessarie.
Fase 7
La funzione Lambda utilizza l'input dell'utente e le configurazioni dei casi d'uso pertinenti per creare e inviare un payload di richiesta agli agenti Amazon Bedrock per soddisfare l'intento dell'utente.Fase 8
Quando la risposta ritorna dagli agenti Amazon Bedrock, la funzione Lambda la ritrasmette attraverso il WebSocket del Gateway API affinché venga utilizzata dall'applicazione client.Fase 9
Utilizzando Amazon CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione.
-
Caso d'uso del testo
-
Fai clic per ingrandire
Fase 1
Gli utenti amministratori implementano il caso d'uso utilizzando il pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.Fase 3
L'interfaccia utente Web sfrutta un'integrazione WebSocket creata utilizzando Gateway API. Gateway API è supportato da una funzione del sistema di autorizzazione Lambda personalizzata, che restituisce la policy IAM appropriata in base al gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy viene archiviata in DynamoDB.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.
Fase 5
Le richieste in arrivo dall'utente aziendale vengono trasmesse dal Gateway API a una coda Amazon SQS e quindi all'orchestratore LangChain. L'orchestratore LangChain è una raccolta di funzioni Lambda e di livelli che forniscono la logica aziendale per soddisfare le richieste dell'utente aziendale.La coda consente il funzionamento asincrono dell'integrazione Gateway API conLambda . La coda trasmette le informazioni di connessione alle funzioni Lambda, che, successivamente, inviano i risultati direttamente alla connessione WebSocket di Gateway API per supportare chiamate di inferenza di lunga durata.
Fase 6
L’ orchestratore LangChain utilizza DynamoDB per ottenere le opzioni LLM configurate e le informazioni di sessione necessarie (come la cronologia delle chat).Fase 7
Se l'implementazione ha una knowledge base configurata, l'orchestratore LangChain sfrutta Amazon Kendra o Amazon Bedrock Knowledge Bases per eseguire una query di ricerca e recuperare estratti di documenti.Fase 8
Utilizzando la cronologia delle chat, la query e il contesto dal knowledge base, l'orchestratore LangChain crea il prompt finale e invia la richiesta all'LLM ospitato su Amazon Bedrock o Amazon SageMaker.Fase 9
Quando la risposta ritorna dall'LLM, l'orchestratore LangChain ritrasmette la risposta attraverso il WebSocket del Gateway API per essere utilizzata dall'applicazione client.Fase 10
Utilizzando CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione.Fase 1
Gli utenti amministratori implementano il caso d'uso utilizzando il pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.Fase 3
L'interfaccia utente Web sfrutta un'integrazione WebSocket creata utilizzando Gateway API. Gateway API è supportato da una funzione del sistema di autorizzazione Lambda personalizzata, che restituisce la policy IAM appropriata in base al gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy viene archiviata in DynamoDB.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.
Fase 5
Le richieste in arrivo dall'utente aziendale vengono trasmesse dal Gateway API a una coda Amazon SQS e quindi all'orchestratore LangChain. L'orchestratore LangChain è una raccolta di funzioni Lambda e di livelli che forniscono la logica aziendale per soddisfare le richieste dell'utente aziendale.La coda consente il funzionamento asincrono dell'integrazione Gateway API conLambda . La coda trasmette le informazioni di connessione alle funzioni Lambda, che, successivamente, inviano i risultati direttamente alla connessione WebSocket di Gateway API per supportare chiamate di inferenza di lunga durata.
Fase 6
L’ orchestratore LangChain utilizza DynamoDB per ottenere le opzioni LLM configurate e le informazioni di sessione necessarie (come la cronologia delle chat).Fase 7
Se l'implementazione ha una knowledge base configurata, l'orchestratore LangChain sfrutta Amazon Kendra o Amazon Bedrock Knowledge Bases per eseguire una query di ricerca e recuperare estratti di documenti.Fase 8
Utilizzando la cronologia delle chat, la query e il contesto dal knowledge base, l'orchestratore LangChain crea il prompt finale e invia la richiesta all'LLM ospitato su Amazon Bedrock o Amazon SageMaker.Fase 9
Quando la risposta ritorna dall'LLM, l'orchestratore LangChain ritrasmette la risposta attraverso il WebSocket del Gateway API per essere utilizzata dall'applicazione client.Fase 10
Utilizzando CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione. -
Pannello di controllo di implementazione
-
Fai clic per ingrandire
Fase 1
Gli utenti amministratori accedono all'interfaccia utente del Pannello di controllo di implementazione.Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.
Fase 3
AWS WAF protegge le API dagli attacchi. Questa soluzione configura un set di regole chiamato lista di controllo degli accessi Web (Web ACL) che consente, blocca o conta le richieste Web in base a regole e condizioni di sicurezza Web configurabili e definite dall'utente.
Fase 4
L'interfaccia utente Web sfrutta un set di REST API che vengono esposte utilizzando il Gateway API.
Fase 5
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API. Una tabella DynamoDB archivia la policy IAM degli utenti autorizzati.Fase 6
Lambda fornisce la logica aziendale per gli endpoint REST. Questa funzione Lambda di supporto gestisce e crea le risorse necessarie per eseguire implementazioni di casi d'uso utilizzando AWS CloudFormation.Fase 7
DynamoDB archivia l'elenco delle implementazioni.Fase 8
Quando un nuovo caso d'uso viene creato dall'utente amministratore, la funzione Lambda di supporto avvia un evento di creazione dello stack CloudFormation per il caso d'uso richiesto.Fase 9
Tutte le opzioni di configurazione LLM fornite dall'utente amministratore nella procedura guidata di implementazione vengono salvate in DynamoDB. L'implementazione utilizza questa tabella DynamoDB per configurare l'LLM durante il runtime.
Fase 10
Utilizzando CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo della soluzione.
Fase 1
Gli utenti amministratori accedono all'interfaccia utente del Pannello di controllo di implementazione.Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.
Fase 3
AWS WAF protegge le API dagli attacchi. Questa soluzione configura un set di regole chiamato lista di controllo degli accessi Web (Web ACL) che consente, blocca o conta le richieste Web in base a regole e condizioni di sicurezza Web configurabili e definite dall'utente.
Fase 4
L'interfaccia utente Web sfrutta un set di REST API che vengono esposte utilizzando il Gateway API.
Fase 5
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API. Una tabella DynamoDB archivia la policy IAM degli utenti autorizzati.Fase 6
Lambda fornisce la logica aziendale per gli endpoint REST. Questa funzione Lambda di supporto gestisce e crea le risorse necessarie per eseguire implementazioni di casi d'uso utilizzando AWS CloudFormation.Fase 7
DynamoDB archivia l'elenco delle implementazioni.Fase 8
Quando un nuovo caso d'uso viene creato dall'utente amministratore, la funzione Lambda di supporto avvia un evento di creazione dello stack CloudFormation per il caso d'uso richiesto.Fase 9
Tutte le opzioni di configurazione LLM fornite dall'utente amministratore nella procedura guidata di implementazione vengono salvate in DynamoDB. L'implementazione utilizza questa tabella DynamoDB per configurare l'LLM durante il runtime.
Fase 10
Utilizzando CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo della soluzione.
- Data di pubblicazione
Contenuti correlati
Il modo più semplice per creare e dimensionare applicazioni di IA generativa con modelli di base.
Queste linee guida dimostrano come implementare un modello di IA generativa fornito da Amazon SageMaker JumpStart per creare un endpoint SageMaker asincrono con la facuilità del Kit di sviluppo per il cloud AWS (AWS CDK).
Queste linee guida dimostrano come creare un'applicazione che consenta agli utenti di porre domande direttamente ai database relazionali utilizzando query in linguaggio naturale (NLQ).
Aumenta la produttività, crea esperienze differenziate e innova più velocemente con AWS.
Questo caso di studio dimostra come la società di trasmissione Megamedia abbia creato un chatbot basato sull'IA generativa per semplificare l'accesso a importanti informazioni pubbliche utilizzando AWS.