Amazon SageMaker Clarify ora supporta le valutazioni dei modelli base
Le valutazioni dei modelli di base con SageMaker Clarify sono ora disponibili a livello generale. Questa funzionalità aiuta i data scientist e gli ingegneri di machine learning a valutare, confrontare e selezionare i modelli di base in base a una varietà di criteri per diverse attività in pochi minuti.
I clienti di SageMaker scelgono tra centinaia di modelli base per potenziare le loro applicazioni di intelligenza artificiale generativa. Valutano e confrontano questi modelli durante la selezione e la personalizzazione del modello per determinare la soluzione ottimale per il loro caso d'uso. Questo processo può richiedere giorni per identificare i benchmark pertinenti, configurare gli strumenti di valutazione e condurre la valutazione su ciascun modello. I risultati ottenuti sono spesso difficili da applicare al loro caso d'uso specifico.
SageMaker Clarify offre valutazioni automatiche e umane con risultati interpretabili. I clienti possono utilizzare questa nuova funzionalità in Amazon SageMaker Studio per valutare gli LLM ospitati da SageMaker o utilizzare fmeval per valutare qualsiasi LLM. Inizia utilizzando set di dati rapidi curati su misura per attività come la generazione di testo, il riepilogo, la risposta alle domande e la classificazione. Personalizza i parametri di inferenza e i modelli di prompt e confronta i risultati delle diverse impostazioni dei modelli. Estendi le valutazioni con set di dati e metriche personalizzati. Le valutazioni umane consentono ai clienti di valutare aspetti più soggettivi come creatività e stile. Dopo ogni valutazione, i clienti ricevono un rapporto completo, completo di visualizzazioni ed esempi, e lo integrano nei loro flussi di lavoro SageMaker ML.
Questa funzionalità è disponibile in tutte le regioni AWS, tranne le regioni AWS GovCloud (Stati Uniti), le regioni della Cina, Asia Pacifico (Hyderabad), Asia Pacifico (Melbourne), Canada occidentale (Calgary), Europa (Zurigo), Europa (Stoccolma), Europa (Spagna), Israele (Tel Aviv), Medio Oriente (Emirati Arabi Uniti).
Per ulteriori dettagli, consulta la nostra pagina del prodotto, la documentazione e la pagina dei prezzi.