Domande frequenti su Amazon SageMaker AI

Amazon SageMaker AI è un servizio completamente gestito che mette insieme un'ampia gamma di strumenti per abilitare il machine learning (ML) ad alte prestazioni e a basso costo per qualsiasi caso d'uso. Con SageMaker AI è possibile creare, addestrare e implementare modelli di ML su larga scala utilizzando strumenti come notebook, debugger, sistemi di profiling, pipeline, MLOps e altro ancora, il tutto in un unico ambiente di sviluppo integrato (IDE). SageMaker AI supporta i requisiti di governance con controllo semplificato degli accessi e trasparenza sui progetti di ML. Inoltre si possono creare i propri modelli di fondazione (FM), modelli di grandi dimensioni addestrati su enormi set di dati, con strumenti appositamente progettati per ottimizzare, sperimentare, riaddestrare e implementare gli FM. SageMaker AI dà anche accesso a centinaia di modelli preaddestrati, tra cui FM disponibili al pubblico, che si possono implementare in pochi rapidi passaggi.

Per un elenco delle Regioni in cui è supportato SageMaker AI consulta la pagina Servizi AWS per Regione. Per ulteriori informazioni consulta anche la pagina Endpoint regionali nella guida Riferimenti generali di AWS.

SageMaker AI è progettato per offrire alta disponibilità. Non sono previsti intervalli di manutenzione o tempi di inattività pianificati. Le API SageMaker AI vengono eseguite nei data center di provata alta disponibilità di Amazon, con replica dello stack di servizi configurata fra tre strutture in ogni Regione per offrire tolleranza ai guasti in caso di inattività di un server o di interruzione del servizio nella zona di disponibilità.

SageMaker AI memorizza il codice in volumi di archiviazione per ML protetti da gruppi di sicurezza crittografabili su disco.

SageMaker AI assicura la crittografia di artefatti di modelli ML e di altri elementi del sistema, sia inattivi sia in transito. Le richieste alla console e all'API SageMaker AI vengono inoltrate tramite una connessione sicura (SSL). Devi passare ruoli AWS Identity and Access Management in SageMaker AI per fornire le autorizzazioni di accesso alle risorse per formazione e implementazione per tuo conto. È possibile utilizzare bucket Amazon Simple Storage Service (Amazon S3) crittografati per dati e artefatti di modello, nonché applicare una chiave Servizio AWS di gestione delle chiavi (AWS KMS) a notebook di SageMaker AI, job di addestramento ed endpoint per crittografare il volume di archiviazione ML collegato. SageMaker AI supporta anche Amazon Virtual Private Cloud (Amazon VPC) e AWS PrivateLink.

SageMaker AI non utilizza né condivide modelli, dati di addestramento o algoritmi dei clienti. Sappiamo quanto i clienti tengono alla privacy e alla sicurezza dei dati. È per questo che, in AWS, hanno sempre il controllo e la proprietà sui loro contenuti; grazie a strumenti semplici ma efficaci possono determinare dove i dati saranno memorizzati, proteggere le informazioni dei loro clienti sia in transito sia inattive e gestire l'accesso ai servizi e alle risorse di AWS per i loro utenti. AWS implementa anche tecnici e fisici, progettati per impedire accessi non autorizzati e divulgazione di dati riservati. La proprietà dei dati rimane al cliente, che potrà scegliere a quali servizi AWS consentirne elaborazione, memorizzazione e hosting. Non utilizziamo né accediamo ai tuoi contenuti per alcun motivo senza il tuo consenso.

Pagherai per le risorse di calcolo, archiviazione ed elaborazione dati utilizzate per hosting dei notebook, addestramento di modelli, elaborazione di previsioni e registrazione dei risultati. SageMaker AI permette di selezionare il numero e il tipo di istanze da utilizzare per il notebook in hosting, l'addestramento e l'hosting dei modelli. Si paga solo per ciò che si usa man mano che viene usato, senza tariffe minime né impegni anticipati. Per maggiori dettagli consulta prezzi di Amazon SageMaker AI e Calcolatore dei prezzi di Amazon SageMaker AI.

È possibile adottare diverse best practice per ottimizzare l'utilizzo delle risorse di SageMaker AI. Alcuni approcci prevedono la messa a punto della configurazione, altri prevedono soluzioni programmatiche. Una guida completa sull'argomento, completa di tutorial visivi ed esempi di codice, è disponibile in questo post del blog.

SageMaker AI offre un flusso di lavoro completo, ma è sempre possibile continuare a utilizzare gli strumenti esistenti parallelamente. È facile trasferire i risultati di ciascuna fase da o verso SageMaker AI in base ai requisiti aziendali.

Sì. Puoi utilizzare R all'interno delle istanze notebook SageMaker AI, che comprendono un kernel R preinstallato e la libreria reticulate. Reticulate offre un'interfaccia R per Amazon SageMaker AI Python SDK, consentendo ai professionisti del ML di costruire, addestrare, ottimizzare e implementare modelli R. Puoi anche avviare RStudio, un ambiente di sviluppo integrato (IDE) per R in Amazon SageMaker Studio.  

Amazon SageMaker Studio fornisce un'interfaccia visiva unica basata sul Web in cui si possono eseguire tutte le fasi di sviluppo di ML. SageMaker Studio offre accesso, controllo e visibilità completi su ogni fase necessaria alla preparazione dati e a creare, formare e implementare i modelli. È possibile caricare rapidamente i dati, creare nuovi notebook, addestrare e configurare i modelli, andare avanti e indietro tra le fasi per modificare gli esperimenti, confrontare i risultati e distribuire i modelli in produzione in un unico luogo, aumentando molto la produttività. Tutte le attività di sviluppo con il ML che includono notebook, gestione degli esperimenti, creazione automatica dei modelli, profilatura, debug e rilevamento delle deviazioni del modello possono essere eseguite all'interno dell'interfaccia visiva unificata di SageMaker Studio. 

Amazon SageMaker Studio offre sia IDE cloud completamente gestiti che opzioni IDE locali. Accedi a un'ampia gamma di IDE cloud completamente gestiti, tra cui JupyterLab, Code Editor basato su Code-OSS (VS Code Open Source) e RStudio. Inoltre, connettiti agli ambienti di sviluppo di Amazon SageMaker Studio dal tuo Visual Studio Code locale per accedere alle risorse di calcolo scalabili di SageMaker AI.

Per ulteriori informazioni si prega di leggere la Guida per gli sviluppatori di SageMaker Studio

Non sono previsti costi aggiuntivi per l'utilizzo di SageMaker Studio. Sono addebitati unicamente i costi base di elaborazione e di archiviazione per i servizi effettivamente utilizzati con SageMaker Studio.

L'elenco delle regioni in cui è supportato SageMaker Studio è consultabile nella Guida per gli sviluppatori di Amazon SageMaker.

Amazon SageMaker Clarify aiuta a migliorare la trasparenza del modello rilevando distorsioni statistiche nell'intero flusso di lavoro di ML. SageMaker Clarify verifica la presenza di squilibri durante la preparazione dei dati, dopo l’addestramento e nel corso del tempo, includendo strumenti che aiutano a spiegare i modelli di ML e le loro previsioni. È possibile condividere l’esito tramite report di spiegabilità.

RStudio on SageMaker AI è il primo workbench RStudio completamente gestito nel cloud. Puoi avviare rapidamente l'ambiente di sviluppo integrato (IDE) RStudio già noto e aumentare o diminuire le risorse di calcolo sottostanti senza interrompere il tuo lavoro, facilitando la costruzione di soluzioni di machine learning (ML) e analisi in R su vasta scala. È possibile passare facilmente tra i notebook con IDE RStudio e SageMaker Studio per lo sviluppo in R e Python. Ogni aspetto del tuo lavoro, compresi codice, set di dati, repository e altri artefatti, viene sincronizzato in automatico tra i due ambienti per ridurre lo switching di contesto e incrementare la produttività.

SageMaker Clarify è integrato con SageMaker Experiments per fornire un grafico che elenca l'importanza di ciascun input per il processo decisionale globale ad esso relativo dopo che il modello è stato addestrato. Questi dettagli possono aiutare a stabilire se un particolare input abbia più influenza di quanto dovrebbe sul comportamento generale del modello. SageMaker Clarify rende anche disponibili spiegazioni per le singole previsioni tramite un'API. 

SageMaker AI (precedentemente noto come SageMaker) è un servizio completamente gestito che mette insieme un'ampia gamma di strumenti per abilitare ML ad alte prestazioni e a basso costo per qualsiasi caso d'uso. Con SageMaker AI si possono creare, addestrare e implementare modelli di ML su larga scala. La nuova generazione di SageMaker è una piattaforma unificata per dati, analisi e IA. Mettendo insieme le funzionalità di machine learning (ML) e analisi di AWS ampiamente in uso, la nuova generazione di SageMaker offre un'esperienza integrata per l'analisi e l'IA con accesso unificato a tutti i tuoi dati.

La nuova generazione di SageMaker include le seguenti funzionalità:

• SageMaker Unified Studio: crea con tutti i tuoi dati e strumenti per l'analisi e l'IA in un
  ambiente unico.
• SageMaker Lakehouse: unifica i dati tra Data Lakes on Amazon S3 e Amazon Redshift Data
  Warehouses, fonti di dati di terze parti e federated con SageMaker Lakehouse.
• Individua, gestisci e collabora su dati e IA in modo sicuro con Amazon SageMaker Data and AI Governance
  con SageMaker Catalog, creato su Amazon DataZone.
• Sviluppo di modelli: crea, addestra e implementa ML e modelli di fondazione (FM) con completa
  gestione di infrastruttura, strumenti e flussi di lavoro con SageMaker AI (precedentemente noto come SageMaker).
• Sviluppo di app di IA generativa: crea e scala applicazioni di IA generativa in scala con Amazon
  Bedrock.
• Analisi SQL: ottieni approfondimenti con Amazon Redshift, il motore SQL con il miglior rapporto prezzo/prestazioni.
• Analizza, prepara e integra i dati per l'analisi e l'IA utilizzando framework open source
  su Athena, Amazon EMR e AWS Glue.

Le funzionalità supportate includono creazione con JupyterLab Notebooks; addestramento e messa a punto con JumpStart, Amazon Q Developer, job di addestramento, HyperPod; implementazione con endpoint di inferenza; MLOps scalabili con MLFlow, Pipelines, Model Registry; Governance con Model Dashboard; Integrazioni di terze parti con app AI partner e Snowflake.

SageMaker offre un'esperienza unificata di dati e IA per trovare, accedere a e agire sui tuoi dati, accelerando le iniziative di analisi e IA. SageMaker AI continuerà a essere supportato, quindi non è necessario intraprendere alcuna azione per garantire che i flussi di lavoro esistenti continuino a funzionare. Ad esempio, puoi continuare a utilizzare i cluster Amazon SageMaker HyperPod esistenti così come sono. Se desideri utilizzarli nel nuovo SageMaker Unified Studio configura una connessione con questo cluster. Tutte le configurazioni HyperPod esistenti verranno migrate automaticamente al tuo progetto in SageMaker e le prestazioni e l'efficienza dei costi saranno le stesse. Tuttavia, l'esperienza di SageMaker Unified Studio può migliorare la produttività riunendo tutti gli strumenti in un unico luogo.

Siamo lieti di annunciare uno studio unificato che ti consente di collaborare e creare più velocemente: da un unico ambiente di sviluppo di dati e intelligenza artificiale. Da SageMaker Unified Studio è possibile esplorare i propri dati e metterli al lavoro utilizzando gli strumenti AWS familiari per lo sviluppo di modelli, lo sviluppo di applicazioni di IA generativa, l'elaborazione dei dati e l'analisi SQL. Ti supporteremo in ogni fase del processo. In caso di domande non esitare a contattare il team del tuo account.

SageMaker Studio rimane un'ottima scelta per i clienti che hanno bisogno di un'esperienza di sviluppo ML semplice e affidabile. Le organizzazioni che cercano un'esperienza integrata per l'analisi e l'intelligenza artificiale con accesso unificato a tutti i dati dovrebbero prendere in considerazione SageMaker Unified Studio. Con SageMaker Unified Studio si ha accesso a strumenti AWS già noti per flussi di lavoro di sviluppo completi, tra cui lo sviluppo di app IA generativa e modelli, l'elaborazione dei dati e l'analisi SQL in un unico ambiente governato.

Sì, HyperPod, JumpStart, MLFlow, JupyterLab e Pipelines sono tutti disponibili nel nuovo SageMaker Unified Studio.

Percorso 1. Seleziona, personalizza e implementa i modelli di fondazione (FM):

• Cerca e seleziona un set di dati
• Seleziona un FM
• Valuta i modelli (automatici e umani)
• Personalizza e metti a punto: ottimizza prezzo, prestazioni e qualità degli FM
• Ottimizza e implementa per l'inferenza
• Automatizza con FMOps e monitoraggio dei modelli

Percorso 2. Crea, addestra e implementa modelli di ML su vasta scala:

• Accelera e scala la preparazione dei dati per ML
• Sviluppa modelli di ML
• Addestra e configura modelli di ML
• Implementa in produzione
• Gestisci e monitora
• Automatizza il ciclo di vita del ML
  

Percorso 3. Seleziona un modello, crea e implementa un'applicazione di IA generativa:

• Seleziona un modello e mettilo a punto
• Importa il modello in Amazon Bedrock
• Crea e implementa un'applicazione di IA generativa che si integra con il tuo endpoint

Percorso 4. Seleziona e implementa un modello in un endpoint e collega quest'ultimo alle app di IA generativa:

• Seleziona un modello
• Implementa il modello in un endpoint SageMaker AI
• Collega l'endpoint alle applicazioni di IA generativa
  

Quando utilizzi SageMaker ti vengono addebitati i costi in base al modello di prezzo per i vari servizi AWS accessibili tramite SageMaker. Non è previsto alcun costo separato per l'utilizzo di SageMaker Unified Studio, l'ambiente di sviluppo di dati e IA che fornisce l'esperienza integrata all'interno di SageMaker. Per ulteriori informazioni visita Prezzi di SageMaker.

SageMaker AI fornisce strumenti di governance del ML creati ad hoc per l'intero ciclo di vita del ML. Con Amazon SageMaker Role Manager è possibile stabilire autorizzazioni minime in pochi minuti. Amazon SageMaker Model Cards facilita l'acquisizione, il recupero e la condivisione di informazioni essenziali relative ai modelli, dall’ideazione all'implementazione, mentre Amazon SageMaker Model Dashboard riunisce in un unico luogo tutte le informazioni sul comportamento dei modelli di produzione. Per ulteriori informazioni consulta la pagina ML Governance with Amazon AI SageMaker.

Con SageMaker Role Manager si possono definire autorizzazioni minime in pochi minuti. Gestore dei ruoli di SageMaker fornisce una serie di autorizzazioni di base per le attività di ML e una varietà di profili con un catalogo di policy IAM predefinite. È possibile mantenere le autorizzazioni di base oppure personalizzarle sulla base delle proprie specifiche esigenze. Con una serie di istruzioni autoguidate, è possibile immettere rapidamente costrutti di governance comuni, come limiti di accesso alla rete e chiavi di crittografia. Dopodiché, SageMaker Role Manager genererà automaticamente la policy IAM. È possibile consultare il ruolo generato e le policy associate dalla console AWS IAM. Per personalizzare ulteriormente le autorizzazioni in base al caso d'uso, è possibile collegare le policy IAM gestite al ruolo IAM creato con SageMaker Role Manager. Si possono anche aggiungere tag per facilitare l'identificazione del ruolo e l’organizzazione coordinata dei servizi AWS.

SageMaker Model Cards facilita la centralizzazione e la standardizzazione della documentazione dei modelli per l'intero ciclo di vita del ML creando un’unica fonte di verità per le informazioni relative al modello. Schede dei modelli SageMaker compila automaticamente i dettagli dell'addestramento per accelerare il processo di documentazione. Inoltre, è possibile aggiungere dettagli come lo scopo del modello e gli obiettivi di prestazione. È possibile collegare alla scheda dei modelli i risultati della rispettiva valutazione e fornire visualizzazioni per ottenere informazioni dettagliate chiave sulle sue prestazioni. Le SageMaker Model Cards si possono condividere facilmente con altre persone tramite l'esportazione in formato PDF.

SageMaker Model Dashboard fornisce una panoramica completa dei modelli implementati e degli endpoint, consentendo di tracciare le risorse e le violazioni di comportamento dei modelli in un unico pannello. Grazie all'integrazione con Amazon SageMaker Model Monitor e SageMaker Clarify, consente di monitorare il comportamento dei modelli rispetto a quattro dimensioni, incluse la qualità dei dati e del modello nonché la deviazione di distorsione e di attribuzione delle funzionalità. Inoltre, Pannello di controllo dei modelli SageMaker fornisce un'esperienza integrata per impostare e ricevere avvisi in merito ai processi di monitoraggio dei modelli assenti o non attivi e sulle deviazioni del comportamento dei modelli rispetto a qualità del modello, qualità dei dati, deviazione di distorsione e deviazione di attribuzione delle funzionalità. È possibile analizzare nel dettaglio i singoli modelli e i fattori che hanno un impatto sulle prestazioni nel corso del tempo. Dopodiché è possibile consultarsi con i professionisti del ML per intraprendere le opportune misure correttive.

SageMaker JumpStart ti aiuta a iniziare a utilizzare il ML in modo facile e veloce. SageMaker JumpStart fornisce una serie di soluzioni per i casi d'uso più comuni che è possibile implementare subito con poche operazioni. Le soluzioni sono totalmente personalizzabili e mostrano l'utilizzo dei modelli e delle architetture di riferimento di AWS CloudFormation, in questo modo puoi accelerare nel percorso verso il ML. SageMaker JumpStart fornisce anche i modelli di fondazione e supporta implementazione e messa a punto in un'unica fase di oltre 150 modelli open source rinomati, come i modelli di trasformatore, rilevamento di oggetti e classificazione immagini. 

SageMaker JumpStart fornisce modelli proprietari e pubblici. Per un elenco dei modelli di fondazione disponibili consulta Inizia a usare Amazon SageMaker JumpStart.

Puoi accedere ai modelli di fondazione tramite SageMaker Studio, SageMaker SDK e AWS Management Console. Per iniziare a usare modelli di fondazione proprietari devi accettare le condizioni di vendita in AWS Marketplace.

No. I dati di inferenza e addestramento non verranno usati né condivisi per aggiornare o addestrare il modello base che SageMaker JumpStart offre ai clienti.

No. I modelli proprietari non consentono ai clienti di visualizzare i relativi weight e script.

I modelli sono individuabili in tutte le Regioni in cui è disponibile SageMaker Studio, ma la possibilità di implementare un modello varia in base alla disponibilità del modello e dell'istanza del tipo richiesto. Puoi fare riferimento alla disponibilità della Regione AWS e all'istanza richiesta dalla pagina dei dettagli del modello in AWS Marketplace.

Per i modelli proprietari vengono addebitati i prezzi del software determinati dal fornitore del modello e i costi dell'infrastruttura SageMaker AI in base all'istanza utilizzata. Per i modelli disponibili al pubblico vengono addebitati i costi dell'infrastruttura SageMaker AI in base all'istanza utilizzata. Per ulteriori informazioni consulta Prezzi di Amazon SageMaker AI e AWS Marketplace.

La sicurezza è la massima priorità di AWS e SageMaker JumpStart è progettato per essere sicuro. È per questo che SageMaker AI ti conferisce proprietà e controllo dei tuoi contenuti tramite strumenti semplici ma efficaci che consentono di determinare dove verranno archiviati i dati, assicurare le informazioni dei contenuti sia in transito sia inattivi e gestire l'accesso ai servizi e alle risorse di AWS per i tuoi utenti.

1. Non condividiamo informazioni sull'addestramento dei clienti e sulle inferenze con venditori di modelli in AWS Marketplace. Allo stesso modo, gli artefatti del modello del venditore (ad esempio, i pesi dei modelli) non vengono condivisi con l'acquirente.
2. SageMaker JumpStart non utilizza modelli dei clienti, dati di addestramento o algoritmi per migliorare il servizio e non condivide i dati di addestramento e inferenza dei clienti con terze parti.
3. In SageMaker JumpStart gli artefatti dei modelli ML vengono crittografati in transito e in inattività.
4. Ai sensi del Modello di responsabilità condivisa AWS, AWS è responsabile della protezione dell'infrastruttura globale che esegue la totalità di AWS. Tu sei responsabile di mantenere il controllo sui tuoi contenuti in hosting su questa infrastruttura.

Con l’utilizzo di un modello da AWS Marketplace o SageMaker JumpStart gli utenti si assumono la responsabilità della qualità dell'output del modello e accettano le possibilità e le limitazioni indicate nella descrizione del singolo modello.

SageMaker JumpStart comprende oltre 150 modelli preaddestrati disponibili al pubblico da PyTorch Hub e TensorFlow Hub. Per attività visive quali la classificazione di immagini e il rilevamento di oggetti si possono utilizzare modelli come RESNET, MobileNet e single-shot Detector (SSD). Per attività testuali quali la classificazione di frasi o testi la risposta a domande si possono utilizzare modelli come BERT, RoBERTa e DistilBERT.

Con SageMaker JumpStart i data scientist e gli sviluppatori di ML possono condividere facilmente gli artefatti di ML, tra cui notebook e modelli, all'interno della propria organizzazione. Gli amministratori possono configurare un repository accessibile da un insieme di utenti prestabilito. Tutti gli utenti muniti di autorizzazioni di accesso al repository possono sfogliare, cercare e utilizzare modelli e notebook, nonché i contenuti pubblici all'interno di SageMaker JumpStart. Gli utenti possono selezionare artefatti per addestrare modelli, implementare endpoint ed eseguire notebook in SageMaker JumpStart.

Utilizzando SageMaker JumpStart si può accelerare il time-to-market quando si creano applicazioni di ML. Modelli e notebook costruiti da un team all'interno dell'organizzazione possono facilmente essere condivisi con altri team dell'organizzazione con pochi clic. La condivisione delle informazioni interne e il riutilizzo delle risorse può aumentare sensibilmente la produttività dell'organizzazione.

Sì. Gli amministratori possono controllare quali modelli Amazon SageMaker JumpStart sono visibili e utilizzabili dai propri utenti su più account AWS e principali utenti. Per saperne di più, consulta la documentazione.

Il kit di strumenti per l'ottimizzazione dell'inferenza semplifica l'implementazione delle più recenti tecniche di ottimizzazione dell'inferenza per ottenere prestazioni all'avanguardia (SOTA) in termini di costi su Amazon SageMaker AI, risparmiando mesi sui tempi di sviluppo. È possibile scegliere da un menù di tecniche di ottimizzazione popolari fornite da SageMaker AI ed eseguire lavori di ottimizzazione in anticipo, confrontare il modello per le metriche di prestazioni e precisione e, quindi, implementare il modello ottimizzato su un endpoint SageMaker AI per l'inferenza. Il kit di strumenti gestisce tutti gli aspetti dell'ottimizzazione del modello, così puoi concentrarti maggiormente sui tuoi obiettivi aziendali.

Il kit di strumenti di ottimizzazione dell'inferenza ti aiuta a migliorare i costi, le prestazioni e il time-to-market per le applicazioni di IA generativa. Il kit di strumenti di ottimizzazione dei modelli completamente gestito consente di accedere alle più recenti tecniche di ottimizzazione con strumenti facili da usare. Inoltre, è facile passare alla migliore soluzione disponibile nel tempo, poiché il kit di strumenti si adatta continuamente alle innovazioni all'avanguardia, al nuovo hardware e alle funzionalità di hosting.

Il kit di strumenti per l'ottimizzazione dell'inferenza supporta tecniche di ottimizzazione come la decodifica speculativa, la quantizzazione e la compilazione. Puoi scegliere le ottimizzazioni che desideri aggiungere al tuo modello in pochi clic: Amazon SageMaker AI gestirà il grosso del lavoro generico relativo all'approvvigionamento dell'hardware, selezionando il container di deep learning e i parametri di regolazione corrispondenti per eseguire i processi di ottimizzazione e quindi salvando gli artefatti del modello ottimizzato nella posizione S3 fornita da te.

Per la decodifica speculativa, puoi iniziare con il modello di bozza fornito da SageMaker AI, in modo da non dover creare i tuoi modelli di bozza da zero, e richiedere ottimizzazioni di routing e a livello di sistema. Con la quantizzazione, è sufficiente scegliere il tipo di precisione che si desidera utilizzare e avviare un lavoro di benchmarking per misurare le prestazioni rispetto ai compromessi di precisione. Amazon SageMaker genererà un rapporto di valutazione completo in modo da poter analizzare facilmente il compromesso tra prestazioni e precisione. Con la compilazione, per i modelli più diffusi e le relative configurazioni, Amazon SageMaker AI recupererà automaticamente gli artefatti del modello compilato durante la configurazione e il dimensionamento degli endpoint, eliminando la necessità di eseguire i processi di compilazione in anticipo, risparmiando sui costi hardware.

Il kit di strumenti di ottimizzazione delle inferenze Amazon SageMaker AI contribuisce a ridurre i costi e i tempi per ottimizzare i modelli di IA generativa, consentendoti di concentrarti sui tuoi obiettivi aziendali.

SageMaker Canvas è un servizio senza codice con un'interfaccia intuitiva punta e clicca che consente di creare previsioni altamente precise basate sul machine learning partendo dai dati. SageMaker Canvas consente di accedere ai dati e di combinarli da una varietà di origini tramite un'interfaccia utente a trascinamento e rilascio, con funzioni automatiche di pulizia e preparazione dei dati per ridurre al minimo la necessità di pulizia manuale. SageMaker Canvas applica una varietà di algoritmi di ML all'avanguardia per individuare modelli predittivi altamente accurati e fornisce un'interfaccia intuitiva per effettuare previsioni. Puoi usare SageMaker Canvas per effettuare previsioni molto più precise in varie applicazioni aziendali e collaborare facilmente con i data scientist e gli analisti della tua azienda condividendo i modelli, i dati e i report. Per ulteriori informazioni su SageMaker Canvas, consulta le domande frequenti su Amazon SageMaker Canvas.

SageMaker Autopilot è la prima funzionalità automatica di machine learning del settore che offre controllo e visibilità totali sui modelli di ML. SageMaker Autopilot esamina automaticamente i dati non elaborati, applica i processori di caratteristiche, sceglie il miglior set di algoritmi, addestra e ottimizza diversi modelli, controlla le loro prestazioni e in base a queste stila una classifica dei modelli, il tutto in pochi clic. Il risultato è un modello con le migliori prestazioni possibili, che si può distribuire in una frazione del tempo normalmente richiesto per la formazione del modello. Hai piena visibilità su come il modello è stato creato, cosa c'è al suo interno e SageMaker Autopilot si integra con SageMaker Studio. Puoi ricercare fino a 50 modelli diversi generati da SageMaker Autopilot all'interno di SageMaker Studio, così è facile scegliere il miglior modello per il tuo caso d'uso. SageMaker Autopilot può essere utilizzato per produrre facilmente un modello anche da chi non possiede esperienza di ML; può però essere utilizzato da sviluppatori esperti per sviluppare un modello di base per le successive iterazioni del team.

Le tariffe di SageMaker Canvas sono addebitate in base all'uso. SageMaker Canvas consente di importare, esplorare e preparare i dati in modo interattivo dai molteplici origini, di addestrare modelli di ML altamente accurati sui dati forniti dall'utente e di generare previsioni. La fattura è determinata da due componenti: le spese di sessione, basate sul numero di ore di utilizzo o accesso a SageMaker Canvas, e i costi di addestramento del modello, sulla base della dimensione del set di dati utilizzato allo scopo. Per ulteriori informazioni, visita la pagina dei prezzi di Amazon SageMaker Canvas.

Sì. Puoi interrompere un processo in qualsiasi momento. Quando un processo di SageMaker Autopilot viene interrotto, tutte le prove in corso vengono arrestate e non viene avviata alcuna nuova prova.

Amazon SageMaker Pipelines aiuta a creare flussi di lavoro di machine learning completamente automatizzati, dalla preparazione dei dati fino all'implementazione dei modelli, in modo da poter scalare migliaia di modelli di ML in produzione. È possibile creare pipeline con SageMaker Python SDK e visualizzarle, eseguirle e verificarle dall'interfaccia visiva di SageMaker Studio. Pipeline SageMaker si occupa di gestire i dati tra una fase e l'altra, confezionare le ricette di codice e orchestrare la loro esecuzione, riducendo i mesi di codifica a poche ore. Ogni volta che un flusso di lavoro viene eseguito, viene tenuta una registrazione completa dei dati elaborati e delle azioni intraprese in modo che i data scientist e gli sviluppatori di ML possano eseguire rapidamente il debug dei problemi.

Una pipeline SageMaker è composta da "fasi". Puoi scegliere uno qualsiasi dei tipi di fasi supportati nativamente per comporre un flusso di lavoro che invochi varie funzionalità di SageMaker AI (ad esempio addestramento, valutazione) o altri servizi AWS (ad esempio EMR, Lambda). Puoi anche trasferire il tuo codice di ML Python esistente nella pipeline SageMaker utilizzando il decoratore Python "@step" o aggiungendo interi notebook Python come componenti della pipeline. Per ulteriori dettagli, consulta la guida per gli sviluppatori di SageMaker Pipelines.

Non sono previsti costi aggiuntivi per SageMaker Pipelines. Sono addebitati unicamente i costi base di elaborazione o qualunque servizio extra di AWS utilizzato con SageMaker Pipelines.

Sì. I componenti Amazon SageMaker AI per pipeline Kubeflow sono plug-in open source che consentono di utilizzare le pipeline Kubeflow per definire i flussi di lavoro del ML e utilizzare SageMaker AI per le fasi di etichettatura, addestramento e inferenza dei dati. Pipeline Kubeflow è un componente aggiuntivo di Kubeflow che consente di creare e distribuire pipeline di ML complete, portatili e scalabili. Tuttavia, durante l'uso di pipeline Kubeflow, i team di operazioni di ML devono gestire un cluster Kubernetes con istanze CPU e GPU e mantenerne l'utilizzo elevato in ogni momento per ridurre i costi operativi. Massimizzare l'utilizzo di un cluster tra i team di data science è impegnativo e aggiunge un ulteriore sovraccarico operativo per i team delle attività di ML. In alternativa a un cluster Kubernetes ottimizzato per il ML, con i componenti SageMaker per pipeline Kubeflow è possibile sfruttare le potenti caratteristiche di SageMaker come etichettatura dei dati, regolazione degli iperparametri completamente gestita su vasta scala e processi distribuiti di addestramento, implementazione di modelli sicura e scalabile con un clic e addestramento a costi contenuti con istanze spot di Amazon Elastic Compute Cloud (Amazon EC2), il tutto senza la necessità di configurare e gestire i cluster Kubernetes specificamente per eseguire i processi di ML.

Non sono previsti costi aggiuntivi per l'utilizzo dei componenti di SageMaker per Kubeflow Pipelines. 

Human-in-the-loop è il processo che sfrutta l'input umano durante tutto il ciclo di vita del machine learning per migliorare l'accuratezza e la pertinenza dei modelli. Gli esseri umani possono eseguire una serie di attività, dalla generazione e l'annotazione dei dati, alla revisione e la personalizzazione del modello. L'intervento umano è particolarmente importante per le applicazioni di IA generativa, in cui gli umani sono in genere sia il richiedente che il consumatore del contenuto. È quindi fondamentale che gli umani addestrino i modelli di fondazione (FM) a rispondere in modo accurato, sicuro e pertinente alle richieste degli utenti. Il feedback umano può essere applicato per aiutarti a completare più attività. Un primo esempio è la creazione di set di dati di addestramento etichettati di alta qualità per applicazioni di IA generativa tramite l'apprendimento supervisionato (in cui un essere umano simula lo stile, la lunghezza e la precisione di come un modello dovrebbe rispondere alle richieste dell'utente) e l'apprendimento per rinforzo con feedback umano (in cui un essere umano classifica le risposte del modello). In secondo luogo, utilizza i dati generati dall'uomo per personalizzare i modelli di fondazione su attività specifiche o con dati specifici dell'azienda e del dominio e rendere l'output del modello pertinente per te.

Le funzionalità human-in-the-loop svolgono un ruolo importante nella creazione e nel miglioramento delle applicazioni di IA generativa basate sui modelli di fondazione. Una forza lavoro umana altamente qualificata e addestrata sulle linee guida degli incarichi può fornire feedback, indicazioni, input e valutazioni in attività come la generazione di dati dimostrativi per la formazione dei modelli di fondazione, la correzione e il miglioramento delle risposte dei campioni, la messa a punto di un modello basato su dati aziendali e di settore, la protezione dalla tossicità e dalle distorsioni e altro ancora. Quindi, le funzionalità human-in-the-loop possono migliorare la precisione e le prestazioni del modello. 

Amazon SageMaker Ground Truth offre il set più completo di funzionalità human-in-the-loop. Esistono due modi per utilizzare Amazon SageMaker Ground Truth: un'offerta self-service e una gestita da AWS. Nell'offerta self-service, gli annotatori di dati, i creatori di contenuti e i prompt engineer (interni, gestiti dal fornitore o che sfruttano il pubblico) possono utilizzare la nostra interfaccia utente a basso codice per accelerare le attività human-in-the-loop, garantendo al contempo la flessibilità necessaria per creare e gestire i propri flussi di lavoro personalizzati. Nell'offerta gestita da AWS (SageMaker Ground Truth Plus), ci occupiamo delle attività più complicate, che includono la selezione e la gestione della forza lavoro giusta per il tuo caso d'uso. SageMaker Ground Truth Plus progetta e personalizza un flusso di lavoro completo (inclusa la formazione dettagliata della forza lavoro e le fasi di garanzia della qualità) e fornisce un team qualificato gestito da AWS, formato su attività specifiche e che soddisfa i requisiti di qualità, sicurezza e conformità dei dati. 

SageMaker Data Wrangler riduce il tempo richiesto per l'aggregazione e la preparazione dei dati per il ML. Da una singola interfaccia in SageMaker Studio, è possibile cercare e importare dati da Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon EMR, Snowflake e Databricks in pochi passi. Inoltre, è possibile interrogare e importare dati trasferiti da oltre 50 origini dati e registrati nel Catalogo dati AWS Glue da Amazon AppFlow. SageMaker Data Wrangler carica, aggrega e visualizza automaticamente i dati grezzi. Dopo avere importato i dati in SageMaker Data Wrangler, è possibile visualizzare istogrammi e riepiloghi colonnari generati automaticamente. Per analizzare i dati in maggiore dettaglio e identificare errori potenziali, è possibile utilizzare il report sulla qualità dei dati e relativi approfondimenti di SageMaker Data Wrangler, che fornisce statistiche di riepilogo e segnalazioni relative alla qualità dei dati. Inoltre, è possibile eseguire l'analisi delle distorsioni supportata da SageMaker Clarify direttamente da SageMaker Data Wrangler per rilevare potenziali distorsioni durante la preparazione dei dati. Da qui, è possibile utilizzare le trasformazioni predefinite di SageMaker Data Wrangler per preparare i dati. Una volta che i dati sono pronti, è possibile costruire flussi di lavoro di ML completamente automatizzati con Amazon SageMaker Pipelines o importare i dati nelAmazon SageMaker Feature Store.

Verranno addebitati i costi di tutte le risorse di calcolo, archiviazione ed elaborazione dati di ML utilizzate per SageMaker Data Wrangler. È possibile rivedere tutti i dettagli dei prezzi di SageMaker Data Wrangler qui. Grazie al Piano gratuito AWS, puoi iniziare a utilizzare SageMaker Data Wrangler gratuitamente.

È possibile configurare e avviare i processi di elaborazione SageMaker AI direttamente dall'interfaccia utente di SageMaker Data Wrangler, pianificando il processo di elaborazione dei dati e applicando parametri alle origini dati per trasformare facilmente i nuovi batch di dati su vasta scala.

Dopo avere preparato i dati, SageMaker Data Wrangler fornisce opzioni diverse per promuovere il flusso SageMaker Data Wrangler in produzione e si integra alla perfezione con le capacità MLOps e CI/CD. È possibile configurare e avviare i processi di elaborazione SageMaker AI direttamente dall'interfaccia utente di SageMaker Data Wrangler, pianificando il processo di elaborazione dei dati e applicando parametri alle origini dati per trasformare facilmente i nuovi batch di dati su vasta scala. In alternativa, SageMaker Data Wrangler si integra in modo ottimale con l'elaborazione di SageMaker AI e il container SageMaker AI Spark, consentendo di utilizzare con facilità gli SDK di SageMaker AI per incorporare SageMaker Data Wrangler nel flusso di lavoro di produzione.

SageMaker Feature Store è una piattaforma dedicata e completamente gestita per archiviare, condividere e gestire funzionalità per i modelli di machine learning (ML). Le funzionalità possono essere esplorate e condivise per un facile riutilizzo tra modelli e team con accesso e controllo sicuri, anche su tutti gli account AWS. SageMaker Feature Store supporta funzionalità online e offline per l'inferenza in tempo reale, l'inferenza in batch e l'addestramento. Gestisce inoltre le pipeline di ingegneria delle funzionalità in batch e in streaming per ridurre la duplicazione nella creazione delle funzionalità e migliorare la precisione del modello.

Grazie al Piano gratuito AWS, puoi iniziare a utilizzare SageMaker Feature Store gratuitamente. Con SageMaker Feature Store si paga per la scrittura nell’archivio delle funzionalità e per la lettura e l'archiviazione dall’archivio delle funzionalità online. Per i dettagli sui prezzi consulta la pagina dei Prezzi di Amazon SageMaker.

SageMaker AI fornisce due offerte di etichettatura dei dati, Amazon SageMaker Ground Truth Plus e Amazon SageMaker Ground Truth. Entrambe le opzioni consentono di identificare i dati non elaborati, come immagini, file di testo e video, e aggiungere etichette informative per creare set di dati di addestramento di alta qualità per i propri modelli di ML. Per ulteriori informazioni, consulta Etichettatura dei dati di Amazon SageMaker.

È possibile utilizzare i notebook Jupyter completamente gestiti in SageMaker AI per lo sviluppo completo di ML. Dimensiona le istanze di calcolo con la selezione di istanze ottimizzate per il calcolo e accelerate dalla GPU nel cloud.

I notebook SageMaker Studio sono notebook Jupyter che possono essere ruotati rapidamente con un semplice clic. Le risorse di calcolo sottostanti sono completamente elastiche, in modo da calibrare le risorse disponibili, e le modifiche vengono attuate in modo automatico in background senza interrompere il lavoro. SageMaker AI permette anche la condivisione di notebook con un clic. Puoi condividere facilmente i notebook con altri utenti, i quali avranno a disposizione lo stesso identico notebook salvato nella medesima posizione.

Con i notebook SageMaker Studio è possibile accedere con le credenziali aziendali tramite il Centro identità IAM. La condivisione dei notebook all'interno e all'esterno dei team è semplice, poiché le dipendenze necessarie per far funzionare un notebook vengono automaticamente monitorate in immagini di lavoro racchiuse all'interno del notebook durante la sua condivisione.

I notebook negli IDE SageMaker Studio offrono alcune importanti funzionalità che li differenziano dai notebook basati sull'istanza. Innanzitutto, è possibile avviare rapidamente notebook senza dover effettuare manualmente il provisioning di un'istanza e aspettare che sia operativa. Il tempo di avvio dell'interfaccia utente per leggere ed eseguire un notebook è più rapido rispetto ai notebook basati sulle istanze. Hai anche la flessibilità di scegliere tra una vasta raccolta di tipi di istanze all'interno dell'interfaccia utente in qualsiasi momento. Non è necessario andare alla console AWS Management per avviare nuove istanze e trasferirle sui tuoi notebook. Ciascun utente avrà una home directory isolata e indipendente da una determinata istanza. Questa directory viene automaticamente montata su tutti i server e kernel dei notebook all'avvio, in modo da poter accedere ai notebook e ad altri file anche quando si cambia istanza per visualizzarli ed eseguirli. Grazie all'integrazione con il Centro identità AWS IAM (che ha sostituito AWS SSO), l'uso delle credenziali della propria organizzazione per accedere ai notebook SageMaker Studio risulta notevolmente semplificato. Inoltre, sono integrati con strumenti di ML dedicati in SageMaker AI e altri servizi AWS per lo sviluppo completo del ML, dalla preparazione di dati nell'ordine dei petabyte utilizzando Spark su Amazon EMR, passando per i modelli di addestramento e di debug, fino all'implementazione e al monitoraggio dei modelli e alla gestione delle pipeline.

I professionisti del machine learning possono creare uno spazio di lavoro condiviso all'interno dei quali i membri del team possono leggere e modificare in maniera collaborativa i notebook SageMaker Studio. Utilizzando gli spazi condivisi, i colleghi possono modificare a più mani lo stesso file del notebook, eseguire simultaneamente il codice del notebook e rivedere insieme i risultati, eliminando le sequenze di passaggi e ottimizzando la collaborazione. Negli spazi condivisi, i team del ML dispongono di un supporto incorporato per servizi come BitBucket e AWS CodeCommit, potendo così gestire con facilità versioni differenti dei propri notebook e confrontare le modifiche nel corso del tempo. Le risorse create all'interno dei notebook, come esperimenti e modelli di ML, vengono automaticamente salvate e associate allo specifico spazio di lavoro in cui sono state create affinché i team possano coordinarsi e organizzarsi con maggiore facilità e accelerare lo sviluppo dei modelli di ML.

Saranno addebitati i costi sia per il calcolo sia per l'archiviazione associati all'utilizzo di notebook SageMaker AI negli IDE Studio. Consulta i prezzi di Amazon SageMaker AI per conoscere i costi in base al tipo di istanza di calcolo. I notebook e gli artefatti associati di tua appartenenza come file di dati e script vengono conservati in Amazon Elastic File System (Amazon EFS). Consulta i prezzi di Amazon EFS per sapere quali sono i costi di archiviazione. Nell'ambito del Piano gratuito AWS, è possibile iniziare a utilizzare i notebook in SageMaker Studio gratuitamente.

No. È possibile creare ed eseguire più notebook sulla stessa istanza di calcolo. Paghi solamente in base al calcolo che utilizzi e non per i singoli elementi. Ulteriori informazioni a riguardo sono disponibili nella nostra guida alla tariffazione.

Oltre ai notebook, è inoltre possibile avviare ed eseguire terminali e shell (interpreti di comandi) interattivi in SageMaker Studio, tutti sulla stessa istanza di calcolo. Ogni applicazione viene eseguita all'interno di un container o di un'immagine. SageMaker Studio offre diverse immagini incorporate appositamente create e preconfigurate per data science e ML.

Puoi monitorare e arrestare le risorse utilizzate dai tuoi notebook SageMaker Studio tramite l'interfaccia visiva di SageMaker Studio e la Console di gestione AWS. Consulta la documentazione per ulteriori dettagli.

No, non viene addebitato alcun costo per la creazione o la configurazione di un dominio SageMaker Studio, inclusi l'aggiunta, l'aggiornamento e l'eliminazione dei profili utente.

L'amministratore può visualizzare l'elenco degli addebiti dettagliati per SageMaker AI, incluso SageMaker Studio, nella Console AWS per la fatturazione. Dalla Console di gestione AWS per SageMaker AI, scegli Servizi nel menù in alto, digita "fatturazione" nella casella di ricerca e seleziona Fatturazione dal menù a discesa, quindi seleziona Fatture nel pannello di sinistra. Nella sezione Dettagli, seleziona SageMaker per espandere l'elenco delle regioni e fai clic ripetutamente fino a visualizzare gli addebiti in dettaglio.

SageMaker Studio Lab è pensato per gli studenti, i ricercatori e i data scientist che hanno bisogno di un ambiente di sviluppo senza alcuna attrezzatura richiesta per i loro corsi ed esperimenti di ML. SageMaker Studio Lab è ideale per gli utenti che non necessitano di un ambiente di produzione, ma vogliono comunque utilizzare un sottoinsieme delle funzionalità di SageMaker AI per migliorare le proprie capacità di ML. Le sessioni di SageMaker AI vengono salvate automaticamente, permettendo agli utenti di riprendere da dove interrotto per ciascuna sessione utente.

SageMaker Canvas è un servizio visivo drag and drop che permette agli analisti aziendali di costruire modelli ML e generare previsioni precise senza scrivere codice e senza richiedere competenze di ML. SageMaker Canvas semplifica l'accesso e la combinazione di dati da varie origini, pulisce automaticamente i dati e applica loro varie regolazioni, costruendo modelli di ML per generare previsioni precise in un unico passaggio. È possibile anche pubblicare facilmente i risultati, spiegare e interpretare i modelli e condividerli con altri all'interno della propria organizzazione a scopi di revisione.

SageMaker Canvas ti consente di scoprire senza problemi le origini dati AWS a cui ha accesso il tuo account, compresi Amazon S3 e Amazon Redshift. È possibile sfogliare e importare i dati usando l'interfaccia visiva e a trascinamento e rilascio di SageMaker Canvas. Inoltre è possibile trascinare e rilasciare i file dal disco locale e utilizzare i connettori predefiniti per importare dati da origini di terze parti come Snowflake.

Una volta collegate le origini, selezionato un set di dati e preparati i dati, è possibile selezionare la colonna di destinazione che si vuole prevedere per iniziare un processo di creazione del modello. SageMaker Canvas identificherà automaticamente il tipo di problema, genererà nuove funzionalità rilevanti, testerà un set completo di modelli di previsione utilizzando tecniche di ML quali regressione lineare, regressione logistica, deep learning, previsione di serie temporali e gradient boosting, e costruirà un modello che effettua previsioni precise sulla base del set di dati.

Il tempo necessario per costruire un modello dipende dalla dimensione del set di dati. Piccoli set di dati possono richiedere meno di 30 minuti, e grandi set di dati possono richiedere alcune ore. Man mano che procede il processo di creazione del modello, SageMaker Canvas fornisce aggiornamenti visivi dettagliati, compresa la percentuale di completamento del processo e la quantità di tempo rimanente per il completamento.

Ti consigliamo di utilizzare Amazon Bedrock per la messa a punto dei modelli se:

• sei un creatore di applicazioni di IA generativa e cerchi un approccio gestito basato sulle API, meno iperparametri e un'astrazione della complessità associata all'addestramento dei modelli.
• Richiedi un sovraccarico minimo dell'infrastruttura, hai investimenti minimi o nulli nell'infrastruttura ML a cui pensare e cerchi un’implementazione rapida in modo serverless.

Ti consigliamo di utilizzare Amazon SageMaker AI per la messa a punto dei modelli se:

• sei un data scientist, un ingegnere ML o uno sviluppatore di modelli AI e vorresti accedere a tecniche di personalizzazione avanzate come la distillazione della conoscenza, la messa a punto supervisionata o l'ottimizzazione delle preferenze dirette, sia per full weight che per una messa a punto efficiente dei parametri. SageMaker AI offre anche la possibilità di personalizzare la ricetta di formazione e l'architettura dei modelli.
• Hai implementato flussi di lavoro ML e investimenti infrastrutturali mirati a un controllo maggiore su infrastruttura e costi.
• Desideri più flessibilità per poter portare le tue librerie e i tuoi framework e ottimizzare i flussi di lavoro di formazione per aumentare la precisione e migliorare le prestazioni.

Con Amazon SageMaker AI puoi personalizzare modelli di fondazione sia proprietari sia disponibili al pubblico. I data scientist e gli sviluppatori di ogni competenza possono personalizzare rapidamente i modelli di IA generativa utilizzando ricette ottimizzate. Ogni ricetta viene testata da AWS eliminando settimane di lavoro di routine per la prova di diverse configurazioni di modelli volte a ottenere prestazioni all'avanguardia. Puoi personalizzare le famiglie di rinomati modelli disponibili al pubblico, tra cui Llama, Mixtral, Mistral e DeepSeek. Inoltre è possibile personalizzare i modelli di fondazione di Amazon Nova con tecniche tra cui Supervised Fine-Tuning (SFT), Knowledge Distillation, Direct Preference Optimization (DPO), Proximal Policy Optimization e Continued Pre-Training, avendo a disposizione supporto per opzioni sia di efficienza dei parametri sia di addestramento completo dei modelli durante l'esecuzione di SFT, Distillation e DPO.

Sì. SageMaker AI è in grado di distribuire automaticamente modelli di deep learning e grandi set di addestramento fra istanze AWS GPU in una frazione del tempo necessario per costruire e ottimizzare queste strategie di distribuzione manualmente. Le due tecniche di addestramento distribuite che applica SageMaker AI sono il parallelismo dei dati e il parallelismo dei modelli. Il parallelismo dei dati viene applicato per migliorare la velocità di addestramento dividendo i dati equamente fra più istanze della GPU, permettendo a ciascuna istanza di addestrarsi contemporaneamente. Il parallelismo dei modelli è utile per i modelli troppo grandi per essere memorizzati su una singola GPU e richiedono che il modello sia partizionato in parti più piccole prima di essere distribuito su più GPU. Con solo poche righe di codice aggiuntivo negli script di addestramento PyTorch e TensorFlow, SageMaker AI applicherà automaticamente il parallelismo dei dati o il parallelismo dei modelli, consentendo di sviluppare e implementare i modelli più velocemente. SageMaker AI determinerà l'approccio migliore per dividere il modello usando algoritmi di partizionamento dei grafici per bilanciare il calcolo di ciascuna GPU e minimizzando la comunicazione tra le istanze GPU. Inoltre, SageMaker AI ottimizza i processi di addestramento distribuiti tramite algoritmi che sfruttano appieno le capacità di calcolo e la rete di AWS per raggiungere un'efficienza di scalabilità quasi lineare. In questo modo è possibile completare l'addestramento più velocemente rispetto alle implementazioni open source manuali.

SageMaker Training Compiler è un compilatore di deep learning (DL) che accelera l'addestramento dei modelli di DL fino del 50% attraverso ottimizzazioni a livello di grafico e di kernel per utilizzare le GPU in modo più efficiente. SageMaker Training Compiler è integrato con le versioni di TensorFlow e PyTorch in SageMaker, in modo da poter accelerare l'addestramento in questi framework popolari con modifiche minime al codice.

SageMaker Training Compiler accelera i processi di addestramento convertendo i modelli di DL dalla loro rappresentazione in linguaggio di alto livello a istruzioni ottimizzate per l'hardware che si addestrano più velocemente dei processi con i framework nativi. Più specificamente, SageMaker Training Compiler usa l'ottimizzazione a livello di grafico (operator fusion, pianificazione della memoria e semplificazione algebrica), ottimizzazioni a livello di flusso di dati (trasformazione del layout, eliminazione delle sottoespressioni comuni) e le di backend (nascondere la latenza della memoria, ottimizzazioni loop oriented) producendo un lavoro di addestramento modelli ottimizzato che utilizza le risorse hardware in modo più efficiente e, di conseguenza, addestra più velocemente.

Managed Spot Training con SageMaker AI consente di addestrare i modelli di ML utilizzando le istanze spot di Amazon EC2, riducendo i costi di addestramento fino del 90%.

SageMaker Training Compiler è integrato in SageMaker Python SDK e nei container SageMaker Hugging Face Deep Learning. Non è necessario modificare i flussi di lavoro per accedere ai vantaggi in termini di accelerazione. È possibile eseguire i processi di addestramento nello stesso modo in cui già fai, usando una qualsiasi delle interfacce di SageMaker: istanze notebook di SageMaker, SageMaker Studio, AWS SDK per Python (Boto3) e interfaccia della linea di comando AWS (AWS CLI). È possibile attivare il Compilatore di formazione Amazon SageMaker aggiungendo una classe TrainingCompilerConfig come parametro quando si crea un oggetto stimatore di framework. In pratica questo significa un paio di righe di codice in aggiunta allo script di addestramento esistente per una singola istanza GPU. Nella documentazione sono disponibili la documentazione dettagliata più aggiornata, i notebook di prova e gli esempi.

SageMaker Training Compiler è una funzionalità di addestramento di SageMaker fornita senza costi aggiuntivi esclusivamente ai clienti di SageMaker AI. Con SageMaker Training Compiler i clienti possono davvero diminuire i costi poiché i tempi di addestramento sono ridotti.

Si può abilitare l'opzione Managed Spot Training durante l'invio dei processi di addestramento e specificare quanto a lungo si desidera attendere per la capacità Spot. SageMaker AI utilizza quindi le istanze spot di Amazon EC2 per eseguire i processi e gestisce la capacità Spot. Si avrà completa visibilità sullo stato del processo di formazione, sia quando è in esecuzione sia quando è in attesa di capacità disponibile.

Managed Spot Training utilizza le istanze Amazon Spot EC2 per l'addestramento e queste istanze si possono annullare nel caso in cui sia necessaria capacità per AWS. Come risultato, i processi di Managed Spot Training si possono eseguire in piccoli incrementi non appena la capacità diventa disponibile. I processi di addestramento non devono essere riavviati da zero in caso di interruzione, in quanto SageMaker AI può ripristinarli utilizzando l'ultimo checkpoint del modello. I framework e gli algoritmi di visione artificiale integrati in SageMaker AI consentono di creare checkpoint periodici e di abilitare checkpoint con modelli personalizzati.

Consigliamo di creare checkpoint periodici come best practice in generale per i processi di addestramento con esecuzione prolungata. In questo modo è possibile evitare il riavvio dei processi di Managed Spot Training in caso di annullamento della capacità. Abilitando i checkpoint, SageMaker AI ripristina i processi di Managed Spot Training dall'ultimo checkpoint.

Managed Spot Training può essere utilizzato con tutte le istanze supportate in SageMaker AI.

Managed Spot Training è supportato in tutte le Regioni nelle quali SageMaker AI è attualmente disponibile.

Non sono previsti limiti fissi alle dimensioni del set di dati utilizzabile per l'addestramento di modelli con SageMaker AI.

SageMaker AI include algoritmi integrati per regressione lineare, regressione logistica, clustering k-means, analisi delle componenti principali, macchine di fattorizzazione, topic modeling neurale, allocazione latente di Dirichlet, alberi con gradient boosting, sequence2sequence, previsione di serie temporali, word2vec e classificazione di immagini. SageMaker AI fornisce inoltre container ottimizzati Apache MXNet, Tensorflow, Chainer, PyTorch, Gluon, Keras, Horovod, Scikit-learn e Deep Graph Library. Infine, SageMaker AI supporta algoritmi di addestramento personalizzati tramite immagini Docker conformi alle specifiche documentate.

È possibile eseguire l’ottimizzazione automatica dei modelli in SageMaker AI su qualsiasi algoritmo purché sia scientificamente fattibile, ad esempio algoritmi integrati in SageMaker AI, reti neurali profonde o algoritmi arbitrari caricati in SageMaker AI sotto forma di immagini Docker.

No, al momento no. SageMaker AI fornisce il massimo livello di esperienza e prestazioni di messa a punto dei modelli.

Al momento l'algoritmo per la regolazione degli iperparametri è un'implementazione personalizzata di Bayesian Optimization. Il suo scopo è ottimizzare una metrica obiettivo specificata dal cliente lungo l'intero processo di regolazione. Nello specifico, verifica le metriche di oggetto per i processi di addestramento completati e utilizza i dati ottenuti per dedurre la combinazione di iperparametri per il processo di addestramento successivo.

No. Il modo in cui i singoli iperparametri alterano le prestazioni di un modello dipende da diversi fattori e non è semplice stabilire se un iperparametro sia più importante di altri e debba essere quindi ottimizzato. Per gli algoritmi integrati in SageMaker AI però specifichiamo quali iperparametri possono essere ottimizzati.

La durata di un processo di ottimizzazione degli iperparametri dipende da diversi fattori, tra cui le dimensioni dei dati, l'algoritmo sottostante e i valori degli iperparametri. Inoltre, i clienti potranno scegliere il numero di processi di addestramento simultanei e il numero totale. Tutte queste scelte influenzano la durata del processo di ottimizzazione.

No, al momento no. Al momento è necessario specificare un singolo obiettivo di ottimizzazione, oppure modificare il codice dell'algoritmo in modo che emetta un nuovo parametro, che sarà confrontato con altri parametri per applicarvi il processo di addestramento secondo il nuovo obiettivo.

Per il processo in sé di messa a punto di un iperparametro non è previsto alcun costo. Saranno tuttavia addebitati i costi dei processi di addestramento avviati dal processo di messa a punto degli iperparametri in base ai prezzi di addestramento dei modelli.

SageMaker Autopilot automatizza tutto in un tipico flusso di lavoro di ML, tra cui la pre-elaborazione delle funzioni, la selezione dell'algoritmo e l'ottimizzazione dell'iperparametro, concentrandosi specificamente sui casi d'uso di classificazione e regressione. L'ottimizzazione automatica dei modelli, d'altra parte, è progettata per ottimizzare qualsiasi modello, indipendentemente dal fatto che si basi su algoritmi integrati, framework di deep learning o container personalizzati. Per ottenere flessibilità è necessario selezionare manualmente l'algoritmo specifico, gli iperparametri da ottimizzare e gli intervalli di ricerca corrispondenti.

L'apprendimento per rinforzo è una tecnica di ML che consente a un agente di imparare in un ambiente interattivo tramite prove ed errori utilizzando feedback scaturiti dalle proprie azioni ed esperienze.

Sì, oltre ai tradizionali modelli di apprendimento supervisionato e non supervisionato, in SageMaker AI è possibile addestrare i modelli di apprendimento per rinforzo.

Sebbene sia l'apprendimento supervisionato che l'apprendimento per rinforzo utilizzino la mappatura tra input e output, nell'apprendimento supervisionato il feedback fornito all'agente è un insieme di azioni corretto per eseguire un'attività, mentre l'apprendimento per rinforzo utilizza un feedback ritardato dove i segnali di ricompensa sono ottimizzati per assicurare un obiettivo a lungo termine tramite una sequenza di azioni.

Mentre l'obiettivo delle tecniche di apprendimento supervisionato è trovare la risposta esatta in base ai modelli nei dati di training, l'obiettivo delle tecniche di apprendimento non supervisionato è trovare similitudini e differenze tra i data point. Al contrario, l'obiettivo delle tecniche di apprendimento per rinforzo (RL, reinforcement learning) è di imparare come ottenere un risultato desiderato anche quando non è chiaro come raggiungere tale risultato. Di conseguenza, RL è più adatto per abilitare le applicazioni intelligenti dove un agente può prendere decisioni autonome come nella robotica, veicoli con pilota automatico, HVAC, controllo industriale e altro.

Amazon SageMaker RL supporta un numero di ambienti diversi per la formazione di modelli di RL. È possibile utilizzare i servizi AWS come AWS RoboMaker, gli ambienti open source o personalizzati sviluppati utilizzando le interfacce Open AI Gym o gli ambienti di simulazione commerciale come MATLAB e SimuLink.

No, SageMaker RL include kit di strumenti RL come Coach e Ray RLLib, che offrono implementazioni o algoritmi di agente RL quali DQN, PPO, A3C e molti altri.

Sì, è possibile portare librerie RL e implementazione di algoritmi in container Docker ed eseguirle in SageMaker RL.

Sì. È anche possibile selezionare un cluster eterogeneo in cui la formazione può essere eseguita su un'istanza GPU e le simulazioni possono essere eseguite su più istanze CPU.

L'osservabilità di SageMaker HyperPod consente ai clienti di accelerare il time-to-market e ridurre il costo delle innovazioni dell’IA generativa. Gli amministratori possono utilizzare questa funzionalità per ottenere una visione completa delle prestazioni, dello stato e dell'utilizzo dei propri cluster in pochi minuti per ottimizzare l'uso e la configurazione delle risorse di elaborazione accelerate. Quando i data scientist incontrano interruzioni nelle loro attività di sviluppo dell’IA generativa, come l'addestramento dei modelli, la messa a punto o l'inferenza su un cluster HyperPod, possono identificare in pochi minuti quale configurazione o risorsa deve essere aggiornata per ripristinare le attività. La riduzione dei tempi di risoluzione delle interruzioni delle attività e il minor numero di ripetizioni delle attività consentono alle organizzazioni di concentrarsi sull'accelerazione dell'innovazione dell'IA generativa e del time-to-market, invece di dedicare ore o giorni alla raccolta e all'analisi dei dati di telemetria dei cluster.

Una volta creati e addestrati dei modelli, SageMaker AI fornisce tre opzioni per implementarli, permettendo di iniziare a fare previsioni. L'inferenza in tempo reale è adatta a carichi di lavoro con requisiti di latenza di millisecondi, dimensioni di payload fino a 6MB e tempi di elaborazione fino a 60 secondi. La trasformazione in batch è ideale per previsioni offline su grandi batch di dati disponibili in anticipo. L'inferenza asincrona è progettata per carichi di lavoro che non richiedono latenza inferiore al secondo, dimensioni di payload fino a 1 GB e tempi di elaborazione fino a 15 minuti.

È possibile ridurre a zero il conto delle istanze di endpoint di SageMaker Asynchronous Inference per risparmiare sui costi quando non si stanno elaborando le richieste attivamente. È necessario definire una policy di dimensionamento che dimensioni sul parametro personalizzato "ApproximateBacklogPerInstance" e imposti il valore "MinCapacity" su zero. Per istruzioni dettagliate visita la sezione Scalabilità automatica di un endpoint asincrono nella guida per gli sviluppatori. 

SageMaker Serverless Inference è un'opzione di servizio di modelli serverless dedicata che semplifica l'implementazione e la scalabilità dei modelli di ML. Gli endpoint di Inferenza serverless SageMaker avviano automaticamente le risorse di calcolo e le dimensionano dentro e fuori a seconda del traffico, eliminando la necessità di scegliere il tipo di istanza, eseguire capacità in provisioning o gestire il dimensionamento. Puoi opzionalmente specificare i requisiti di memoria per il tuo endpoint di inferenza serverless. Paghi solo per la durata dell'esecuzione del codice di inferenza e la quantità di dati elaborati, non per i periodi di inattività.

Con gli endpoint serverless on demand se l'endpoint non riceve traffico per un po' di tempo e poi riceve improvvisamente nuove richieste l'endpoint può impiegare del tempo per attivare le risorse di calcolo per elaborare le richieste. Questo si chiama avvio a freddo. Un avvio a freddo può verificarsi anche se le richieste simultanee superano l'utilizzo corrente delle richieste simultanee. Il tempo di avvio a freddo dipende dalle dimensioni del modello, dal tempo necessario per scaricare il modello e dal tempo di avvio del container.

Per ridurre la variabilità del profilo di latenza, puoi facoltativamente abilitare la concorrenza assegnata per i tuoi endpoint serverless. Grazie a Provisioned Concurrency i tuoi endpoint serverless sono sempre pronti e possono gestire istantaneamente picchi di traffico, senza avvii a freddo.

Come per Serverless Inference on demand, quando è abilitata Provisioned Concurrency si paga in base alla capacità di calcolo utilizzata per elaborare le richieste di inferenza fatturata al millisecondo e la quantità di dati elaborati. Si paga anche per l'utilizzo di Provisioned Concurrency, in base alla memoria configurata, alla durata fornita e alla quantità di concorrenza abilitata. Per ulteriori informazioni visita la pagina dei Prezzi di Amazon SageMaker AI.

SageMaker AI facilita l'esecuzione di shadow test per valutare un nuovo modello di ML prima del rilascio in produzione verificandone le prestazioni rispetto al modello attualmente implementato. SageMaker AI implementa il nuovo modello in modalità shadow accanto al modello di produzione corrente, eseguendo il mirroring di una porzione specificata dall'utente del traffico di produzione al nuovo modello. Ha l’opzione di registrare le inferenze del modello per un confronto offline. Inoltre fornisce un dashboard in tempo reale con un confronto delle metriche di prestazione chiave, come latenza e tasso di errore, tra i modelli shadow e di produzione, per rendere più facile decidere se passare il nuovo modello in produzione.

SageMaker AI semplifica il processo di configurazione e monitoraggio delle varianti shadow per valutare le prestazioni del nuovo modello di ML sul traffico di produzione dal vivo. SageMaker AI elimina la necessità di orchestrare l'infrastruttura per lo shadow testing. Consente di controllare i parametri di test, come ad esempio la percentuale di traffico in mirroring sulla variante shadow e la durata del test. Di conseguenza, è possibile partire su scala ridotta e incrementare le richieste di inferenza del nuovo modello dopo averne verificato le prestazioni. SageMaker AI crea un pannello di controllo in tempo reale che visualizza le differenze di prestazione rispetto ad alcune metriche chiave, consentendo di confrontare con facilità le prestazioni dei modelli per valutare la differenza fra il nuovo modello e quello in produzione.

SageMaker Inference Recommender riduce il tempo necessario per mettere in produzione i modelli di ML automatizzando il benchmarking delle prestazioni e regolando le prestazioni del modello attraverso le istanze ML di SageMaker. Ora è possibile usare SageMaker Inference Recommender per implementare il proprio modello in un endpoint che offre le migliori prestazioni e riduce al minimo i costi. Puoi iniziare con SageMaker Inference Recommender in pochi minuti selezionando un tipo di istanza e ottenere raccomandazioni per configurazioni ottimali di endpoint in poche ore, eliminando settimane di test manuali e i tempi di messa a punto. Con SageMaker Inference Recommender, paghi solo per le istanze di SageMaker ML utilizzate durante il test di carico, e non ci sono costi aggiuntivi.

No, attualmente supportiamo un modello singolo per endpoint.

Attualmente supportiamo solo endpoint in tempo reale.

Supportiamo tutte le Regioni supportate da Amazon SageMaker, eccetto le regioni AWS Cina.

Sì, supportiamo tutti i tipi di container. Amazon EC2 Inf1, basata sul chip AWS Inferentia, richiede un artefatto di modello compilato utilizzando il compilatore Neuron o Amazon SageMaker Neo. Una volta che si dispone di un modello compilato per un target Inferentia e l'URI dell'immagine del container associato si può usare SageMaker Inference Recommender per il benchmarking di diversi tipi di istanze Inferentia.

SageMaker Model Monitor consente agli sviluppatori di rilevare e correggere il concept drift. SageMaker Model Monitor rileva automaticamente la deviazione di concept nei modelli implementati e fornisce avvisi dettagliati che aiutano a identificare la causa del problema. Tutti i modelli addestrati su SageMaker AI emettono automaticamente metriche chiave che possono essere raccolte e visualizzate su SageMaker Studio. Dall'interno di SageMaker Studio è possibile configurare i dati da raccogliere, le modalità di visualizzazione e quando ricevere gli avvisi.

No. SageMaker AI gestisce automaticamente l'infrastruttura di calcolo, consentendo l'esecuzione di controlli dell'integrità, l'applicazione di patch di sicurezza e altre attività di manutenzione di routine. È anche possibile distribuire artefatti di modelli provenienti dai processi di addestramento con codice di inferenza personalizzato nell'ambiente di hosting aziendale.

L'hosting di SageMaker AI scala automaticamente mediante il dimensionamento automatico in usando Application Auto Scaling. Inoltre è possibile modificare manualmente il tipo e il numero di istanze senza interrompere l'operatività apportando modifiche alla configurazione dell'endpoint.

SageMaker AI invia le proprie metriche di prestazione ad Amazon CloudWatch per permetterne il monitoraggio, impostare allarmi e configurare le operazioni da eseguire in base alle variazioni del traffico. Inoltre, SageMaker AI trascrive i propri log in Amazon CloudWatch Logs per favorire monitoraggio e risoluzione dei problemi negli ambienti di produzione.

SageMaker AI è compatibile con l'hosting di qualsiasi modello conforme alle specifiche documentate per le immagini Docker di inferenza. Sono pertanto inclusi i modelli creati a partire da codice di inferenza e artefatti di modello di SageMaker AI.

SageMaker AI è stato progettato per scalare le risorse fino a supportare un numero elevato di transazioni al secondo. Il numero preciso varia in base al modello distribuito e a tipo e numero di istanze in cui il modello è stato implementato.

In quanto servizio completamente gestito, Amazon SageMaker AI si occupa della configurazione e della gestione delle istanze, delle compatibilità delle versioni software e delle versioni di patch. Fornisce inoltre metriche e registri integrati per gli endpoint che puoi utilizzare per monitorare e ricevere avvisi. Con gli strumenti e i flussi di lavoro guidati di SageMaker AI, l'intero processo di creazione e implementazione del modello di ML è semplificato, facilitando l'ottimizzazione degli endpoint per ottenere le prestazioni desiderate e risparmiare sui costi. È possibile implementare facilmente i modelli di ML, compresi i modelli di fondazione con appena pochi clic all'interno di SageMaker Studio o utilizzando il nuovo PySDK.

Batch Transform abilita ad eseguire analisi predittive su batch di dati di piccole e grandi dimensioni. Non è necessario porzionare il set di dati o gestire gli endpoint in tempo reale. È possibile richiedere analisi predittive con una semplice API per un numero elevato di record di dati, eseguendone la trasformazione in modo rapido e semplice.

SageMaker AI supporta le seguenti opzioni di endpoint: endpoint a modello singolo, un modello unico su un container ospitato su istanze dedicate o serverless per bassa latenza e throughput elevato. Endpoint multi-modello: ospita più modelli utilizzando un'infrastruttura condivisa per ridurre i costi e massimizzare l'utilizzo. Puoi controllare la quantità di elaborazione e memoria che ogni modello può utilizzare per assicurarti che ogni modello abbia accesso alle risorse necessarie per funzionare in modo efficiente. Pipeline di inferenza seriale: più container che condividono istanze dedicate e vengono eseguiti in sequenza. È possibile utilizzare una pipeline di inferenza per combinare attività di data science di pre-elaborazione, previsione e post-elaborazione.

SageMaker Edge Manager semplifica l'ottimizzazione, la sicurezza, il monitoraggio e la manutenzione di modelli di ML su flotte di dispositivi edge come telecamere intelligenti, robot, personal computer e dispositivi mobili. SageMaker Edge Manager aiuta gli sviluppatori di ML a utilizzare i modelli di ML su una varietà di dispositivi edge su larga scala.

Per iniziare con SageMaker Edge Manager è necessario compilare e impacchettare i modelli addestrati di ML nel cloud, registrare i dispositivi e prepararli con SageMaker Edge Manager SDK. Per preparare il modello per l’implementazione, SageMaker Edge Manager utilizza SageMaker Neo per compilare il modello per l'hardware edge di destinazione. Una volta compilato un modello, SageMaker Edge Manager firma il modello con una chiave generata da AWS, quindi confeziona il modello con il proprio runtime e le credenziali necessarie per prepararlo all’implementazione. Dal lato del dispositivo, si registra il dispositivo con SageMaker Edge Manager, si scarica l'SDK di SageMaker Edge Manager e si seguono le istruzioni per installare l'agente SageMaker Edge Manager sui propri dispositivi. Il notebook del tutorial fornisce un esempio passo passo di come è possibile preparare i modelli e collegarli con SageMaker Edge Manager su dispositivi edge.

SageMaker Edge Manager supporta i comuni dispositivi basati su CPU (ARM, x86) e GPU (ARM, Nvidia) con sistemi operativi Linux e Windows. Nel corso del tempo, SageMaker Edge Manager si espanderà per supportare più processori incorporati e piattaforme mobili che sono supportati anche da SageMaker Neo.

No. È possibile addestrare i propri modelli altrove o utilizzare un modello preaddestrato open source o un modello del proprio fornitore.

Sì. Amazon SageMaker Neo converte e compila i propri modelli in un eseguibile che è poi possibile confezionare e implementare sui tuoi dispositivi edge. Una volta che il pacchetto dei modelli è implementato, l'agente SageMaker Edge Manager decomprimerà il pacchetto ed eseguirà il modello sul dispositivo.

SageMaker Edge Manager archivia il pacchetto dei modelli nel bucket di Amazon S3 specificato. È possibile utilizzare la funzione di implementazione via etere (OTA) fornita da AWS IoT Greengrass o qualsiasi altro meccanismo di distribuzione a scelta per distribuire il pacchetto dei modelli dal proprio bucket S3 ai dispositivi.

Neo dlr è un runtime open source che esegue solo modelli compilati dal servizio SageMaker Neo. Rispetto all'open source dlr, l'SDK di Gestore di bordo SageMaker include un agente di livello aziendale integrato nel dispositivo con ulteriore sicurezza, gestione dei modelli e funzionalità di model serving. SageMaker Edge Manager SDK è adatto per la distribuzione di produzione scalare.

Il Gestore Edge di SageMaker e AWS IoT Greengrass possono lavorare insieme alla tua soluzione di IoT. Una volta che il modello di ML è confezionato con Gestore di bordo SageMaker, è possibile utilizzare la funzione di aggiornamento OTA di AWS Iot Greengrass per implementare il pacchetto del modello sul proprio dispositivo. AWS IoT Greengrass permette di monitorare i dispositivi IoT da remoto, mentre il Gestore Edge di SageMaker aiuta a monitorare e mantenere i modelli di ML sui dispositivi.

AWS offre la massima portata e completezza delle funzionalità per l'esecuzione di modelli su dispositivi edge. Disponiamo di servizi che supportano una vasta gamma di casi d'uso tra cui la visione computerizzata, il riconoscimento vocale e la manutenzione predittiva.

Per le aziende che intendono eseguire la visione computerizzata su dispositivi edge come telecamere e elettrodomestici, è possibile utilizzare AWS Panorama. AWS Panorama offre applicazioni di visione computerizzata pronte all'uso per i dispositivi edge. È facile iniziare con AWS Panorama accedendo alla console cloud, specificando il modello che si desidera utilizzare in Amazon S3 o in SageMaker AI e poi trascrivendo la logica aziendale come script Python. AWS Panorama compila il modello per il dispositivo di destinazione e crea un pacchetto di applicazioni in modo che possa essere distribuito ai propri dispositivi con pochi clic. Inoltre, i produttori di software indipendenti che vogliono creare le proprie applicazioni personalizzate possono utilizzare l'SDK AWS Panorama, mentre i produttori di dispositivi possono utilizzare l'SDK del dispositivo per certificare i propri dispositivi per AWS Panorama.

I clienti che vogliono creare i propri modelli e hanno un controllo più granulare delle caratteristiche del modello, possono utilizzare Gestore di bordo SageMaker. Gestore di bordo SageMaker è un servizio gestito per la preparazione, l'esecuzione, il monitoraggio e l'aggiornamento di modelli di machine learning (ML) in flotte di dispositivi edge come telecamere intelligenti, altoparlanti intelligenti e robot per qualsiasi caso d'uso, come l'elaborazione del linguaggio naturale, l'individuazione delle frodi e la manutenzione predittiva. Il Gestore Edge di SageMaker è concepito per gli sviluppatori edge di machine learning che vogliono avere il controllo del proprio modello e include la progettazione di diverse funzionalità e il monitoraggio dei modelli in caso di deviazione. Qualsiasi sviluppatore edge di machine learning può utilizzare il Gestore Edge di SageMaker AI attraverso la console e le API di SageMaker AI. Il Gestore Edge di SageMaker AI trasferisce le funzionalità di SageMaker AI quali creazione, addestramento e implementazione di modelli nel cloud ai dispositivi edge.

Il Gestore di bordo SageMaker è disponibile in sei regioni: Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Europa (Irlanda), Europa (Francoforte) e Asia Pacifico (Tokyo). Consulta l'elenco dei Servizi regionali AWS per maggiori dettagli.

SageMaker Neo consente di addestrare una sola volta i modelli di ML e di eseguirli ovunque nel cloud e nell'edge. SageMaker Neo ottimizza automaticamente i modelli costruiti con framework comuni di deep learning che possono essere utilizzati per la distribuzione su più piattaforme hardware. I modelli ottimizzati vengono eseguiti fino a 25 volte più velocemente e consumano meno di un decimo delle risorse dei modelli tradizionali di machine learning.

Per iniziare a usare SageMaker Neo, è necessario eseguire l'accesso alla console SageMaker AI, scegliere un modello addestrato, seguire l'esempio per compilare i modelli e implementare il modello risultante nella piattaforma hardware di destinazione.

SageMaker Neo contiene due componenti principali: un compilatore e un runtime. Prima, il compilatore SageMaker Neo legge modelli esportati da diversi framework. Converte quindi le funzioni specifiche del framework e le operazioni in una rappresentazione intermedia indipendente dal framework. Inoltre, esegue una serie di ottimizzazioni. Quindi, il compilatore genera un codice binario per le operazioni ottimizzate e le scrive in una libreria di oggetti condivisa. Il compilatore salva inoltre la definizione del modello e i parametri in file separati. Durante l'esecuzione, il runtime SageMaker Neo carica gli artefatti generati dal compilatore, definizione del modello, parametri e libreria di oggetti condivisa per eseguire il modello.

No. È possibile addestrare i modelli altrove e utilizzare SageMaker Neo per ottimizzarli per le istanze ML di SageMaker o i dispositivi supportati AWS IoT Greengrass.

Al momento, SageMaker Neo supporta i modelli di apprendimento profondo più conosciuti che alimentano le applicazioni di visione artificiale e i modelli di albero decisionale a oggi utilizzati in SageMaker AI. SageMaker Neo ottimizza le prestazioni dei modelli AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet e DenseNet addestrati in MXNet e TensorFlow, e i modelli classificazione e Random Cut Forest addestrati in XGBoost.

È possibile trovare l'elenco delle istanze cloud supportate, dei dispositivi edge e delle versioni del framework nella documentazione relativa a SageMaker Neo.

Per visualizzare l'elenco delle Regioni supportate, consulta l'elenco dei Servizi regionali AWS.

SageMaker HyperPod ora ti consente di distribuire modelli di fondazione full weight da SageMaker JumpStart o i tuoi modelli ottimizzati da Amazon S3 e Amazon FSx in pochi e semplici passaggi. Una volta selezionato un modello, SageMaker HyperPod gestisce automaticamente il provisioning dell'infrastruttura, la configurazione degli endpoint e l’installazione auto scaling, pubblicando contemporaneamente metriche complete sulle prestazioni nella dashboard di osservabilità per il monitoraggio e l'ottimizzazione in tempo reale.

I Savings Plans di SageMaker offrono un modello flessibile di determinazione dei prezzi in base all'uso per SageMaker AI in cambio di un impegno di utilizzo costante (misurato in USD/ore) per un periodo annuale o triennale. I Savings Plans di SageMaker forniscono la massima flessibilità e contribuiscono a ridurre i costi fino al 64%. Questi piani si applicano automaticamente agli usi idonei delle istanze ML di SageMaker, inclusi notebook SageMaker Studio, notebook SageMaker On-Demand, SageMaker Processing, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference e SageMaker Batch Transform, indipendentemente dalla famiglia di istanze, dalla dimensione o dalla regione. Per esempio, si può modificare in qualsiasi momento l'uso da un'istanza CPU ml.c5.xlarge in funzione negli Stati Uniti orientali (Ohio) a un'istanza ml.Inf1 in funzione negli Stati Uniti occidentali (Oregon) per carichi di lavoro di inferenza e continuare automaticamente a pagare il prezzo di Savings Plans.

In caso di uso cospicuo (misurato in USD/ore) delle istanze SageMaker AI e di molteplici componenti di SageMaker AI o se prevedi un cambiamento della configurazione tecnologica (ad esempio famiglia di istanze o Regione) nel corso del tempo, i Savings Plans di SageMaker semplificano l'ottimizzazione dei risparmi offrendo allo stesso tempo la flessibilità di modificare la configurazione tecnologica sottostante in base alle necessità dell'applicazione o alle innovazioni. La tariffa dei Savings Plans si applica automaticamente a tutti gli usi idonei delle istanze ML senza che sia necessaria alcuna modifica manuale.

La differenza tra i Savings Plans per SageMaker AI e i Savings Plans per Amazon EC2 consiste nei servizi inclusi. I Savings Plans di SageMaker si applicano solo all'uso di istanze ML di SageMaker.

Savings Plans può essere acquistato in qualsiasi account all'interno di una famiglia AWS Organizations/Fatturazione consolidata. Per impostazione predefinita, il vantaggio fornito da Savings Plans è applicabile all'uso in tutti gli account di una famiglia AWS Organization/Fatturazione consolidata. Ad ogni modo, è possibile anche scegliere di restringere il vantaggio di Savings Plans al solo account che li ha acquistati.

Sì, con Amazon SageMaker AI si può accelerare il flusso di lavoro per la personalizzazione dei modello.  Inizia rapidamente con un flusso di lavoro (in anteprima) guidato da un agente IA o tramite l'interfaccia (UI) facile da usare. Utilizzando l'agente IA (in anteprima) puoi articolare il tuo caso d'uso in linguaggio naturale. In base alla descrizione dei requisiti del tuo caso d'uso, l'agente IA genera una specifica che include linee guida per i set di dati, criteri di valutazione, metriche associate e anche una tecnica di personalizzazione. L'interfaccia conversazionale consente di iterare e perfezionare ulteriormente le specifiche del caso d'uso, se necessario. Con l'interfaccia utente facile da usare si possono avviare rapidamente esperimenti di personalizzazione dei modelli con pochi clic, iniziando dall'identificazione dei criteri di valutazione del modello, selezionando un modello e una tecnica di personalizzazione e caricando un set di dati. SageMaker AI seleziona e fornisce automaticamente le risorse di calcolo appropriate in base al modello e alle dimensioni dei dati.

Una volta raggiunti gli obiettivi di precisione e prestazioni desiderati si possono distribuire i modelli in produzione con pochi clic tramite gli endpoint SageMaker Inference o Amazon Bedrock. In alternativa, se desideri maggiore controllo e flessibilità, puoi personalizzare i modelli IA con il codice utilizzando ricette ottimizzate. Ogni ricetta viene testata da AWS eliminando settimane di lavoro di routine per provare diverse configurazioni di modelli e ottenere prestazioni all'avanguardia.

SageMaker AI supporta le più recenti tecniche di personalizzazione dei modelli, tra cui la messa a punto supervisionata (SFT), l'ottimizzazione delle preferenze dirette (DPO) e l'apprendimento per rinforzo dal feedback AI (RLAIF) e dalle ricompense verificabili (RLVR).

In SageMaker Studio seleziona la scheda modelli per iniziare con l’interfaccia (UI) facile o con il notebook.

SageMaker AI offre una formazione serverless che elimina la necessità di selezionare e gestire le istanze. Paghi solo i token elaborati durante la formazione. Per maggiori dettagli consulta la pagina dei prezzi di SageMaker AI.

Il flusso di lavoro guidato da agenti IA per la personalizzazione dei modelli in Amazon SageMaker AI è attualmente in anteprima. Puoi richiedere un invito a partecipare all'anteprima. Una volta accettato riceverai un invito all'indirizzo e-mail da te fornito.