L'ottimizzazione avanzata dei prompt di Amazon Bedrock supporta ora la riduzione dei prompt
L'ottimizzazione avanzata dei prompt di Amazon Bedrock supporta ora la riduzione dei prompt, un'impostazione opzionale che riduce la lunghezza del prompt mantenendo o migliorando i punteggi di valutazione. L'ottimizzazione avanzata dei prompt ottimizza i prompt per qualsiasi modello su Amazon Bedrock in base ai propri criteri di valutazione. Finora l'ottimizzazione si concentrava unicamente sulla qualità. I prompt ottimizzati risultavano spesso più lunghi dell'originale. Prompt più lunghi aumentano i costi dei token di input e possono incrementare il tempo di risposta per il primo token, aspetto fondamentale su larga scala e nelle applicazioni sensibili alla latenza.
Quando si attiva la riduzione dei prompt per un modello di prompt nel set di dati di input, l'ottimizzatore ne riduce la lunghezza. Il prompt ottimizzato viene restituito solo se risulta più breve del prompt originale e ottiene un punteggio almeno pari nella valutazione. In caso contrario, viene restituito il prompt originale, garantendo che l'impostazione non generi mai un prompt più lungo o con un punteggio inferiore. I risultati includono il rapporto di compressione nonché il numero di token originali e ottimizzati, sia nel file di output sia nella pagina dei risultati della console. Ad esempio, un rapporto di compressione di 0,7 indica che il prompt ottimizzato utilizza il 30% di token in meno. La riduzione dei prompt funziona con qualsiasi metodo di valutazione, inclusi i criteri di guida, le rubriche LLM-as-a-judge e i valutatori Lambda personalizzati.
La riduzione dei prompt è disponibile in tutte le regioni AWS in cui è presente Advanced Prompt Optimization. Per iniziare, abilita la riduzione dei prompt per un modello di prompt nel set di dati di input e crea un processo di ottimizzazione come di consueto. Per ulteriori informazioni, consulta Riduzione dei prompt nella Guida per l'utente di Amazon Bedrock, la pagina dei prezzi di Amazon Bedrock e la pagina del prodotto Amazon Bedrock.