Capacità
Valutazione
Misurate l'output degli agenti rispetto ai risultati attesi prima del rilascio e continuate a misurarlo mentre il processo gira in produzione.
Valutazione
La valutazione di ÆTERION BRAIAN trasforma la qualità degli agenti in una misura. Le suite di test contengono casi rappresentativi con esito atteso. Ogni modifica candidata — un prompt, un modello, uno strumento — viene misurata su di essi. I gate di rilascio bloccano ciò che peggiora e gli stessi controlli campionano le esecuzioni in produzione.
Che cosa viene misurato?
- Successo del compito rispetto a un esito atteso etichettato.
- Fedeltà ai documenti di origine, per i passi basati su recupero di informazioni.
- Rispetto delle policy: l'esecuzione è rimasta nei permessi e nei limiti previsti.
- Costo e latenza per esecuzione, per processo e per versione del modello.
- Tasso di correzione umana: quante volte chi rivede modifica l'azione proposta.
Gate di rilascio
Una modifica arriva in produzione solo quando la suite supera le soglie stabilite. Il confronto è fra versioni, quindi si vede esattamente quali casi sono migliorati e quali si sono rotti.
Dall'incidente al caso di test
- Cattura
- Un output errato in produzione diventa un caso della suite con una sola azione, insieme ai suoi input.
- Correzione
- La modifica candidata viene misurata sull'intera suite, non solo sul caso fallito.
- Prova
- Il registro di rilascio mostra quale versione ha risolto il caso e chi ha approvato la promozione.
FAQ
Servono dati etichettati per iniziare?
Ne basta un insieme ridotto. Di solito si parte da venti-cinquanta casi reali per processo e la suite cresce con gli incidenti di produzione.
Chi decide le soglie?
Il responsabile del processo. Le soglie sono policy: definite per processo e versionate come ogni altra regola.
Misurate prima di rilasciare
Durante la demo costruiamo una prima suite di valutazione su un vostro processo.