Fähigkeit
Bewertung
Agentenergebnisse vor der Freigabe an erwarteten Resultaten messen — und im Produktivbetrieb weiter messen.
Bewertung
Die Bewertung in ÆTERION BRAIAN macht Agentenqualität messbar. Testsuiten enthalten repräsentative Fälle mit erwartetem Ergebnis; jede Änderung — neuer Prompt, neues Modell, neues Werkzeug — wird daran bewertet. Freigabe-Gates stoppen Verschlechterungen, und dieselben Prüfungen entnehmen Stichproben aus der Produktion, sodass Qualitätsdrift früh sichtbar wird.
Was wird gemessen?
- Aufgabenerfolg gegenüber einem gekennzeichneten Sollergebnis.
- Treue zu den Quelldokumenten bei Schritten mit Informationsabruf.
- Richtlinientreue: blieb der Lauf innerhalb seiner Rechte und Grenzen.
- Kosten und Latenz pro Lauf, pro Prozess und pro Modellversion.
- Korrekturquote der Menschen: wie oft eine Prüferin die vorgeschlagene Aktion ändert.
Freigabe-Gates
Eine Änderung erreicht die Produktion erst, wenn die Suite Ihre Schwellenwerte erfüllt. Verglichen wird Version gegen Version, sodass sichtbar ist, welche Fälle besser und welche schlechter wurden.
Vom Vorfall zum Testfall
- Erfassen
- Ein falsches Ergebnis aus der Produktion wird mit einer Aktion samt Eingaben in die Suite übernommen.
- Beheben
- Die Änderung wird gegen die gesamte Suite bewertet, nicht nur gegen den fehlgeschlagenen Fall.
- Nachweisen
- Der Freigabeeintrag zeigt, welche Version den Fall gelöst hat und wer die Überführung freigegeben hat.
FAQ
Brauchen wir gekennzeichnete Daten für den Start?
Eine kleine Menge genügt. Meist beginnt man mit zwanzig bis fünfzig echten Fällen pro Prozess und erweitert die Suite aus Produktionsvorfällen.
Wer legt die Schwellenwerte fest?
Die prozessverantwortliche Person. Schwellenwerte sind Richtlinien, pro Prozess gesetzt und wie jede Regel versioniert.
Messen Sie vor der Freigabe
In der Demo bauen wir eine erste Bewertungssuite zu einem Ihrer Prozesse.