CommitGate
Agent / LLMIn ArbeitBleibt der Fortschritt nach einem Modellwechsel erhalten?
Ein Modellwechsel kann die nächsten Aktionen eines Agenten ändern, ohne zwangsläufig das Aufgabenergebnis zu verändern. CommitGate untersucht, welche Zustände diesen Unterschied bestimmen und ob sich die Folgen ohne vollständigen Neulauf vorhersagen lassen.
Ansatz und Evaluation
Forschungsansatz
Zustandsabstraktionen jenseits reiner Aktionsprotokolle untersuchen und Fortsetzungen unter kontrollierten Modellwechseln vergleichen, um Ergebnisäquivalenz zwischen Trajektorien zu beschreiben.
Evaluationsschwerpunkte
Vorhersagen über Aufgaben, Wechselzeitpunkte und Modellpaare hinweg mit vollständigen Neuläufen vergleichen und Geltungs- sowie Fehlerbereiche bestimmen.