CommitGate
Agent / LLMEn coursLa progression résiste-t-elle à un changement de modèle ?
Changer de modèle peut modifier les actions d’un agent sans nécessairement changer le résultat de la tâche. CommitGate étudie les états qui déterminent cette différence et la possibilité de la prévoir sans réexécution complète.
Méthode et évaluation
Méthode de recherche
Étudier des abstractions d’état au-delà des journaux d’actions et comparer des continuations après des substitutions contrôlées de modèles pour caractériser l’équivalence des résultats.
Points à évaluer
Comparer les prédictions à des réexécutions complètes selon les tâches, les points de changement et les paires de modèles ; identifier les cas d’équivalence et d’échec.