Содержание слайдов

1. 1. Оценки агентов: как понять, что агент справился

   Что считать успехом, кто его проверяет и когда низкий балл означает сломанный тест

2. 2. Claude Code: сначала отзывы, затем оценки

3. 3. Ответ «готово» — ещё не итог

4. 4. Оцениваем модель вместе с её обвязкой

5. 5. Набор, задача, попытка — разные знаменатели

6. 6. Траектория объясняет, итог подтверждает

7. 7. Код, модель и человек проверяют разное

8. 8. Правило подсчёта меняет смысл балла

9. 9. Починить падавшие тесты, не сломав проходившие

10. 10. Диалог оценивают сразу по трём измерениям

11. 11. Ссылка ещё не подтверждает вывод

12. 12. Страница подтверждения — ещё не заказ

13. 13. Один удачный запуск может скрыть нестабильность

14. 14. Рост и регрессии отслеживают в разных наборах

15. 15. Начните с 20–50 задач из реальных сбоев

16. 16. Проверяйте и действие, и воздержание

17. 17. Каждая попытка начинается с чистой среды

18. 18. Судья на каждое измерение, сверенный с экспертами

19. 19. Низкий балл может означать сломанный тест

20. 20. Читайте траектории, прежде чем верить баллу

21. 21. Ни один слой не ловит всех сбоев

22. 22. Оценки превращают «стало хуже» в факты

23. 23. Petri проверяет правдоподобие самой проверки

24. 24. Автономию измеряют и после запуска

25. 25. Проверки пропустили реальные регрессии Claude Code