К основному содержимому
Логотип Research Insights Made Simple
Разбор лабораторииResearch Insights Made Simple

Тот же агент, другая обвязка: что покажут прогоны?

Финал серии об обвязках: схема сравнения, первые замеры и что нужно для платного прогона

/ Research Insights Made Simple · Обвязки агентов 25/25 · Наши прогоны

Содержание слайдов

  1. 1. Тот же агент, другая обвязка: что покажут прогоны?

    Финал серии об обвязках: схема сравнения, первые замеры и что нужно для платного прогона

  2. 2. Своих сравнений обвязок пока ноль

    23 записи о прогонах, 3 независимых вердикта, ни одной полной тройки

  3. 3. Сначала схема, потом пустые клетки

    Пять остановок: схема, замеры, гипотезы, прогон и оговорки

  4. 4. Меняем только обвязку

    Задача, спецификация агента, модель и образ закреплены заранее

  5. 5. Код возврата ещё не вердикт

    Запись проходит пять статусов, а оценку ставит независимая проверка

  6. 6. Две когорты, Pi стоит в обеих

    Три обвязки на Sonnet 5.5 и три на GPT-6.1 Sol, две задачи, по три повтора

  7. 7. Запрошенная модель — ещё не подтверждённая

    Личность модели берём из ответа поставщика, а не из настроек обвязки

  8. 8. Девять запусков, три вердикта, один зачёт

    Pi 0.73.1, локальная Qwen3.5-9B и задача T002 на Ryzen AI Max+ 395

  9. 9. Провалы — в фиксации, а не в коде

    Оба агента правили нужные файлы, но не закоммитили изменения до лимита

  10. 10. Девять запусков — шесть групп условий

    Тайм-аут, образ и мост к локальной модели менялись между попытками

  11. 11. Ход у каждой обвязки свой

    Лимит в 30 ходов и 2 доллара по-разному работает в пяти обвязках

  12. 12. 44 доработки, ни одна не подтверждена

    Журнал обвязки записывает каждое добавление и условие его перепроверки

  13. 13. Три гипотезы записаны до прогона

    У каждой есть критерий, который её опровергнет

  14. 14. Первый платный прогон держат четыре условия

    Слот HN-O01: Codex 0.167.0, gpt-6.1-sol, синтетическая задача Harbor

  15. 15. До первого сравнения — 24 доллара цели

    Лестница: один слот, пилоты Harbor, одна когорта на T002, вся кампания

  16. 16. Эти клетки заполнит кампания

    По каждой обвязке: pass^3, цена принятой задачи и новые строки журнала

  17. 17. Даже полная кампания ответит не на всё

    Две задачи, три повтора, две модели и одна дата

  18. 18. Сначала прогон, потом выводы

    Своих сравнений обвязок пока ноль

    Локальные провалы — в завершении работы

    Ход и доллар у обвязок разные

    Первое сравнение — 24 доллара цели

    Пустая клетка значит «не измерено»

    Следующий шаг — разрешение на слот HN-O01