Harness на Giga Conf: материалы выступления (Рубрика #AI4SDLC)

Собрал материалы моего доклада на Giga Conf 16 октября — «Harness: прошлое, настоящее и будущее слоя между моделью и миром». Есть запись, слайды и большой лонгрид на эту тему. Про инструменты, память, контекст и проверки я рассказывал много. Здесь собрал их в одну картину вокруг вопроса: что из построенного нами всё ещё нужно после выхода следующей модели?

Моя опора в докладе — метафора words & walls. Есть инструкции, которыми мы компенсируем слабости конкретной модели: как вести план, когда перечитывать файл, как проверять свою работу. Их пользу после обновления модели стоит проверять заново. А есть права доступа, изоляция и запреты на действия — границы, которые должны исполняться кодом при любой модели. Умение хорошо решать задачу само по себе не даёт разрешения на её выполнение.

В докладе разбираю:

🔸 Как менялась обвязка
От цикла в промпте до готовых агентных продуктов и управляемого исполнения. Какие функции переезжают в модель и API, а какие остаются в среде.
🔸 Что мы вообще выбираем
Готовый «комбайн» для работы, отдельного агента или SDK, из которого собираем свою систему. И почему у похожих инструментов могут сильно различаться настройки доступа и исполнения по умолчанию.
🔸 Как доказать пользу компонента
Убрать его в отдельном эксперименте и сравнить результаты на своих задачах. Для этого полезен реестр: какое предположение о модели мы заложили, чем его проверяем и когда пересматриваем.
🔸 Что измерять
Повторяемость успеха и цену принятого результата с учётом проверки и переделок. Один удачный прогон ещё мало говорит о том, как агент будет работать каждый день.
🔸 Куда всё движется
Мои гипотезы про агентов со своей машиной, памятью и идентичностью, а также перенос исполнения и проверки действий к вендору. У каждой ставки есть условие, при котором её придётся пересмотреть.

И важная оговорка: пересматривать стоит именно компенсирующие инструкции. Требования к задаче, критерии готовности и знания о проекте от смены модели никуда не исчезают.

P.S.
Я уже писал про это выступление и обещал сделать расширенный выпуск на эту тему, если там наберется 100 🔥 под постом, пока там их всего 70, но все в ваших руках.

#AI4SDLC #Agents #Engineering #Security #Conference