AI Dev Podcast #7: безопасность, агенты и будущее разработки

Гость выпуска — Евгений Какуйкин: он ведёт в OWASP инициативу по агентным системам и основал стартап, который занимается мониторингом и защитой GenAI-приложений (название в субтитрах не разобрать). Ведущий сразу расширяет рамку: код, архитектуры и пайплайны за последние годы изменились, а безопасность вспоминают последней, когда менять уже поздно. Евгений начинает с того, что удивило его самого: первые настоящие агенты выросли не в поддержке, а в разработке. Чат-боты на сайтах обещали экономию на первой линии, но упёрлись в неточные ответы, этику и риск рассказать про конкурентов, а окупаемость съедали видеокарты, дообучение и цена токенов. К весне 2026 года лучшие системы справляются именно с кодом: в 2022-м можно было попросить сортировку пузырьком, теперь агент переписывает фронтенд с React JS на Vue — пусть и не с первой попытки.

Александр объясняет это через human envelope. Пока рядом человек, который ревьюит ответ, он и есть гарантия, что на выходе не булшит; в автономном сценарии оболочка исчезает и результат нужно чем-то проверять. В разработке для этого уже есть уровни контроля — компилятор, линтер, тесты, — а eval-наборы, которые в других доменах собирают руками, здесь набираются полуавтоматически: гит работает машиной времени. Берём описание бага из трекера, находим коммит, где он воспроизводится, отдаём агенту это начальное состояние, перематываем вперёд, смотрим, какие тесты написал человек, и прогоняем решение агента по ним же. Евгений возвращает разговор к ожиданиям бизнеса: точность 97% — это тридцать ошибок на тысячу случаев, а в связке из двух агентов ошибка накапливается, и заказчик просит вернуть ему живых людей. В разработке, добавляет он, те же цифры терпимы: ошибки видно глазами и их правят. Александр доводит мысль дальше: агенту возвращают фидбэк, что тесты не прошли, и настраивают ретрай, а внешнему клиенту не скажешь «попробуй ещё раз».

Отдельный блок — экономика. Александр говорит, что посчитать её чётко — одна из целей трека в этом году: в косты идут железо, команды поддержки, песочницы для нагрузок, сервинг моделей, LLM-прокси и gateway с аутентификацией и квотированием, платформы вроде RAG. С бенефитами сложнее: «сколько проект может дать денег» — низкая уверенность, «команда стала на 15% быстрее» — средняя, а честный ответ даёт только телеметрия по джобам и сравнение с бейзлайном, которого обычно нет. Про метрики компании отдельно расскажет коллега Аня Громова в своём докладе; сам Александр много ставит на миграции, где сценарий преобразования повторяем, и напоминает, что генерация кода — не самая трудозатратная часть процесса. Евгений добавляет ограничение: токены у лучших моделей субсидированы, реальную цену эксплуатации посчитать пока сложно, а громкие заявления, что задача разработки будет решена к концу года, соседствуют с щедрыми вакансиями для разработчиков.

Дальше — про то, как дешевеет атака. Евгений приносит кейс, вокруг которого сейчас много мифов: модель проанализировала код OpenBSD и нашла уязвимость, прожившую там больше двадцати лет; по публикациям, находка обошлась примерно в 20 000 долларов, но по какой цене токена — субсидированной или нет — неизвестно, и баг мог оказаться нишевым. Александр отвечает, что дело не в деньгах, а в достижимости: специалистов, которые практикуют red teaming, на планете конечное число, и они распределяли фокус по перспективным для себя проектам, а модель расширяет воронку — атаковать можно все важные проекты сразу, а найденные проблемы связывать в цепочки, которые человек комбинаторно не переберёт. Стоимость токенов упала на два порядка за два года; при цене атаки в двести долларов zero-day в самой надёжной системе найдёт «мамкин хакер» с родительской карты. Вывод Александра: выживание — это умение быстро патчиться, и агенты, применяющие изменения, нужны крупным компаниям в горизонте месяцев.

Про governance Евгений говорит прямо: самый цитируемый гайд OWASP — топ-10 уязвимостей больших языковых моделей — вышел в 2024 году и уже устарел, а топ-10 для агентных систем писался на опережение, и часть рекомендаций в нём, например про песочницы, не проверена и дана без деталей. Практическая боль — учётные данные. Раньше это называлось сервисным аккаунтом: права зашиты в кроне, человек уволился, деактивировать нельзя — что-нибудь отвалится; теперь у тысячи программистов по несколько ассистентов, а профильные вендоры заявляют до 500 таких аккаунтов на человека, и проблеме дали маркетинговое имя NHI, non-human identity. Александр описывает текущее состояние: агент спаунится от имени пользователя, поэтому хочется ограничить его скоуп и раздать делегированные токены, встроив всё это в обычный IAM. В мире, где агент сам как сотрудник, такой гранулярности прав ещё нет, и он читает про агентные протоколы IETF, где трассируемость и интент выносят ниже уровня HTTP.

Инциденты 2025 года Евгений разбирает как цепочку поставок. В кодового ассистента Amazon Q, по его словам, летом положили пулреквест, подменивший системный промпт, — с опечаткой, автор лишь демонстрировал возможность. В MCP-сервер для отправки писем Postmark приняли пулреквест, добавивший скрытую копию на адрес злоумышленника: функциональность работала, тесты проходили, письма уходили — просто ещё и не туда. А через скомпрометированную зависимость популярного LLM-гейтвея за три часа, по заявлениям хакерской группы, утекло 300 ГБ учётных данных с машин, которые всего лишь обновили зависимости. Александр подытоживает: экзотические атаки на модель не нужны, базовые инженерные практики в пайплайнах становятся важнее. Евгений достраивает вывод: если кодовый агент деплоит и в dev, и в прод с одной машины, скомпрометированная зависимость утащит и продовые секреты, поэтому среды стоит разделять. В финале — Dark Factory, цех, которому не нужен свет. Переход, считает Александр, будет неравномерным: стартапы рискуют, крупные компании пилотируют на малых проектах, горизонт лабораторных внедрений — до конца года, широких — годы.