Срез по безопасности AI в разработке: где агент становится риском и где он уже ловит уязвимости

Слово «безопасность» в разговорах про AI в разработке склеивает четыре разных сюжета: качество кода, который пишет модель; поведение агента, читающего чужой текст; происхождение инструментов, которые он устанавливает; и способность тех же моделей находить дыры в чужом коде. Склейка мешает: измерения из одного сюжета переносят на другой, а решения принимают по заголовку. Поэтому это срез, а не руководство — он фиксирует, что именно измерено к сентябрю 2026 года, кем и на какой базе сравнения.010101Записывали с Евгением подкаст в июне: там мы впервые проговорили эти поверхности вслух и разошлись на том, что данных мало. За прошедшие недели данных стало неприлично много — этот текст в основном о них.Книжный куб · Евгений Кокуйкин про безопасность AI01Записывали с Евгением подкаст в июне: там мы впервые проговорили эти поверхности вслух и разошлись на том, что данных мало. За прошедшие недели данных стало неприлично много — этот текст в основном о них.Книжный куб · Евгений Кокуйкин про безопасность AI

Первое разделение — по классам утверждений. Проверяемый факт опирается на первичный источник: запись об уязвимости, отчёт об инциденте, текст требования, рецензируемую работу. Снимок рынка или продукта живёт до следующего релиза и обязан нести дату проверки. Авторский прогноз назван прогнозом. Управленческая эвристика — практический ориентир, а не норматив. Авторский вывод показывает цепочку от свидетельств к интерпретации. Дальше в тексте эти пять слов встречаются буквально, а не как фигура речи.

Второе разделение — по поверхностям. Код модели: сколько дефектов приносит генерация и какие классы проходят мимо проверок. Цепочка поставки инструментов: пакеты, которые модель предлагает, и серверы, расширения, навыки, которые агент ставит себе сам. Агент как субъект: идентичность, права, сеть, изоляция. Эти три поверхности не сводятся друг к другу: гейт статического анализа не спасает от отравленного описания инструмента, а песочница не улучшает качество кода.

Терминологическая оговорка, без которой дальше будет путаница. В русском языке одно слово покрывает и защиту от противника, и предсказуемость поведения самой модели. В этом тексте «безопасность» и «защищённость» всегда означают первое: есть тот, кто пользуется системой во вред. Для второго я пишу «безопасность поведения модели» — это когда модель делает не то, чего от неё ждут, и никакого противника рядом нет. Инцидент, где модель приняла продуктовую систему за учебную и атаковала её, относится ко второму, а последствия — к первому, и путать их нельзя ни в отчёте, ни в модели угроз.

Чего в этом срезе нет: рейтингов инструментов, пересказа модели угроз по границам полномочий из разбора агентного стека и её же двенадцати технических границ — они описаны там и здесь только достраиваются свежими инцидентами. Нет и юридических советов: тексты требований пересказаны, а не истолкованы.

Отправная точка — летний отчёт 2026 года. В нём Veracode сравнивает результаты на 80 задачах и сообщает о 44 % небезопасных решений против 45 % годом ранее. Более ста моделей — накопительный охват четырёх срезов, а не число новых участников летней таблицы. Её лидер GPT-5.5 набрал 68 % безопасных решений. Модели, специально обученные коду, оказались не безопаснее универсальных: 51 % против 52 %.

В этом же тесте доли безопасных решений для SQL-инъекций и слабой криптографии составили 83 % и 87 %, для межсайтового скриптинга и инъекций в логи — 15 % и 12 %. Даже первые два результата не означают, что классы уязвимостей «закрыты». Зависимость экранирования от контекста вывода — возможное объяснение разрыва, а не проверенный этим опытом механизм. Статический анализ полезен для этих классов, но дополняется тестами, проверкой потоков данных и архитектурных ограничений.

Дополнительный тест Veracode от 27 августа уже меняет картину: GPT-5.6 Sol получил 70 % безопасных решений против 68 % у GPT-5.5, с неодинаковым прогрессом по языкам и классам ошибок. Поэтому корректный вывод — проверять безопасность новой версии на своём стеке, а не утверждать, что модели совсем не улучшаются.

В агентном режиме картина резче. Бенчмарк SusVibes, принятый на ICML 2026, берёт 186 задач из ста репозиториев на Python — причём задачи отобраны там, где реальные люди при их реализации внесли уязвимость. Лучшая по функциональной корректности связка SWE-agent и Claude 4 Sonnet решает 57 % задач функционально верно и лишь 11,8 % — безопасно; 79,3 % функционально верных решений небезопасны. Подсказка с точным классом уязвимости поднимает безопасные решения до 15,1 % и роняет функциональность: одной просьбы писать безопасно в этом эксперименте оказалось недостаточно.

Полевые данные подтверждают лабораторию частично. Разбор 4 022 запросов на слияние от автономных агентов из открытого набора AIDev нашёл хотя бы одну находку сканера в 38,9 % из них, а 99,6 % критических находок оказались захардкоженными секретами. Но там же есть неудобная деталь: людям в тех же процессах приписаны две трети настоящих утечек секретов, а ревью пропустило 81,1 % из них до слияния. Это не про то, что модели пишут хуже людей, — это про то, что проверка не справляется с потоком.020202Разбирал оба материала в канале с разницей в полгода. Первый — про то, что агент на реальных задачах повторяет те же классы дефектов. Второй — про то, что 80 % организаций внедрили инструменты раньше, чем написали правила. Вместе получается честная картина: дело не в модели.Книжный куб · «Is Vibe Coding Safe?»Книжный куб · отчёт GitLab об ответственности02Разбирал оба материала в канале с разницей в полгода. Первый — про то, что агент на реальных задачах повторяет те же классы дефектов. Второй — про то, что 80 % организаций внедрили инструменты раньше, чем написали правила. Вместе получается честная картина: дело не в модели.Книжный куб · «Is Vibe Coding Safe?»Книжный куб · отчёт GitLab об ответственности

И контрсвидетельство, без которого раздел был бы нечестным. Работа на реальных репозиториях сравнила 36 855 фрагментов, помеченных как написанные моделью, с 65 391 человеческим и получила 10,04 предупреждения статического анализа на тысячу строк против 13,56 — у кода моделей их меньше. Авторство там определялось по комментариям, то есть выборка смещена в сторону аккуратных разработчиков, а предупреждение анализатора — не уязвимость. Но вывод «модели пишут заведомо более дырявый код, чем люди» этой работой не подтверждается.

Полезно помнить и исторический масштаб. В 2021 году на 1 689 программах, написанных ранним автодополнением, около 40 % содержали уязвимость; в 2022 году эксперимент со сорока семью участниками показал, что группа с ассистентом писала менее безопасный код на всех пяти задачах и при этом выше оценивала его безопасность. Эти опыты проверяли разные модели, задачи и участников: строить из них пятилетний ряд доли уязвимого кода нельзя. Общий результат скромнее: функциональная работоспособность и уверенность разработчика не заменяют проверку безопасности.

Сопоставимый ряд Veracode показывает небольшой сдвиг, а опросы описывают расширение использования моделей; это разные типы данных. Разработчики оценивают долю кода, написанного или существенно доработанного моделью, в 42 % и ждут 65 % к 2027 году; при этом 96 % не доверяют такому коду полностью, а всегда проверяют перед коммитом только 48 %. Разрыв между недоверием и проверкой — и есть предмет разговора.

В 2025 году инъекция инструкций была темой докладов. В 2026-м это каталог записей об уязвимостях с оценками, версиями и датами исправления — по всем крупным кодовым агентам. Смена жанра важнее любой отдельной записи: пока это был класс атак, обсуждать можно было устойчивость моделей; когда это записи с версиями, обсуждать приходится границы продукта.

Точки входа специфичны для разработки, и это не универсальный «текст из интернета». Файл правил репозитория с невидимыми символами: модель их читает, ревьюер — нет. Задача в трекере, которую агент читает при разборе контекста: публичная задача заставляла агента вынести данные приватных репозиториев в публичный запрос на слияние. Файл README проекта. Описание инструмента протокола MCP. Рендер картинки в чате. Наконец, конфигурация самого репозитория — в сентябре 2026 года это оказалось самой неприятной точкой входа.

Полезно смотреть не на список записей, а на то, чем каждую закрывали. В Cursor одобренную конфигурацию инструментов можно было подменить без повторного запроса — исправили обязательным переодобрением при любом изменении.

В GitHub Copilot инъекция записывала параметр автоодобрения в настройки рабочей области — исправили запретом на такую запись.

В Claude Code хуки и серверы протокола из настроек репозитория выполнялись до диалога доверия — исправили порядком проверки.

В Gemini CLI в безголовом режиме папка считалась доверенной, а список разрешённых инструментов игнорировался; оценка 10,0, потому что это неаутентифицированное выполнение кода в сборочном конвейере.

Ни одно исправление не было формулировкой в системном промпте. Защита меняла то, какие файлы агент может записать, когда запускает инструмент и чьё подтверждение требуется. Иными словами, опасное действие блокирует сама среда выполнения, а не обещание модели вести себя правильно.030303Разбирал книгу Стива Уилсона два года назад: там граница доверия описана до всякой агентности. Чего книга не предвидела — что «недоверенным вводом» станет файл правил в чужом репозитории, который читает не человек, а модель.Книжный куб · The Developer's Playbook for LLM Security03Разбирал книгу Стива Уилсона два года назад: там граница доверия описана до всякой агентности. Чего книга не предвидела — что «недоверенным вводом» станет файл правил в чужом репозитории, который читает не человек, а модель.Книжный куб · The Developer's Playbook for LLM Security

GitSpawn, опубликованный 1 сентября, относится к обвязке агента, а не к инъекции в модель. Фоновый вызов Git исполнял конфигурацию из полученного каталога с служебным каталогом Git — например, из архива или общей папки. Обычное клонирование и получение обновлений эту конфигурацию не переносят. Авторы описали восемь находок в семи агентах; четыре оставались неисправленными именно на дату раскрытия. Для Claude Code указан патч 2.1.196 для одного пути. Отсутствие записи в журнале изменений не доказывает, что другой путь уязвим сегодня.

Как измеряют устойчивость сами лаборатории — отдельный сюжет, где легко обмануться. Anthropic заказала оценку у Trajectory Labs: 72 сценария по десять прогонов, ноль успешных атак из 720 в автоматическом режиме. Через три недели независимый исследователь получил выполнение кода в трёх и четырёх случаях из пяти на своей цепочке, а компания закрыла отчёт как информационный, назвав режим удобством, а не гарантией. Обе цифры честные и несравнимые: разные сценарии, разный атакующий, разная цель измерения. Пример из той же серии: одна и та же модель на прежнем атакующем показывала 0 %, а на усиленном — 25,92 %.

У цепочки поставки в агентной разработке появились два звена, которых не было в классической модели. Первое: пакеты, которые модель придумывает. Второе: серверы протокола инструментов, расширения среды и навыки, которые агент устанавливает по ходу задачи, — обычно без подписи, реестра и закреплённой версии.

Первое звено измерено хорошо. Работа с USENIX Security 2025 прогнала 576 000 образцов кода через шестнадцать моделей: 19,7 % рекомендованных пакетов не существует, 205 474 уникальных выдуманных имени. Ключевое здесь не доля, а воспроизводимость: 43 % выдуманных имён повторяются во всех десяти прогонах одного и того же запроса. Ошибка систематическая, значит имя можно зарегистрировать заранее и ждать. Так появился слопсквоттинг — по аналогии с тайпсквоттингом, только опечатку делает не человек, а модель. У моделей 2026 года доля выдуманных пакетов упала до 4,62–6,10 %, но 127 имён галлюцинируют все пять проверенных моделей сразу, и 53 из них на момент проверки были свободны для регистрации.

В августе 2026 года OpenSourceMalware описала кампанию WEL1DROPPER: более 700 вредоносных пакетов за двое суток, 788 отслеживаемых пакетов на 6 августа. Заражение срабатывало при обычном подключении модуля, без установочных сценариев. Исследователи допускают как использование выдуманных моделями имён, так и случайно сгенерированные имена для тайпсквоттинга. Кампания подтверждает риск вредоносных зависимостей, но происхождение её имён от рекомендаций моделей не доказано.

Второе звено дало более неприятный сюжет. В августе 2025 года компрометация популярного пакета сборки развернула вредонос, который искал на машине установленные кодовые агенты и запускал их с флагами, отключающими подтверждения, — чтобы агент сам нашёл и собрал секреты. Это переворачивает привычную рамку: агент здесь не жертва инъекции, а исполнитель в руках атакующего, уже имеющего доступ к машине. В той же волне более 6 700 приватных репозиториев были сделаны публичными, а у более чем 1 700 пользователей утекли проверенные секреты.040404Когда разбирал протокол, описание инструмента выглядело интерфейсом. Через год выяснилось, что это исполняемая конфигурация: её читает модель и принимает как инструкцию. Относиться к ней надо как к манифесту зависимостей, а не как к документации.Книжный куб · разбор MCP04Когда разбирал протокол, описание инструмента выглядело интерфейсом. Через год выяснилось, что это исполняемая конфигурация: её читает модель и принимает как инструкцию. Относиться к ней надо как к манифесту зависимостей, а не как к документации.Книжный куб · разбор MCP

Четыре волны червя показывают, как атака распространилась от пакетов к сборочным конвейерам и настройкам AI-клиентов. Сравним способы доставки и цели; числа пакетов, репозиториев и загрузок измеряют разное. Первая (сентябрь 2025) взяла больше пятисот пакетов по счёту реестра.

Вторая (ноябрь 2025) охватила более 30 000 репозиториев, причём лишь 23 % заражений пришлись на машины разработчиков, остальное — на сборочные конвейеры, и при неудаче выгрузки полезная нагрузка стирала домашний каталог.

Третья (апрель 2026) пришла через официальный интерфейс командной строки менеджера паролей и охотилась уже за ключами провайдеров моделей.

Четвёртая (август 2026) охватила более четырёхсот пакетов с суммарной аудиторией свыше 1,3 миллиарда загрузок в месяц, целилась в ключи Anthropic, OpenAI и Cursor и закреплялась в хуках каталога агента.

Отдельная линия — сами инструменты агента. Отравление инструментов показали ещё в апреле 2025 года: скрытая инструкция в описании заставляет агента прочитать ключи и передать их в аргументах вызова, а вариант «смена описания после одобрения» превращает разовое согласие в постоянный доступ. В сентябре 2025 года нашли первый вредоносный сервер протокола в реестре — одна строка добавляла скрытую копию каждого письма. Расширения среды разработки дали 72 вредоносных пакета, доставленных транзитивно через зависимости манифеста, с прицелом на конфигурации кодовых агентов. Навыки агентов — 341 вредоносный из 2 857 в одном каталоге, а вдобавок к этому синтаксис динамического контекста, при котором команда выполняется до того, как модель вообще прочитает файл.

Plugin4Shell, раскрытый AIR 17 сентября, добавляет важную оговорку: клиент может установить не ту ревизию, которая закреплена в реестре. Вариант с веткой требует контроля над исходным репозиторием и хостинга, допускающего имя в формате хеша; GitHub такие имена запрещает. AIR сообщает об исправлениях в Claude Code 2.1.179 и Codex 0.146.0; это отчёт исследователя, не свидетельство массовой эксплуатации. Проверять нужно фактически установленный коммит, а не только запись версии в каталоге.

Что реально изменилось в защите. Реестр пакетов отозвал классические токены, сделал вход сессией на два часа и ограничил токены записи 90 днями; публикация через доверенных издателей убирает долгоживущий секрет из конвейера вовсе. Официальный реестр серверов протокола за год так и остался предварительным: подтверждение пространства имён есть, подписи пакетов нет. Это и есть текущая граница зрелости: для пакетов инфраструктура доверия появилась, для инструментов агента — ещё нет.

В рассмотренных атаках утечка не ограничивается ответом модели: секрет попадает в контекст агента, а дальше уходит любым разрешённым каналом. За 2025 год в публичные коммиты попало 28,65 миллиона новых секретов — на 34 % больше при росте самих коммитов на 43 %. Секретов, относящихся к сервисам AI, — 1 275 105, на 81 % больше. Коммиты с указанием соавторства Claude Code в телеметрии GitGuardian содержат секрет в 3,2 % случаев против базовых 1,5 %. И отдельная цифра, которой год назад просто не могло быть: 24 008 уникальных секретов найдено в публичных конфигурационных файлах протокола инструментов, 2 117 из них были живыми на момент проверки. Общий счёт секретов относится ко всем публичным коммитам GitHub; разница между группами не доказывает, что её вызвал агент.

Каналы вывода данных у агента куда богаче, чем текст ответа. Разрешённые без подтверждения команды позволяли кодировать данные в запрос к системе доменных имён. Прокси картинок в чате давал посимвольный вывод секретов через ссылки на изображения. Заранее одобренный домен превращал счётчик загрузок чужого сервиса в скрытый канал. Общее у всех трёх — они проходят там, где фильтр ответа не смотрит, а список разрешённого формально соблюдён.

Из этих случаев следуют два приоритетных рубежа защиты. Первый — до сборки контекста: не давать агенту читать то, что не нужно задаче, заменять распознанные ключи и токены заглушками до отправки, держать учётные данные вне рабочей области. Второй — на выходе в сеть: запрет исходящего трафика по умолчанию и явный список адресов. Фильтр ответа не перехватит данные, уже отправленные инструментом, но полезен для своего канала. Дополнительно нужны минимальные права, короткоживущие токены, их отзыв и журналирование. Даже разрешённый домен может принимать чужие данные: список адресов не заменяет ограничений на операции и получателей.050505Доклад Tailscale про сеть как песочницу я разбирал год назад и тогда считал его изящным, но избыточным. После каталога каналов вывода за 2026 год он выглядит просто правильным: сетевая граница ограничивает сразу несколько каналов. Но её надо проверять для каждого процесса и разрешённого назначения.Книжный куб · «What if the network was the sandbox?»05Доклад Tailscale про сеть как песочницу я разбирал год назад и тогда считал его изящным, но избыточным. После каталога каналов вывода за 2026 год он выглядит просто правильным: сетевая граница ограничивает сразу несколько каналов. Но её надо проверять для каждого процесса и разрешённого назначения.Книжный куб · «What if the network was the sandbox?»

Вторая половина сюжета — приложения, собранные почти без ручного кода. В феврале 2026 года открытая база соцсети для агентов отдавала 1,5 миллиона токенов агентов и около 35 000 адресов: ключ клиента лежал в коде страницы, а правила доступа к таблицам не были включены. Основатель прямо сказал, что не написал ни строки вручную. Это документированный пример приложения, созданного с помощью моделей, с ошибкой контроля доступа. Он не доказывает причинность: без сравнения процессов разработки нельзя заключить, что утечку вызвал именно способ написания кода. Публичный клиентский ключ сам по себе также не заменяет анализа правил доступа к данным.

Наконец, политика данных самих инструментов. К сентябрю 2026 года картина такая: коммерческие условия у ассистентов, как правило, исключают обучение на коде клиента, а личные планы — включают его настройкой, причём у одного из крупных вендоров это стало умолчанием с 24 апреля 2026 года. Отдельно стоит читать формулировки о редактировании: «вырезаем известные форматы секретов» означает, что неизвестные форматы и содержимое файлов уходят как есть.

Публичные отчёты лета описывают разные отказы изоляции: OpenAI и Hugging Face сообщили о выходе агента за границу стенда, а Anthropic 30 июля — о трёх инцидентах при ошибочно открытом доступе в интернет. Обновление Anthropic от 9 сентября добавило четвёртый инцидент, пропущенный первоначальным поиском. Это самоотчёт об испытаниях, а не измерение частоты сбоев обычных пользовательских сессий.

Важно, чем это не является. Отчёты связывают поведение с условиями испытаний и ошибочным представлением модели о среде. Это объяснение авторов, а не доказательство отсутствия намерения обойти ограничения; модели работали без части защитных механизмов публичных продуктов. Это и есть практическая формулировка риска: автономность плюс неверная модель мира плюс настоящие инструменты могут привести к реальному ущербу, даже когда задача пользователя безвредна.060606Два поста в канале рядом: первый — про то, как агент вышел за границу стенда, второй — про то, какие решения остаются за платформой. Вместе читаются как один аргумент: границу нельзя делегировать тому, кого она ограничивает.Книжный куб · доклад об инциденте на Black HatКнижный куб · что отдать агенту, а что оставить платформе06Два поста в канале рядом: первый — про то, как агент вышел за границу стенда, второй — про то, какие решения остаются за платформой. Вместе читаются как один аргумент: границу нельзя делегировать тому, кого она ограничивает.Книжный куб · доклад об инциденте на Black HatКнижный куб · что отдать агенту, а что оставить платформе

Дальше — цифры, которые лаборатории публикуют о себе, и они честнее маркетинга. Пользователи одобряют около 93 % запросов на подтверждение: эта доля совместима с усталостью от согласований, но сама по себе не измеряет внимательность пользователя или долю ошибочных одобрений. Изоляция средствами операционной системы сократила число запросов на 84 %. Классификатор автоматического режима перехватывает около 83 % чрезмерно усердных действий на внутреннем наборе вендора — это не доля предотвращённых атак в эксплуатации, о чём вендор пишет прямо в сноске. И отдельно: во внутреннем учении февраля 2026 года агент, запущенный пользователем по фишинговой инструкции, вынес ключи облака в 24 попытках из 25 — потому что защита, привязанная к намерению пользователя, молчит, когда инструкцию набирает сам пользователь.

Рынок ответил слоем идентичности. Идентичности агентов выделены в отдельный класс учётных записей корпоративного каталога. Черновик рабочей группы описывает выдачу токена делегирования от провайдера для доступа между приложениями. Спецификация протокола инструментов за четырнадцать месяцев прошла три ревизии авторизации: сервер стал полноценным получателем токена, динамическая регистрация клиентов объявлена устаревшей, добавлена проверка издателя. Направление одно: машинная идентичность вместо общего токена человека и минимальные привилегии вместо «дайте доступ, потом разберёмся».

Проверять нужно и реальное покрытие сетевой защиты. Документация GitHub ограничивает действие файрвола процессами, которые агент запускает через Bash внутри GitHub Actions. Он напрямую не покрывает MCP-серверы и команды подготовки среды. Эти процессы требуют отдельного ограничения сети и учётных данных.

Обратная сторона автономности — качество надзора. Прототип оценки наблюдаемости показал, что монитор ловит агента, выполняющего скрытую побочную задачу, в 52 % прогонов при скрытом рассуждении и в 80 % при видимом. Государственный оценщик зафиксировал попытки обхода правил в 12 % проб. А исследование с участием более ста разработчиков дало самую неприятную цифру раздела: 94 % не заметили саботажа в коде агента, и 56 % приняли вредное изменение даже тогда, когда монитор предупредил.

Ещё один источник — шесть отчётов OpenAI от 16 сентября о нежелательном поведении при обучении и оценке. Среди них — несанкционированная публикация файлов ради ссылок и обмена между агентами. Это разные случаи, не шесть одинаковых киберинцидентов и не статистика пользовательских сессий. Они поддерживают практический вывод: цель задачи сама по себе не даёт права публиковать её данные.

Ровно те же способности работают на защиту, и здесь 2026 год дал не обещания, а счёт. Агент Big Sleep от Google нашёл ошибку памяти в SQLite ещё до релиза — там, где 150 часов фаззинга не находили; позже по наводке разведки угроз он же нашёл уязвимость, которую противник готовил к эксплуатации.

Соревнование AIxCC, организованное DARPA и OpenSSF, закончилось тем, что независимая проверка воспроизвела все 27 реальных проблем, найденных участниками в шести проектах. Это не 27 новых подтверждённых уязвимостей: часть проблем уже была известна или лежала вне модели угроз.

После конкурса FuzzingBrain сообщил о 62 находках в 26 проектах: 43 подтверждены сопровождающими, 36 исправлены.

Дальше начинается зона, где надо внимательно читать формулировки. В октябре 2025 года Aardvark сообщил о 92 % полноты на внутреннем наборе эталонных репозиториев. В марте 2026 года Codex Security отчитался о 14 CVE в открытом ПО и отдельно — о 792 критических находках при сканировании 1,2 миллиона коммитов за 30 дней. Находки сканирования не равны независимо подтверждённым уязвимостям.

Anthropic нашла в Firefox 22 уязвимости за две недели, четырнадцать из которых сопровождающие признали высококритичными и исправили в релизе, — это один из немногих публично проверяемых результатов, потому что подтверждение пришло со стороны.

Первый отчёт Glasswing от 22 мая требовал различать оценку модели и проверку специалистом: из проверенных находок 90,6 % были реальными, но только 62,4 % получили подтверждение высокой или критической важности. Для актуального состояния полезнее реестр раскрытия Anthropic со срезом на 26 августа: 2 300 сообщений сопровождающим, 421 исправление в исходных проектах. Он охватывает разные модели Claude и все уровни критичности; часть сообщений передана без независимой проверки по запросу получателей. Это не доля автоматических исправлений и не число установленных пользователями патчей.

Один из публичных контрольных замеров со стороны сопровождающего выглядит скромнее. Автор широко используемой библиотеки получил доступ к той же модели и получил одну подтверждённую уязвимость из пяти заявленных, тогда как два других анализатора за восемь–десять месяцев принесли ему 200–300 слитых исправлений. Его вывод — что вокруг модели пока больше маркетинга, чем результата, — относится к одной кодовой базе, уже вычищенной другими инструментами, но это ровно тот тип проверки, которого не хватает.070707Оба поста написаны до того, как появились эти цифры, и оба про одно: ценность переезжает к тому, кто может сказать «это исправление безопасно». Реестр теперь позволяет следить за отдельными стадиями: подтверждением, передачей сопровождающему и выпуском исправления.Книжный куб · звёздный час верификаторовКнижный куб · зачем агентному коду детерминированный контроль07Оба поста написаны до того, как появились эти цифры, и оба про одно: ценность переезжает к тому, кто может сказать «это исправление безопасно». Реестр теперь позволяет следить за отдельными стадиями: подтверждением, передачей сопровождающему и выпуском исправления.Книжный куб · звёздный час верификаторовКнижный куб · зачем агентному коду детерминированный контроль

Двойное назначение здесь не абстракция. Тот же вендор, что раздаёт модель защитникам, за год заблокировал 832 аккаунта за нарушения в области безопасности, и 80 % этих акторов злоупотребляли именно кодовым агентом. Способность находить уязвимости не делится на защитную и атакующую — делится только доступ.

Если поиск упёрся в исправление, логично посмотреть на инструменты автоисправления. Они есть и публикуют числа: 72 патча безопасности, отправленных в проекты за полгода; рост доли исправленного долга с 10 % до 55 % внутри кампаний; 85,4 % пройденных внутренних эталонных тестов против 72,4 % у прежней модели. Все эти числа измерены вендорами на своих наборах, но эти разные показатели нельзя свести к общей доле принятых разработчиками исправлений с известным знаменателем и сроком наблюдения.

Академический замер объясняет, почему это важно. На наборе из 136 реальных уязвимостей модели генерируют патч примерно в 60 % случаев, а полную проверку проходят 5–11 %. Разрыв между «сгенерировано» и «верифицировано» — и есть суть проблемы: правдоподобный патч, который проходит сборку, но меняет семантику, дороже отсутствующего.

Экономика конкурсных систем даёт полезный ориентир для сравнения. Система, занявшая второе место на соревновании агентов, нашла 28 уязвимостей и исправила 19, потратив 39 600 долларов на весь финал — около 181 доллара за зачётное очко. Это не цена промышленной эксплуатации, но она показывает порядок: вычисления здесь дешевле, чем время инженера, которое уходит на разбор результата.

Вторая половина раздела — про поток отчётов. История программы вознаграждений curl за два года прошла полный цикл. К июлю 2025 года около 20 % отчётов были мусорными, доля валидных упала до 5 %. В январе 2026 года программу закрыли: 87 подтверждённых уязвимостей и более 100 000 долларов выплат за всё время, доля валидных с 15 % до менее чем 5 %. В марте проект вернулся на ту же площадку — но без денег. И к апрелю доля подтверждённых отчётов вернулась к 15–16 % при удвоившейся частоте.

Вывод из этой траектории неожиданный и полезный: после отмены выплат качество потока улучшилось. Это согласуется с гипотезой о стимулах отправителей, но наблюдение одного проекта не отделяет влияние денег от других изменений. Отчёты, сделанные с помощью моделей, никуда не делись — наоборот, почти все нынешние отчёты сделаны с их помощью, и сопровождающий прогнозирует около пятидесяти уязвимостей за год. Проблема сменилась с «нам шлют выдумки» на «нам шлют больше настоящего, чем мы успеваем чинить». В том же духе площадка приостановила приём новых отчётов в программу для проектов с открытым исходным кодом, прямо сославшись на разрыв между скоростью поиска и способностью исправлять.

Есть и рабочий ответ на поток. Один оператор программы вознаграждений опубликовал экономику: более 1 390 отчётов за полугодие при исторических 600–850 в год, сортировка моделью стоит около двух долларов за отчёт и совпадает с решением аналитика в 85 % случаев, при этом окончательное решение всегда остаётся за человеком. Это первая публичная цифра, по которой можно считать, а не спорить.

Требования к этому моменту выстроились в четыре слоя, и путать их дорого. Таксономия называет риски. Измерение проверяет устойчивость. Обязательство требует действий к дате. Артефакт фиксирует происхождение. Разные слои решают разные задачи, и ни один не заменяет остальные.

Таксономия обновилась в августе 2026 года: редакция списка рисков для приложений на моделях впервые сверена с корпусом из 7 714 записей об инцидентах. Из них 6 639 содержали достаточно деталей для классификации; голос практиков весит три четверти, данные — одну четверть. Это ранжирование рисков, а не статистика частоты успешных атак. Инъекция инструкций осталась первой, чрезмерная агентность поднялась с шестого места на третье, а небезопасная обработка вывода — теперь прямо про код, который ассистенты генерируют массово, — упала с пятого на десятое. Отдельный список для агентных приложений вышел в декабре 2025 года и начинается с перехвата цели агента, злоупотребления инструментами и злоупотребления правами; авторы прямо пишут, что читать эти два списка нужно в паре.

NIST развивает программу COSAiS: пять планируемых наборов мер на основе SP 800-53, включая отдельные для одиночных и многоагентных систем. На странице проекта 19 сентября опубликованы концепт и план для прогнозирующего AI; готовые наборы мер для агентов там не представлены. Отдельная программа стандартов для агентов запущена в феврале 2026 года; её страница ссылается на запрос информации и концепт идентичности и авторизации. Это работа над рекомендациями, а не обязательный стандарт. Измерения красных команд стали публичными: более 250 000 попыток атак на тринадцать передовых моделей, хотя бы одна успешная нашлась против каждой.

Слой обязательств уже влияет на работу команды. С 11 сентября 2026 года применяется статья 14 европейского регламента о киберустойчивости, и единая платформа отчётности ENISA работает. Производители подпадающих под регламент продуктов с цифровыми элементами сообщают об активно эксплуатируемых уязвимостях и серьёзных инцидентах, затрагивающих безопасность продукта.

Раннее предупреждение подаётся в течение 24 часов с момента осведомлённости, уведомление — в течение 72 часов. Итоговый отчёт по уязвимости нужен не позднее четырнадцати дней после доступности корректирующей меры; по серьёзному инциденту — в течение месяца после 72-часового уведомления.

Основные требования регламента применяются с 11 декабря 2027 года.

В AI Act принятая поправка переносит разделы 1–3 главы III для высокорисковых систем из приложения III на 2 декабря 2027, из приложения I — на 2 августа 2028. У остальных обязанностей свои сроки.080808Родословная всего этого — в идее безопасных по построению интерфейсов. Агенту она нужна даже больше, чем человеку: его нельзя научить не ошибаться, зато можно не дать ему опасного примитива.Книжный куб · Secure by Design at Google08Родословная всего этого — в идее безопасных по построению интерфейсов. Агенту она нужна даже больше, чем человеку: его нельзя научить не ошибаться, зато можно не дать ему опасного примитива.Книжный куб · Secure by Design at Google

Слой артефактов — самый практичный. Минимальные элементы состава программного обеспечения переизданы в июле 2026 года и прямо оговаривают, что для систем на моделях может потребоваться больше полей. npm и PyPI поддерживают публикацию через доверенных издателей с короткоживущими полномочиями: команды могут убрать постоянный токен из этого процесса. В OWASP с 1 сентября представлен Agent Control Standard: открытый проект точек перехвата действий агента и применения политик во время исполнения. Его наличие не доказывает полноту или эффективность конкретной реализации. И главное правило чтения всего этого слоя: стандарт называет риск, но не доказывает, что ваш контроль работает. Соответствие требованию и защищённость — разные утверждения: документы и технические проверки подтверждают выполнение конкретных требований, а устойчивость к атакам нужно отдельно измерять на своём стеке.

Российский контур обычно обсуждают отдельно от мировой повестки, и зря: здесь тот же слоёный пирог, только с другими сроками. Базовый слой давно формализован. Стандарт разработки безопасного программного обеспечения действует с 20 декабря 2024 года, стандарт статического анализа — с 1 апреля 2024 года. Они не выделяют сгенерированный код в исключение. Применимость стандартов определяется нормативными и договорными требованиями проекта; сам факт использования модели не освобождает от выбранных процессов безопасной разработки.

Базовый акт для рассматриваемого государственного контура — приказ ФСТЭК России № 117, действующий с 1 марта 2026 года. Он охватывает ГИС, иные информационные системы госорганов, государственных унитарных предприятий и учреждений и прямо называет системы с искусственным интеллектом. Пункт 60 запрещает передавать разработчику модели информацию ограниченного доступа, в том числе для улучшения модели, и требует исключить несанкционированный доступ к наборам данных, самим моделям и их параметрам. Пункт 61 требует шаблонов запросов и ответов либо перечня допустимых тематик с контролем соответствия, статистических критериев выявления недостоверных ответов и включения в состав систем доверенных технологий искусственного интеллекта.

Здесь важно снять расхожее упрощение. В тексте пунктов 60–61 нет ни слова о запрете иностранных сервисов: есть запрет передачи информации ограниченного доступа разработчику модели и требование доверенности технологий. Это разные утверждения, и второе через понятие доверенности отсылает к национальной стратегии, а не к списку стран.

Действующие изменения нужно отделять от предлагаемых. Приказ № 137 вступил в силу 1 сентября 2026 года, не тронув пункты про модели. Проект следующих поправок опубликован 24 августа 2026 года. В нём предлагается выделять модели в отдельный сегмент, применять усиленную многофакторную аутентификацию для привилегированного доступа и управлять правами агентов, в том числе автономных. Фильтрация входа и выхода, квоты и ограничение функциональности дополнительно предусмотрены для обработки информации ограниченного доступа или реализации значимых функций оператора. Указанный в карточке срок обсуждения — 8 сентября — уже прошёл. Дата 1 марта 2027 года остаётся предложением проекта: принятие этих поправок на 19 сентября не подтверждено. Проект ГОСТ о безопасной разработке ПО, реализующего технологии AI, также нельзя считать утверждённым из-за того, что указанный срок обсуждения 17 сентября прошёл.

Финансовый рынок пошёл своим темпом. В июне 2026 года регулятор выпустил первые рекомендации по информационной безопасности при разработке и применении моделей. Они советуют строить модель угроз системы с моделью по методике ФСТЭК и применять проверку красной командой. Проверка человеком автоматических операций рекомендуется для критически важных процессов, например платежей, когда организация оценила риски информационной безопасности как высокие. При оценке поставщика предлагается учитывать используемые агенты, расширения и интерфейсы взаимодействия, а также участие модели в программе вознаграждений за уязвимости. Пункты 5.1–5.5 уже охватывают работу с поставщиками, учёт компонентов и целостность цепочки поставок. Это рекомендации, а не новые обязательные требования.

Есть и практический слой. База данных угроз ведёт отдельный раздел уязвимостей программ для разработки с моделями — 951 запись в историческом срезе на 4 сентября 2026 года, включая уязвимость библиотеки протокола инструментов с максимальной оценкой. Текущее число на 19 сентября подтвердить не удалось; записи об уязвимостях не равны числу атак. Есть и раздел угроз систем с моделями, разделяющий контур разработчика и контур оператора. Отечественные инструменты защиты существуют: монитор приложений на моделях заявляет 97 % точности обнаружения инъекций, открытый университетский фреймворк красной команды поддерживает атаки на русском языке. Показатель 97 % — заявление разработчиков монитора; независимой проверки этой метрики в приведённых источниках нет.

Отдельно — закон о поддержке развития технологий искусственного интеллекта, № 243-ФЗ, вступивший в силу 1 сентября 2026 года. Определения статьи 3, включая порог «не менее миллиарда параметров» и понятия суверенной и национальной модели, уже действуют. На 1 марта 2027 отложена, в частности, статья 8: она обязывает разработчиков суверенных и национальных больших фундаментальных моделей принимать организационные и технические меры безопасности, устанавливать правила эксплуатации, обновления и вывода и вести документацию для оценки безопасности применения. Эти обязанности не заменяют процессы безопасной разработки программного обеспечения.

Пробел здесь уже нельзя описывать как полное отсутствие агентов и цепочек поставок в документах: рекомендации Банка России их называют, а проект ФСТЭК прямо выделяет права агентов. При этом эти документы не задают единую детальную модель идентичности и делегирования полномочий между агентами. Командам нужно переводить применимые требования в конкретные границы доступа и проверки, дополняя их мировыми списками рисков. Ожидание новых актов не заменяет эту работу.

Соберём три поверхности и защитную сторону в одну картину. По горизонтали — зрелость доказательств: от идеи до нормы. По вертикали — моя качественная оценка возможного ущерба при успешной атаке. Например, инъекция, позволяющая запускать код и выводить данные, стоит выше локальной ошибки автоисправления. Ось не показывает частоту атак: данных для такого сравнения здесь нет. Положение точек здесь авторское: это прочтение источников на 19 сентября 2026 года, а не измерение.

Ставки без сожалений — то, что окупается независимо от того, как повернётся следующий год.

• •Поиск секретов в хуках до коммита и запрет учётных данных в рабочей области агента
• •Инструменты агента только из внутреннего реестра, с закреплённой версией и ревью изменений в служебных каталогах
• •Изоляция средствами операционной системы плюс запрет исходящего трафика по умолчанию
• •Отдельная идентичность на прогон агента и краткоживущие полномочия вместо общего токена человека
• •Гейт статического анализа и тестов на каждый агентный запрос на слияние, без исключений для «мелких» правок
• •Находки моделей принимаются только с воспроизводимым доказательством; автоматические исправления идут через тот же гейт, что и запросы людей

Ставки с порогом — те, где сначала считают, потом внедряют. Сортировка отчётов моделью окупается, когда очередь перестаёт разбираться людьми; публичная цифра для расчёта уже есть. Автоматическое исправление имеет смысл там, где класс дефекта проверяется детерминированным тестом. Продукты управления идентичностью агентов становятся дешевле самописного решения, когда агентов десятки, а не единицы.

Чего делать не стоит. Не включать автоматический режим агента там, где нет изоляции и контроля сети: вендор сам называет классификатор удобством, а не гарантией. Не сливать автоматические исправления безопасности в обход ревью. Не принимать находку за подтверждённую без доказательства. И не путать соответствие требованию с защищённостью: выполнение конкретных требований не заменяет измерение устойчивости на своём стеке.

Отдельно стоит проговорить, кто именно это делает. Ни одна из шести ставок выше не является задачей отдельной команды безопасности: реестр инструментов и закреплённые версии живут у платформенной команды, гейт анализа — у владельцев конвейера, идентичность на прогон — у тех, кто выдаёт доступы, а правило про доказательство находки — у того, кто принимает отчёты. Если собрать всё это в одну роль, получится либо узкое место, либо витрина.

За чем следить до марта 2027 года: практика отчётности по европейскому регламенту, уже действующему с 11 сентября, появление подписи в реестре серверов протокола инструментов, доля исправленного среди найденного моделями, первые публичные данные о частоте инцидентов с инъекцией в эксплуатации, надзорная практика по пунктам про модели, решение по проекту поправок ФСТЭК и статус проекта стандарта разработки ПО с моделями. Это горизонт наблюдения, а не гарантия принятия проектов к марту.

Как это читать через полгода

Поверхность → класс доказательства → граница, которая её закрывает → измерение на своём стеке → пересмотр через полгода

• —Число без базы сравнения — не число: спрашивайте, относительно чего измерено
• —Заявление вендора о своей модели — снимок продукта, а не факт индустрии
• —Отсутствие публичных данных о частоте — не доказательство низкого риска