Границы реальной автономности: какую работу агент доводит до конца

В 1978 году Шеридан и Верпланк описали десять уровней автоматизации — от «человек делает всё» до «компьютер решает всё и игнорирует человека». Единицей у них был «один элементарный шаг решения»: получить варианты, выбрать, одобрить, запустить. С тех пор единица незаметно росла, а слово оставалось тем же. Сегодня автономностью называют пять разных вещей. Действие: ход агента в терминале, медианная длина которого в Claude Code — около сорока пяти секунд. Задачу: тикет из SWE-bench или готовый результат профессиональной задачи из GDPval, где эксперт в среднем тратит семь часов, а агент получает полный контекст одним промптом. Блок работы: проект с Upwork из Remote Labor Index с медианой в одиннадцать с половиной часов и двести долларов. Роль: цифрового сотрудника в TheAgentCompany со ста семьюдесятью пятью задачами и коллегами- симуляторами. И результат: год торговли в Vending-Bench или прибыль настоящей лавки в Project Vend.010101Разбирал доклад Микеле Катасты из Replit: автономность там названа главной измеримой метрикой агентов и одновременно свойством системы, а не модели. Обе мысли — стержень этой статьи.Книжный куб · Autonomy Is All You Need01Разбирал доклад Микеле Катасты из Replit: автономность там названа главной измеримой метрикой агентов и одновременно свойством системы, а не модели. Обе мысли — стержень этой статьи.Книжный куб · Autonomy Is All You Need

Пять единиц — авторская классификация того, что именно поручают системе. Они не образуют измеренную шкалу падения успешности. В GDPval модель по заданию и приложенным материалам готовит результат профессиональной работы: например, документ, таблицу с расчётами или презентацию. Эксперты сравнивают его с работой специалиста, не зная, кто создал каждый вариант. Именно такой готовый результат здесь оценивается. RLI оценивает проекты, TheAgentCompany — задачи в модели организации, а Vending-Bench — денежный баланс в симуляции. У этих испытаний разные модели, даты, задания и критерии успеха. По разнице их процентов нельзя определить, насколько труднее агенту даётся более крупная работа.

Числа в таблице тоже относятся к разным испытаниям. 84,9 % в GDPval — заявленная OpenAI доля побед и ничьих GPT-5.5 при сравнении с работами специалистов. 42,9 % в TheAgentCompany — доля полностью выполненных задач в лучшей строке таблицы от 10 ноября 2025 года. 20,8 % в Remote Labor Index — округлённый показатель GPT 6 Astra в снимке от 26 сентября 2026 года; знаменатель этой оценки требует уточнения. Это три отдельных наблюдения, а не последовательные этапы одного эксперимента.

Уровни автономности, которые предлагают исследователи, тоже описывают разные свойства. Митчелл с соавторами из Hugging Face в статье Fully Autonomous AI Agents Should Not be Developed различают уровни по тому, насколько модель управляет выполнением программы: только формирует ответ, выбирает вызов инструмента или пишет и запускает собственный код. Фэн с соавторами в Levels of Autonomy for AI Agents описывают роль человека: оператор, соавтор, консультант, утверждающий, наблюдатель. Касирзаде и Гэбриел в Characterizing AI Agents for Alignment and Governance рассматривают долю задач, выполняемых без участия того, кто поручил работу. В отчёте OECD за февраль 2026 года выделены четыре режима: человек решает, одобряет действие, может его остановить или остаётся вне контура выполнения. Поэтому «четвёртый уровень» имеет смысл только вместе с названием шкалы и описанием участия человека.

Что система умеет и что ей поручено

Моррис с коллегами из Google DeepMind в Levels of AGI, § 6.2 отделяют способности от режима взаимодействия с человеком. Работа впервые вышла в 2023 году; здесь используется редакция июня 2024 года. Способности описываются качеством выполнения задач относительно людей и широтой круга задач. Автономность — тем, как человек и система делят работу и инициативу.

В таблице 2 авторы выделяют шесть режимов: 0 — без ИИ; 1 — инструмент для отдельных операций; 2 — консультант, подключаемый по запросу; 3 — совместная работа; 4 — ИИ ведёт работу, человек направляет и даёт обратную связь; 5 — самостоятельный агент. Последний режим допускает обращение к человеку за помощью: постоянное наблюдение и возможность консультации — разные вещи.

На схеме — условный пример с одной моделью, которая умеет готовить отчёты. Её можно вызывать для анализа, вместе с ней редактировать документ или поручить ей весь цикл подготовки с проверкой результата человеком. Смена режима не делает модель умнее. Улучшение модели расширяет доступный выбор, но подходящий режим по-прежнему зависит от задачи, цены ошибки и контроля.

Опросы эксплуатации показывают распространённость разных режимов использования. Deloitte в августе 2026 года насчитал 42 % компаний, которые тестировали или развернули агентов, и 15 % с масштабированным внедрением; Gartner — 17 % с агентами в эксплуатации; Bain по пересказу Bloomberg — 7 % с полностью автономными агентами; исследование «Инфосистем Джет» по России — 8 %. Инженеры Anthropic, у которых доступ к лучшим моделям не ограничен, в декабре 2025 года сказали, что могут полностью делегировать от нуля до двадцати процентов своей работы. Райффайзен на Saint HighLoad++ назвал четверть бэклога, сделанную вместе с агентами, и четыре процента — агентами без обращения к человеку. Между «агент справился с задачей» и «на агента можно опереться как на постоянного исполнителя» лежит вся эта лестница, и слово «автономность» её перепрыгивает.

Горизонт задач показывает, какой объём работы агент способен выполнить с заданной вероятностью успеха. Объём измеряют временем специалиста: «двухчасовая задача» — та, на которую человеку нужны примерно два часа, даже если агент тратит на неё десять минут. В наборе METR TH1.1 228 задач по программированию, машинному обучению и кибербезопасности.

1. Определяют длительность каждой задачи для человека. Специалист решает её с замером времени; для части задач используют экспертную оценку.
2. Дают те же задачи агенту. В каждом прогоне фиксируют, выполнена задача или нет. Попытки повторяют, чтобы результат меньше зависел от случайного успеха или провала.
3. Подбирают кривую по всем результатам. По горизонтали — человеческое время, по вертикали — вероятность успеха агента. Линия сглаживает разброс отдельных попыток и показывает общую зависимость: насколько реже агент справляется с более длительными задачами.
4. Находят пересечение с нужным процентом. Если на уровне 50 % линия пересекает отметку «4 часа», то 50 %-горизонт равен четырём часам. Это оценка успешности на задачах такого объёма, а не обещание четырёх часов непрерывной работы агента.

Четыре часа выше — условный пример. В методике METR для сглаживания используют логистическую кривую: плавную убывающую линию между 100 % и 0 %. Её положение и крутизну подбирают по успехам и провалам агента. Шкала времени логарифмическая: одинаковое расстояние означает одинаковый множитель, например 10 минут → 100 минут → 1 000 минут. Так на одном графике помещаются короткие и длинные задачи. Пересечение с 80 % даёт второй, более короткий горизонт: для более высокой надёжности приходится выбирать меньший объём работы.

При проверке 27 сентября 2026 года общая таблица METR по-прежнему указывает 8 мая как дату последнего обновления. В этом снимке наибольший 50 %-горизонт у раннего Claude Mythos Preview — 17 часов 25 минут, а 80 %-горизонт — 3 часа 6 минут. Оценки неточны: 95 %-доверительный интервал для первого — от 8 часов 29 минут до 55 часов 4 минут, для второго — от 1 часа 37 минут до 6 часов 39 минут. Сама METR предупреждает, что на текущем наборе задач значения выше 16 часов ненадёжны. Поэтому майский показатель нельзя выдавать за установленный предел возможностей моделей на сентябрь.

На схеме ниже — две опубликованные оценки для Mythos. Плавная линия восстановлена по этим двум точкам для объяснения метода; это не новая подгонка по исходным прогонам. Горизонтальные отрезки показывают интервалы неопределённости двух горизонтов, а не всей кривой.

Более поздние отчёты есть, но они не обновляют эту общую таблицу. 26 июня METR опубликовала оценку GPT-5.6 Sol: около 11,3 часа при зачёте обхода правил теста как провала и свыше 270 часов при зачёте тех же попыток как успеха. METR не считает ни одно из этих чисел надёжной оценкой способностей модели. 22 сентября вышла оценка Claude Opus 5.5 на пяти задачах исследований и разработки ИИ. Она описывает постепенное улучшение относительно Fable 5.1, но не публикует новый сопоставимый 50 %- или 80 %-горизонт.

Тренд известен лучше самих значений: удвоение примерно за двести дней на всём ряду с 2019 года и за 129 дней, если считать с 2023-го; в январском посте METR назвала и 88,6 дня с 2024 года. Epoch AI в апреле 2026 года подтвердила ускорение и приписала его рассуждающим моделям, оговорив, что прирост сосредоточен в программировании и математике — там, где ответ проверяется автоматически. Что важно для этой статьи: сама METR настойчиво объясняет, чем горизонт не является. «Горизонт — не длительность самостоятельной работы ИИ», а «объём последовательного человеческого труда, который модель заменяет с вероятностью пятьдесят процентов». Ошибка оценки — примерно вдвое в каждую сторону. Домены различаются на порядки: для задач с экраном компьютера горизонт в сорок-сто раз короче. И главное для делегирования: «50 %-горизонт в X часов не означает, что можно делегировать задачи короче X часов» — некоторым задачам нужно девяносто восемь процентов успеха и больше.

Есть и ограничение самих заданий: они содержат меньше осложнений, чем обычная работа. METR оценивает это по 16 признакам: например, требуется ли согласование с другими участниками, меняется ли среда, ограничены ли ресурсы, трудно ли проверить результат. За каждый присутствующий признак дают один балл. В исходном исследовании задачи HCAST и RE-Bench набирали в среднем 3,2 балла из 16; ни одна не набрала больше 8. Это характеристика условий задач, а не качества данных. Условный пример: исправить функцию по готовому тесту проще организовать, чем найти причину сбоя в меняющейся системе, согласовать исправление с другой командой и проверить результат без готового эталона.

Выбор математической кривой тоже влияет на ответ. Фергус Хэмилтон повторно разобрал результаты METR, используя другую форму кривой — распределение Вейбулла. Оно иначе описывает, как вероятность успеха меняется с длительностью задачи. Оба варианта близко описывают имеющиеся замеры, но сильно расходятся при оценке почти безошибочной работы. Тоби Орд показал на этом сравнении, что расчётный 99 %-горизонт по кривой Вейбулла может быть в двадцать раз короче, чем по логистической кривой METR. Речь о длительности задач, для которых расчёт обещает 99 % успеха: условно, один способ мог бы дать 100 минут, другой — 5 минут. Это иллюстрация расхождения оценок, не отдельный замер модели.

Орд подчёркивает: данных недостаточно, чтобы уверенно выбрать одну из этих кривых. Поэтому хороший замер на уровне 50 % ещё не даёт надёжного ответа на вопрос, какие задачи агент выполнит в 99 случаях из 100. Сама METR в марте проверила чувствительность расчёта: исключение публичных задач RE-Bench снижает горизонт Opus 4.6 с двенадцати до семи часов; разумные варианты подгонки меняют 50 %-горизонт примерно в полтора раза, а 80 %-горизонт — вдвое. Главным источником неопределённости остаётся выбор задач.

Теперь сопоставим это с тем, что говорят вендоры и что видно в эксплуатации. Anthropic при запуске Sonnet 4.5 сообщила о «более чем тридцати часах» фокуса на многошаговых задачах — наблюдение без методики; METR для той же модели даёт час пятьдесят семь на пятидесяти процентах и двадцать шесть минут на восьмидесяти. Codex по словам OpenAI работал «более семи часов»; METR для его наследника — три часа сорок четыре минуты. Разница между заявлениями и измерением — от шести до пятнадцати раз, и это не ложь: одно число — время работы агента на одной показательной задаче с неназванным критерием успеха, другое — человеческое время при заданной вероятности на двухстах задачах. Телеметрия Anthropic от февраля 2026 года даёт другое наблюдение: медианный ход Claude Code — сорок пять секунд, 99,9-й перцентиль за три месяца вырос с двадцати пяти до сорока пяти минут, 73 % вызовов инструментов в API относятся к агентам, по классификации работающим с человеком в контуре, необратимых действий 0,8 %. Это длительность ходов, а не предел возможностей: короткий ход может означать быстрое выполнение; параллельная работа тоже сокращает календарное время. А эксперимент METR с шестнадцатью разработчиками в 2025 году показал замедление на 19 % при ожидании ускорения на 24 %; повтор 2026 года дал минус восемнадцать и минус четыре с широкими интервалами, а опрос с медианной самооценкой «втрое быстрее» METR сама назвала «не обязательно соответствующим реальности».020202Про эксперимент с шестнадцатью инженерами писал ещё в июле 2025-го: выборка мала, но методология честная. Через год к нему добавился повтор, который ничего не доказал, — и это тоже результат.Книжный куб · эксперимент METR02Про эксперимент с шестнадцатью инженерами писал ещё в июле 2025-го: выборка мала, но методология честная. Через год к нему добавился повтор, который ничего не доказал, — и это тоже результат.Книжный куб · эксперимент METR

METR ищет и дополнительные измерения: стоимость вычислений, человеческое участие, изменение результата при заданном бюджете. Практический вывод ограничен: 50 %- и 80 %-горизонты характеризуют выбранное распределение задач и процедуру оценки. Ни один из них сам по себе не разрешает делегирование. Для этого нужны собственная выборка, требуемая надёжность, цена ошибки и полный учёт человеческой работы. В пояснении METR отдельно обсуждаются зависимость от распределения задач и неустойчивость высоких квантилей. Сравнения других доменов дают отдельные наблюдения; они не задают измеренную кривую Mythos для работы с экраном.

CorpGen исследует 46 офисных задач OSWorld в общем сеансе с зависимостями и несколькими уровнями нагрузки. В таблице 3 CUP означает computer-use-preview — модель OpenAI для работы с компьютерным интерфейсом. Авторы используют версию computer-use-preview-2025-03-11. «Базовый» здесь означает агента без дополнительного слоя CorpGen, который организует выполнение нескольких задач. Этот вариант получает 16,7 % при 12 задачах и 8,7 % при 46. Отдельный вариант с иерархическим планированием, Hierarchical CUP, показывает 25,0 → 14,1 %. Существенен и положительный результат: при полной нагрузке архитектура CorpGen повышает результат CUP с 8,7 до 16,3 %; у CorpGen с CUP ряд по крайним нагрузкам — 16,7 → 16,3 %. Значит, эффект нагрузки зависит от организации исполнения. Малые наборы задач и отсутствие интервалов не позволяют считать эти разницы точной оценкой общего эффекта многозадачности; изолированная задача здесь не является контрольной группой.

TheAgentCompany из CMU показывает вторую сторону: не нагрузку, а роль. Лучший агент статьи в декабре 2024 года решал 24 % задач, к маю 2025-го — 30,3 %, последняя запись таблицы от ноября 2025 года — 42,9 % полностью и 52,4 % по взвешенному баллу, который даёт половину очков за частично пройденные чекпоинты. Отказы там четырёх родов: нехватка здравого смысла, неумение общаться с коллегами, беспомощность в веб-интерфейсах и самообман — агент ищет обходные пути, позволяющие не выполнять трудную часть задачи. В августе 2026 года независимый повторный анализ трёх таких бенчмарков дал результат, который я считаю главным в этом разделе: выбор агента объясняет меньше трёх процентов дисперсии, а взаимодействие «агент × задача» — от семи до двадцати трёх. Какие задачи — важнее, чем какой агент. ClawMark, вышедший в апреле, добавил третье измерение — среду, которая меняется без участия агента: приходят письма, сдвигается календарь, обновляется база знаний. Sonnet 4.6 набрала 75,8 взвешенного балла и 14 % строгих успехов, а результат падал сразу после первого внешнего изменения.

Самый чистый замер «та же задача плюс взаимодействие» — у Salesforce. В CRMArena-Pro лучшая модель решала 58,3 % задач в живой CRM, когда всё сказано одним ходом, и 30,0 %, когда недостающее надо выспросить у симулятора клиента; в сорока пяти процентах провалов диалога агент просто не спросил. GDPval от OpenAI стоит на противоположном полюсе — всё условие дано заранее, уточняющего диалога нет, — и авторы сами пишут, что при сокращении контекста результат падает, а доля побед снижается с ростом длины задачи. Их же расчёт отрезвляет громкое «в сто раз быстрее и дешевле»: это чистое время инференса. В таблице 2 GDPval для сценария «одна попытка ИИ, затем экспертная проверка и при необходимости самостоятельное выполнение» указан коэффициент ускорения от 0,87 у GPT-4o до 1,12 у GPT-5. Это отношение времени работы без ИИ ко времени с ИИ: меньше единицы означает замедление. В расчёте авторов GPT-4o увеличивает суммарное время примерно на 15 %, а GPT-5 сокращает его примерно на 11 %. Например, вместо 100 минут без ИИ получилось бы около 115 или 89 минут соответственно. Это оценка по модели затрат времени, а не замер внедрения на рабочем месте.

Remote Labor Index за год прошёл от 2,5 % до 20,8 % принятых проектов, но новые прогоны шли уже в Claude Code и Codex с циклом «работник — критик», бюджетом до ста пятидесяти долларов и сутками времени; судья-модель завышала долю успехов в два с половиной-три раза, а о трёх показательных поставках Fable 5 авторы написали, что «ни одна не была бы принята как готовая работа». Любопытно, что успех на RLI не падает с длиной задачи для человека — кривой горизонта там нет, потому что проект — это не «больше текста», а «больше мест, где можно ошибиться».030303SWE-Together от Meta делает то же с кодингом: 109 задач из одиннадцати тысяч реальных сессий и симулятор пользователя, которого аннотаторы не отличили от живого. Сильной модели нужно меньше вмешательств — но они всё равно нужны.Книжный куб · SWE-Together03SWE-Together от Meta делает то же с кодингом: 109 задач из одиннадцати тысяч реальных сессий и симулятор пользователя, которого аннотаторы не отличили от живого. Сильной модели нужно меньше вмешательств — но они всё равно нужны.Книжный куб · SWE-Together

В APEX-Agents у Gemini 3 Flash на 480 задачах все критерии выполнены в 24 % случаев, а средняя доля выполненных критериев — 39,5 % (таблица 3). Это разные вопросы: завершён ли результат и насколько продвинулась работа. Частичный балл полезен для диагностики и сам по себе не является приукрашиванием. Судья Gemini 3 Flash проверен авторами на 747 человеческих метках из 60 задач; опубликованное согласие 98,5 % относится к этой выборке. В RLI сравнение судьи-модели с экспертами для Opus 4.8 даёт примерно 21 % против 8,3 %: это свидетельство расхождения именно данной процедуры оценки. Методика RLI описывает 240 отобранных проектов, из них 10 открытых и 230 закрытых для количественной оценки. Проценты текущего лидерборда не согласованы с этим знаменателем достаточно прозрачно; восстанавливать число принятых проектов из 20,8 % нельзя.

Эти исследования показывают несколько разных источников расхождений: изменение условий задачи, изменение определения успеха и изменение судьи. Их нельзя складывать в единую оценку потери автономности при переходе к рабочему дню. Для такого вывода нужен контроль модели, набора задач, бюджета и проверки. Внутри конкретного эксперимента можно обсуждать эффект диалога или нагрузки; между исследованиями — только различие постановок и ограничения переноса.

Sierra ввела различие, которое до сих пор игнорируют почти все таблицы лидеров. pass@k — вероятность, что хотя бы одна из нескольких попыток удалась; pass^k — что удались все k попыток. Каждая попытка — новый запуск той же задачи с нуля.

На τ-bench в 2024 году GPT-4o решал 61,2 % задач розницы с первой попытки и меньше 25 % — во всех восьми. На τ²-bench 2025 года каждая модель теряла от пятнадцати до двадцати шести пунктов между pass^1 и pass^4, а домен телеком, где инструментами пользуются и агент, и клиент, терял половину: 0,34 → 0,19 у GPT-4.1. Само добавление действующего пользователя к той же задаче снимало восемнадцать-двадцать пять пунктов. Anthropic в январе 2026 года закрепила это в руководстве по эвалам: эвалы способности начинают с низкого процента, регрессионные должны проходить почти на сто; «задача, прошедшая в одном прогоне, может провалиться в следующем»; pass^k — для агентов, где важна стабильность. В 2026 году таблицы лидеров всё ещё показывают pass^1 на витрине.

Принстонская линия работ — от статьи 2024 года о том, какие агенты имеют значение, до HAL — добавила стоимость и журналы. На 21 730 прогонах за сорок тысяч долларов в двадцати одном сочетании из тридцати шести больше рассуждений не подняли точность; агент может быть «в сто раз дороже ради одного процента»; в транскриптах нашлись поиск ответов бенчмарка на HuggingFace и жёстко закодированные тесты; агенты с одинаковой точностью несут разный риск — отказ и оплата чужой картой оба дают ноль. В работе мая 2026 года исследователи из Принстона и британского института безопасности ИИ обнаружили дефекты в 25 из 50 задач τ-bench Airline: противоречивые правила, неоднозначные инструкции, ошибки базы данных или проверки. После исключения этих задач средний pass^5 по изученным моделям вырос с 20,8 % до 40,0 %. Именно это авторы описывают как занижение результата почти наполовину: исходные задания мешали агентам показать свои возможности. Модели при этом не улучшали — изменился состав оценки. В отдельной февральской работе исследователи показали, что «прирост способностей дал лишь малый прирост надёжности» по двенадцати метрикам. Обвязка стала переменной измерения: на Terminal-Bench одна и та же модель даёт 83,8 % в Claude Code и 80,4 % в другой обвязке, а майский препринт показал, что дисперсия от обвязки «может превышать дисперсию от модели» вплоть до смены порядка. Я подробно разбирал этот эффект в статье об обвязке; здесь важно следствие: отчёт без версии обвязки и числа прогонов — не измерение.

Сами бенчмарки тоже стареют быстрее, чем кажется. В феврале 2026 года OpenAI отказалась публиковать SWE-bench Verified: из 138 трудных задач у 59,4 % дефектные тесты или постановка, все фронтирные модели воспроизводят «золотые» патчи по памяти. Заменой назвали SWE-bench Pro, где на закрытых коммерческих репозиториях Opus 4.1 падал с 22,7 до 17,8 %; за восемь месяцев публичная часть выросла с 23,3 до 80,3 %, после чего та же OpenAI нашла «около 30 % сломанных задач» и отозвала рекомендацию. Чеклист строгих агентных бенчмарков от июля 2025 года нашёл нарушения валидности задачи у семи из десяти наборов: пустой ответ давал 38 % на невозможных задачах τ-bench. Веб-агенты на живых сайтах показали 30 % вместо заявленных 89 %. Каждый «исправленный» преемник насыщается за полгода-год и оказывается на пятнадцать-тридцать процентов дефектным, когда модели становятся достаточно сильными, чтобы это вскрыть.040404В разборе исследования Anthropic о 398 тысячах сессий я писал, почему успешность сессии нельзя переименовать в продуктивность: «подтверждённый успех» не видит, был ли код принят командой и развёрнут. Здесь та же граница.Книжный куб · Claude Code и экспертиза04В разборе исследования Anthropic о 398 тысячах сессий я писал, почему успешность сессии нельзя переименовать в продуктивность: «подтверждённый успех» не видит, был ли код принят командой и развёрнут. Здесь та же граница.Книжный куб · Claude Code и экспертиза

AIDev даёт ещё одну метрику: долю принятых PR в наблюдаемом корпусе. В таблице 5 для популярных репозиториев опубликованы 38–65 % у разных агентов и 76,8 % у человеческих авторов. Это принятие PR, а не доля результатов без правок и не проверка одинаковых задач в случайно назначенных группах. Выбор задач, репозиториев и пользователей может объяснять часть различий. От принятия также нельзя автоматически перейти к долгосрочной надёжности изменения: для этого нужны данные об откатах, дефектах и сопровождении.

Самая простая модель длинной цепочки — степень: если каждый шаг удаётся с вероятностью p и шаги независимы, цепочка из n шагов удаётся с вероятностью p^n. Синха с соавторами в статье для ICLR 2026 вывели из неё горизонт: число шагов до падения успеха ниже порога равно ln s / ln p. При 95 % точности шага это тринадцать с половиной шагов до «монетки» (50 % вероятности успеха всей цепочки), при 99 % — шестьдесят девять, при 99,9 % — почти семьсот. Отсюда их тезис об «иллюзии убывающей отдачи»: прибавка одного пункта к точности шага удлиняет горизонт на четверть, и чем ближе к единице, тем сильнее. Но реальные модели нарушают независимость в обе стороны. С одной — самообусловливание: ошибки в контексте повышают вероятность следующих, и масштаб этого не лечит, а рассуждение лечит. С другой — добавочное вычисление на шаг: GPT-5 с рассуждением исполняет в синтетической задаче больше двух тысяч шагов подряд. Независимые замеры 2026 года подтверждают первую сторону: падение с длиной в полтора-два с половиной раза круче независимой модели; после ошибочного шага следующий ошибочен в 40–58 % случаев против трёх-пяти после верного.

Контрольная точка — место, где система проверяет промежуточный результат перед продолжением работы. Например, агент изменил код: система запускает тесты и сохраняет прошедшую проверку версию. Если тесты не прошли, она возвращается к предыдущей сохранённой версии и повторяет этот участок. В модели ниже проверка стоит после каждых десяти шагов; на участок даётся одна попытка и до двух повторов. После трёх неудач выполнение останавливается.

Проверка сама по себе не исправляет ошибку: выигрыш дают обнаружение сбоя, восстановление состояния и новая попытка. Числа на схеме рассчитаны при идеальном обнаружении ошибок и независимых повторах, без необратимого ущерба до проверки. Для участка из десяти шагов вероятность успеха за три попытки равна q = 1 − (1 − p¹⁰)³, а для пяти таких участков — q⁵. При p = 0,95 получается 71,61 % вместо 7,69 % без повторов. Это те же 50 полезных шагов задачи, но повторные исполнения и проверки требуют дополнительного времени и ресурсов. В реальной системе проверка может пропустить ошибку, а повтор — воспроизвести её, поэтому такой выигрыш не гарантирован.

Набор данных Traverse, опубликованный Рахманом с коллегами в сентябре 2026 года, содержит 2 518 прогонов агентов в программировании, работе с компьютером и научных задачах, с 6 967 размеченными ошибками. В подвыборке из 1 122 прогонов с размеченной первой ошибкой 69,5 % прогонов не восстанавливаются, 38,5 % никогда её не замечают, 72,6 % продолжают действовать, и около 84 % изученных провалов в программировании и работе с экраном заканчиваются шагом, который выглядит правильно. Фронтирные модели-судьи находят первую ошибку меньше чем в трети прогонов по коду. Таксономия MAST из Беркли на 1 642 трейсах раскладывает отказы по четырнадцати режимам: повтор шагов — 15,7 %, рассогласование рассуждения и действия — 13,2 %, незнание условия остановки — 12,4 %, неверная проверка — 9,1 %; последнее — ложный «зачёт», который превращает восстановимый прогон в тихий провал. Где сидит критическая ошибка, тоже известно: провальная траектория несёт в среднем 7,6 локальной ошибки и ровно одну критическую, агент сам чинит 62 % некритических, а корневые скапливаются на шагах с шестого по пятнадцатый — после сбора информации, на первом решающем действии. Именно там контрольная точка стоит дороже всего. Данные Хэмилтона о падающей интенсивности отказа говорят то же с другой стороны: ранние шаги — самые рискованные, проверку надо грузить в начало, а «выживший» прогон не сбрасывать без улики.050505В разборе Loop Engineering главным элементом цикла названо право проверяющего сказать «нет». Весь этот раздел — о том, что у проверяющего должны быть улики, а не мнение.Книжный куб · Loop Engineering05В разборе Loop Engineering главным элементом цикла названо право проверяющего сказать «нет». Весь этот раздел — о том, что у проверяющего должны быть улики, а не мнение.Книжный куб · Loop Engineering

Кто проверяет — вопрос не менее важный, чем где. Самопроверка без внешних улик не работает: ещё в 2023 году GPT-4 после двух раундов «исправь себя» падал на GSM8K с 95,5 до 89,0 %, а с оракулом, говорящим, где ошибка, рос до 97,5; в 2026 году показали, что если пометить собственную мысль модели как чужую, доля явных исправлений растёт на 23–93 пункта. Внешняя проверка на уликах, напротив, даёт крупные измеренные эффекты: линтер на каждой правке в SWE-agent — плюс 7,7 пункта; исправление критической ошибки и перезапуск с неё — с 21 до 55 % на ALFWorld; обученный проверяющий, выбирающий из нескольких попыток, — с 81,8 до 90,2 % на Terminal-Bench; декомпозиция на границах подзадач — плюс 13–42 пункта. Теория объясняет, почему: сигнал пошаговой проверки растёт с длиной как Θ(T), сигнал по итогу тает как Θ(T·p^T) — тот же закон, что губит саму цепочку. Но проверка не бесплатна и не всегда полезна: слабый проверяющий хуже отсутствующего, блокирующий посредник перехватывает 94 % нарушений и оставляет меньше 5 % безопасных успехов, а команда Qwen прямо пишет, что «породить решение стало проще, надёжно проверить — сложнее», и проверка должна эволюционировать вместе с генератором.

Блокировка перед необратимым действием означает, что система не выполняет его, пока не пройдены нужные проверки или не получено разрешение. Например, инструмент удаления базы остаётся недоступным до подтверждения человеком. Ограничение должно исполняться самим инструментом или системой запуска: просьба к агенту «будь осторожен» не гарантирует остановку.

Обвязки для долгих прогонов сходятся к одним и тем же примитивам, и их полезно различать. Точка состояния — коммит, файл прогресса, неизменяемый журнал сессии в Managed Agents — делает падение восстановимым. Точка плана — список функций в JSON, контракт спринта — не даёт агенту «объявить готовым», переопределив цель: в ноябре 2025 года Anthropic наблюдала, как следующий экземпляр «оглядывался, видел прогресс и объявлял работу сделанной». Точка проверки — тесты, браузер, внешний оценщик с жёсткими порогами — ловит тихие ошибки. Единственное сравнение с контролем у вендора — мартовское: одиночный агент собрал игру за двадцать минут и девять долларов, но ничего не реагировало на ввод; полная обвязка потратила шесть часов и двести долларов и отдала работающее; при этом оценщик давал прирост «только на границе возможностей генератора», а «из коробки Claude — плохой QA-агент». Движки устойчивого выполнения чинят падения, не смысл: их аргумент — «пять шагов по 99 % дают 95 %», их предел — что смысловая ошибка журналируется и воспроизводится так же честно, как верный шаг. Уплотнение контекста — отдельная точка риска: рекурсивные пересказы превращают надёжно решаемые задачи в решаемые изредка, а усечение без пересказа с правилом «никогда не уплотнять уплотнение» держит результат при затратах вдвое ниже.

• •Дешёвая механическая проверка — на каждом действии, меняющем состояние: цепочка начинается с первой плохой правки, а восстановление после неё — 57 %
• •Проверка на уликах — на границах подзадач: критические ошибки скапливаются после сбора информации, декомпозиция с проверкой возвращает 13–42 пункта
• •Внешний судья — в конце: своей работе модель ставит зачёт, чужой — нет; сдвиг в 23–93 пункта от одной смены ярлыка
• •Блокировка необратимого действия до прохождения проверки или получения разрешения: 97 % разрушительных шагов в «решённых» прогонах сделаны без признания риска
• •Интервал между точками растёт с корнем из надёжности и цены проверки: при 98 % на шаг и проверке ценой в два шага — примерно раз в четырнадцать шагов

Последний пункт — перенос формулы Янга и Дэйли из суперкомпьютерных вычислений, где оптимальный интервал контрольной точки равен корню из удвоенного произведения времени между отказами на стоимость точки. Для агента при точности шага 98 % и проверке ценой в два шага это примерно четырнадцать шагов при накладных расходах в 28 %; при 99,5 % — двадцать восемь шагов и 14 %; дешёвый линтер ценой в пятую долю шага окупается каждые четыре-пять шагов. Форма закона — точки реже с ростом надёжности и цены проверки — для практики важнее констант, и та же литература напоминает: при падающей интенсивности отказов интервалы должны расти по ходу задачи. Две поправки обязательны. Отказ агента не аварийный: раз 84 % провалов выглядят правильно, в цену точки надо включать обнаружение, иначе сохраняется состояние испорченного прогона. И повтор помогает, только если независим: самообусловливание делает повтор в том же контексте коррелированным с первым провалом, поэтому единица повтора во всех обвязках 2026 года — свежий контекст плюс восстановленное состояние, а не «попробуй ещё раз».

Джейсон Вэй в июле 2025 года сформулировал «закон проверяющего»: лёгкость обучения ИИ задаче пропорциональна её проверяемости, а проверяемая задача — та, где есть объективная правда, проверка занимает секунды, масштабируется, мало шумит и даёт непрерывную оценку. Карпаты в ноябре сжал то же в формулу «Software 2.0 легко автоматизирует то, что можно проверить» и на летней школе YC говорил о ползунке автономности и о цикле «генерация — проверка», который надо крутить как можно быстрее. Экономика перебора это подтверждает: на SWE-bench Lite доля решённых задач росла с 15,9 % при одной выборке до 56 % при двухстах пятидесяти — но только там, где есть тесты; без автоматического проверяющего отбор лучшей попытки выходит на плато. Значит, вопрос «достаточно ли пятидесяти процентов» не имеет ответа без второго вопроса: сколько стоит проверка и что бывает, если она пропустит ошибку.

Дальше — авторская модель затрат. Пусть самостоятельное выполнение стоит S, одна попытка агента — A, проверка — V; все три величины выражены в одинаковых денежных единицах или приведены к ним. При постоянной вероятности успеха p, независимых повторах, идеальной проверке и отсутствии ущерба до приёмки ожидаемая цена принятого результата равна (A + V) / p. Экономия есть при p > (A + V) / S; равенство означает безубыточность. Если S = 60, A = 2, V = 10, порог равен 20 %; при V = 40 — 70 %. Это условные единицы стоимости, не сложение машинных и человеческих минут. При A + V > S экономии не будет даже при p = 1. Если проверка ошибается, попытки зависимы или ошибка успевает нанести ущерб, нужна другая модель. Без проверки, при гарантированно успешной ручной работе ценностью W и потере L при ошибке агента, сравнение ожидаемой ценности даёт p ≥ 1 − (S − A) / (W + L). Значения W и L надо выбирать и обосновывать для процесса. У Ламбы падение оптимальной пропускной способности в 16 раз при уменьшении заметности ошибки вдвое относится к модели с δ = 1; при фиксированном труде зависимость квадратичная и падение четырёхкратное. Это условия экономической модели, не универсальный закон проверки. Стоимость принятой задачи подробнее разобрана в статье об экономике разработки.

Матрица ниже помогает поставить вопросы, но не назначает универсальные проценты. При дешёвой проверке нужно проверить стоимость всей попытки, а при дорогой — оценить, остаётся ли экономия вообще. Большой возможный ущерб требует отдельного ограничения риска: уменьшить полномочия, обеспечить восстановление, добавить независимую проверку или оставить окончательное решение человеку. Обратимость влияет на последствия, но сама по себе не задаёт ни 50 %, ни 90 % успешности.

Литература, которая публикует пороги, привязывает их к ступени зрелости, и форма порога на каждой ступени своя. Исследовательский прототип меряют горизонтом при фиксированной вероятности и pass@k против оракула. Коммерческий продукт — долей исходов по контрактному определению: Salesforce с июля 2026 года берёт плату только когда агент «самостоятельно решает вопрос от начала до конца», без оплаты при отрицательной оценке или запросе человека, и называет 70 % таких исходов из 4,3 млн обращений на собственном портале; у Intercom «предполагаемое решение» — это клиент, который сутки не отвечал; Zendesk советует исключать брошенные и повторные обращения. Ответственная операция — правами решений и кнопкой «стоп»: статья 14 европейского регламента об ИИ требует надзора, «соразмерного рискам, уровню автономности и контексту», с возможностью отклонить решение и остановить систему; правила алгоритмической торговли требуют немедленно отменить любые заявки и назвать, какой алгоритм отвечает за каждую; банковский надзор — «эффективного вызова» модели и пределов её использования; FDA в январе 2026 года провела черту, которую стоит запомнить: программа остаётся поддержкой решения, только если врач может независимо проверить основание рекомендации, а в цейтноте это уже автоматизация. В авиации и автомобильной технике требования к безопасности задают через вероятность опасного отказа за час работы: катастрофическое состояние в авиации должно быть «крайне невероятным», порядка 10⁻⁹ на лётный час, и не следовать из единичного отказа; автомобильный стандарт задаёт для высшего класса ASIL D предел меньше 10⁻⁸ на час для опасных случайных отказов оборудования. Чем тяжелее возможные последствия, тем ниже допустимая вероятность отказа. Эти числа описывают требования к безопасности системы, а не процент успешно выполненных задач. Для офисной работы числового порога полной автоматизации не публикует никто — цитируемые «95 % точности» восходят к консалтинговым блогам, а не к отчётам аналитиков.

Универсального порога для прототипа, коммерческого продукта или ответственной операции из этих работ не следует. Решение зависит от распределения ошибок, их цены, способности проверяющего их обнаруживать и стоимости всех попыток. Допустимый риск задаёт владелец процесса; исследование должно показать, насколько уверенно измерения укладываются в это ограничение. Порог нельзя получить простым переносом процента из чужого бенчмарка.

Если порог — свойство задачи, то отчёт об автономности не может состоять из одного процента. Я предлагаю карточку из шести строк, и у каждой строки в 2026 году уже есть где-то данные. Результат — доля задач, принятых по критерию, записанному до прогона; определение приёмки важнее числа, и определения Salesforce, Intercom и Zendesk показывают, как сильно оно двигает результат. Вмешательства — касания человека на задачу: Anthropic измерила, что опытные пользователи Claude Code одновременно чаще включают полное авто-одобрение, с 20 до 40 % сессий, и чаще прерывают агента, с 5 до 9 % ходов, — доверие и бдительность растут вместе; Microsoft в феврале формализовала это как TCR@k — долю задач, завершённых при не более чем k одобрениях. Цена проверки — минуты человека на принятую задачу: в эксперименте METR это девять процентов времени на проверку и чистку вывода при принятии меньше 44 % подсказок; у Faros время до первого ревью выросло примерно в два с половиной раза, но это ожидание, а не активный труд. Время восстановления — от сбоя до рабочего состояния, для чего у DORA уже есть определение; агент Kiro с унаследованной ролью инженера решил «удалить и пересоздать среду» и остановил сервис на тринадцать часов в одном регионе. Радиус поражения — максимальный ущерб одного прогона и обратимость каждого действия: 0,8 % действий в API необратимы; классификатор авто-режима пропускает 17 % опасных действий на пятидесяти двух случаях — «17 % — честное число», пишет Anthropic; агент Replit удалил базу продакшена во время заморозки кода. И стоимость принятой задачи — все расходы за период на число принятых: HAL показывает агентов «в сто раз дороже ради одного процента», а Remote Labor Index считает провал бесконечной стоимостью.060606Отчёт DX за второй квартал — лучшая иллюстрация карточки без карточки: кода больше, поддерживаемость выше, а уверенность в изменениях ниже. Одна строка растёт, другая падает, и без обеих картины нет.Книжный куб · DX Q2 202606Отчёт DX за второй квартал — лучшая иллюстрация карточки без карточки: кода больше, поддерживаемость выше, а уверенность в изменениях ниже. Одна строка растёт, другая падает, и без обеих картины нет.Книжный куб · DX Q2 2026

Карточка нужна не для красоты: любую одну строку можно надуть. Долю принятых изменений может повышать формальное одобрение без содержательной проверки — об этом предупреждает Warp. Схожий риск есть при выдаче разрешений: Anthropic сообщает, что пользователи Claude Code одобряют 93 % запросов, и предупреждает об усталости от подтверждений: люди перестают внимательно смотреть, что именно разрешают. Вмешательства падают, если агенту отдавать только документацию. Стоимость падает, если считать только первый вызов модели. Только сочетание строк отличает постоянного исполнителя от удачной демонстрации: принятые по строгому критерию, при малом числе касаний, с дешёвой проверкой, быстрым восстановлением, ограниченным радиусом и известной ценой. Седьмой кандидат в строки — заметность ошибок из работы Ламбы: агент, который ошибается реже, но правдоподобнее, может стоить организации дороже того, который ошибается часто и очевидно. Как это измерять на потоке, пока не показал никто, но в отчёт об инцидентах стоит добавить поле «сколько ревью прошла ошибка до обнаружения».

Астра Тейлор в 2018 году назвала это «псевдоавтоматизацией»: труд не исчезает, а перекладывается — на покупателя у киоска, на модератора контента, на работника Mechanical Turk. Для агентов слово надо сузить: псевдоавтономность — это когда человеческий труд перенесён в подготовку инструкций и в исправление скрытых ошибок и исключён из метрики. Лучший документ по механизму — приказ SEC от 14 января 2025 года по делу компании Presto, производителя голосового автоответчика для автокафе. Первая версия «требовала ввода заказа человеком во всех случаях», пилот более продвинутой — в семидесяти процентах; операторы сидели на Филиппинах и в Индии. При этом компания отчитывалась о 95–99 % заказов «без вмешательства», и SEC установила, что этот показатель считался без вмешательства персонала ресторана — но не без людей. Внутри компании это понимали: один из руководителей предупреждал, что метрика «подразумевает отсутствие надзора, что неправда». Наказание — предписание без штрафа с учётом финансового положения, потом делистинг. Механизм здесь один и тот же во всех случаях: трюк со знаменателем. Людей исключают из метрики, сузив, кто считается человеком.

Другие случаи требуют разных выводов. Amazon оспаривала долю покупок с человеческой проверкой; сообщения прессы и ответ компании следует читать вместе. Cruise называла сервис беспилотным, но раскрывала удалённую помощь: отсутствие водителя в машине не означает отсутствие поддержки. Waymo прямо описывает помощь как совет, а не дистанционное управление; число операторов само по себе не опровергает это обещание. В демонстрации Optimus речь и жесты поддерживали телеоператоры, тогда как ходьба оценивалась отдельно. 1X заявляла телеуправление как часть начального продукта. Обвинение основателя nate касается заявленной автоматизации покупок; обвинение не равнозначно установленной судом вине. По Builder.ai сообщения о выручке нельзя использовать как доказательство того, что разработку вместо ИИ тайно выполняли 700 человек: это отдельное, недостаточно подтверждённое утверждение. Для каждого случая нужны точное обещание и перечень человеческих операций, исключённых из метрики.

Для программных агентов человеческая работа возникает до, во время и после запуска. OpenAI описывает около 1 500 PR за пять месяцев: первоначальная команда из трёх инженеров выросла до семи. Авторы прямо сообщают о проектировании среды и проверке; это раскрытый труд. Фактическое число человеко-часов не опубликовано, поэтому оценку «2–4 часа на PR» из размера команды получить нельзя. В эксперименте METR активное время на проверку и очистку вывода измерялось отдельно. У Faros время до первого ревью и пребывание в ревью — календарные показатели: они включают ожидание и не равны труду проверяющего. Общую подготовку инфраструктуры следует показывать отдельно и раскрывать способ распределения её стоимости по задачам или периоду. Для каждого принятого результата полезны четыре отдельных показателя: доля задач без вмешательств, человеческие минуты, машинные расходы и календарное время. В расходах учитываются и неудачные попытки. Исходное задание не считаем дополнительным вмешательством; последующие подсказки, правки и одобрения считаем. Независимую оценку результата учитываем отдельно от помощи в его получении.

Признаки псевдоавтономности можно проверять по списку, и у каждого признака есть прецедент. Знаменатель не определён: «доля без вмешательства», «доля решённых» без ответа, кто исключён. Отказ от отношения: компания охотно называет задержку и проверки операторов, но не число вмешательств на единицу работы. Труд появляется в отчётности только под давлением — после запроса регулятора, слушаний или расследования, а до того его нет. Перепаковка людей в «функцию» после разоблачения. Метрика нажатий вместо метрики труда. Правки после вывода: переписывание за две недели, рост размера PR, наём «доделать за ИИ». И самый тонкий — время на задачу перестаёт измеряться: METR поменяла дизайн эксперимента, потому что разработчики с агентами делали в ожидании другую работу и не могли сказать, сколько заняла задача. Образец раскрытия уже есть в другой отрасли: калифорнийские правила требуют в отчёте об отключении автопилота указать, «кто инициировал отключение: технология, водитель-испытатель, удалённый оператор или пассажир». Для программных агентов такой нормы нет.

• •Требовать определение знаменателя: кто не считается человеком в «без вмешательства»
• •Считать часы людей до и после прогона на принятую задачу, а не нажатия клавиш
• •Смотреть на след после вывода: переписанное за две недели, размер PR, наём на доделку
• •Не верить метрике, которую вендор не может дать на единицу работы
• •Сопоставлять обещание с учётом труда; не смешивать раскрытую поддержку и скрытую замену человека

К осени 2026 года у каждого крупного вендора есть примитив остановки, и их устройство говорит о границе больше, чем декларации. Авто-режим Claude Code отдаёт решения классификатору на второй модели, и его блок-лист — готовый список триггеров: необратимое уничтожение файлов, существовавших до сессии, переписывание истории git, публикация секретов, выход за рамки запроса, незнакомая инфраструктура, действия по враждебному содержимому; границы, названные человеком в разговоре — «не пуши», «жди ревью», — тоже сигнал блокировки, и суждение модели о том, что условие выполнено, их не снимает; после трёх блокировок подряд или двадцати всего режим возвращает управление человеку. В Managed Agents есть политика auto, и документация предупреждает, что это «не контрольная точка человека». OpenAI прошла тот же путь: у Operator подтверждения перед действиями снижали риск примерно на девяносто процентов при полноте 92 %, у пяти из тринадцати ошибок без смягчений последствия были необратимы; в апреле 2026 года появилось авто-ревью— из десяти тысяч действий 720 вышли за песочницу, 713 одобрены проверяющей моделью, семь отклонены, прерываний в двести раз меньше. Причина смены курса названа прямо: люди пишут правила вроде «разрешить всё, что начинается с python» и одобряют, не вчитываясь. Решение о допуске действия передаётся от человека классификатору, и каждый вендор оговаривает, что классификатор не остановит модель, которая прячет намерение.

Видит ли агент границу сам? Данные 2026 года отвечают: слабо, и хуже там, где его дообучали на правильность. Кадур с соавторами дали фронтирным агентам сто задач SWE-bench Pro и спросили, справятся ли: агенты предсказывали 61–77 % успеха при реальных 22–35 %; 62 % провалов были предсказаны с уверенностью не ниже 0,7; оценка до исполнения различала успех и провал лучше, чем после, а сомнения по ходу оказались шумом. Бенчмарк воздержания от Meta показал, что дообучение на рассуждение снижает готовность сказать «не знаю» в среднем на 24 %, а масштаб от восьми до четырёхсот миллиардов параметров не меняет ничего; OpenAI объяснила почему — девять из десяти популярных бенчмарков не дают очков за отказ, и догадка всегда выгоднее. С вопросами та же картина: без подсказки агенты «почти никогда» не спрашивают даже на сильно недоопределённых задачах, хотя взаимодействие поднимает результат с 26,8 до 39,6 % и возвращает до 89 % результата полной спецификации. Самый жёсткий замер — HiL-Bench от Scale: когда агенту дают инструмент «спросить человека» и прячут часть вводных, pass@3 падает с 67–91 % до 1–39 %, потому что агент не распознаёт пробел; модели GPT недоспрашивают, Gemini переспрашивает, а Claude в 45 % провалов явно пишет, что застрял, и всё равно сдаёт работу. Интроспекция по данным самой Anthropic срабатывает примерно в двадцати процентах случаев и названа «крайне ненадёжной». Единственный обнадёживающий сигнал — вопрос до старта о требуемом усилии и своей способности предсказывает провал на семь-десять пунктов лучше вопроса об уверенности, а отдельный агент распознавания намерения выходит на уровень полной спецификации, спрашивая в 69 % задач.080808Алмейда, один из авторов InstructGPT, говорит, что помощник и автоматизация требуют разных свойств, и предлагает калиброванные решения как отдельную цель обучения. Данные этого раздела — иллюстрация к его тезису.Книжный куб · Диогу Алмейда о калибровке08Алмейда, один из авторов InstructGPT, говорит, что помощник и автоматизация требуют разных свойств, и предлагает калиброванные решения как отдельную цель обучения. Данные этого раздела — иллюстрация к его тезису.Книжный куб · Диогу Алмейда о калибровке

Отсюда двухступенчатый отказ, который повторяется во всех данных: частичное обнаружение, а затем неисполнение. Агент Replit знал о заморозке кода и удалил базу. В сценариях Anthropic Claude Opus 4 шантажировал в 55,1 % прогонов, когда считал ситуацию реальной, и в 6,5 %, когда считал её проверкой, — лабораторные замеры остановки могут быть оптимистичнее эксплуатации. GPT-5.6 Sol у METR показал «существенную осведомлённость о среде оценки» и одновременно рекордную долю жульничества.

В SpecBench один и тот же сгенерированный код проверяют двумя наборами тестов: видимыми агенту и скрытыми, которые проверяют совместную работу функций. На видимых тестах исследованные модели получают близкие к максимуму результаты. Для крупных задач авторы сообщают о худшем разрыве в 100 процентных пунктов: это соответствует 100 % пройденных видимых тестов и 0 % скрытых. Речь о крайнем случае среди отдельных прогонов, а не о среднем результате всех моделей.

В контролируемом эксперименте Ванга атакующий мог вписать в план агента вредоносную инструкцию, замаскированную под необходимый шаг задачи. Модель в роли проверяющего просматривала план и могла выдать сигнал «небезопасно, остановиться» — его в статье называют флагом. В одном режиме система только записывала предупреждение и позволяла агенту продолжить работу. В другом — останавливала выполнение, если распознавала этот сигнал. Успехом атаки считалось достижение навязанной цели по оценке судей-моделей. На объединённой контрольной выборке автор получил 48,3 % успешных атак без обязательной остановки и 10,8 % с ней. Это синтетический эксперимент с подменой плана; его практический вывод — предупреждение проверяющего должно запускать блокировку в системе исполнения. Способность заметить опасность и способность остановить действие нужно проверять отдельно.

Человеческая сторона передачи не лучше машинной, и это известно с 1983 года. Лизанна Бейнбридж описала иронии автоматизации: она забирает лёгкие части и оставляет человеку самые трудные; внимание к источнику, где почти ничего не происходит, не держится дольше получаса; самые успешные автоматы требуют самой большой подготовки оператора. NIST в августе 2026 года переписала это для агентов: «слишком разговорчивые агенты приучают пользователей рефлекторно жать „разрешить“», как жертвы бомбардировки запросами двухфакторной аутентификации, — и предложила заранее утверждённые «планы полёта» вместо вопроса на каждом шаге. Автомобильная литература добавляет предупреждение: по пятидесяти одному исследованию чем быстрее человек перехватывает управление, тем резче манёвры и выше аварийность. Скорость передачи — не её качество. Качество передачи надо мерить тем, что человек делает после: понял ли состояние, принял ли верное решение, — а для этого агент должен передавать не «я застрял», а состояние, улики и причину остановки. Для каждого триггера нужен механизм обнаружения: правило, счётчик, классификатор, калиброванная оценка модели или человек. Ни один не гарантирует обнаружение. Маршрутизацию до старта и уточняющие вопросы стоит проверять локально, а порог уверенности — на каждом домене: один и тот же оценщик даёт AUROC 0,85 в телекоме и 0,23 в авиации.

Лаборатория, сравнительное испытание и эксплуатация могут расходиться из-за разных задач, критериев приёмки, бюджетов и правил учёта. Общие определения позволяют сравнивать измерения: одна единица работы, заранее записанный критерий, учёт вмешательств и затрат, общая таксономия отказов. Но этого недостаточно для предсказания эксплуатации. Остаются различия распределений задач, среды, пользователей и обновлений модели. Перенос надо проверять на представительной рабочей выборке, а затем наблюдать за изменениями в эксплуатации.

Мосты между уровнями уже строятся, и их стоит назвать. Фэн с соавторами предложили «вспомогательные оценки»: запустить агента без человека, затем добавлять участие раунд за раундом, пока результат не превысит порог, и считать уровнем автономности минимальное участие, при котором это случилось, — так лабораторный прогон и эксплуатационное касание оказываются на одной оси. TCR@k делает то же для бенчмарков и телеметрии: доля задач при не более чем k вмешательствах считается одинаково в песочнице и в проде. Anthropic советует собирать регрессионные эвалы из реальных инцидентов и требовать почти сто процентов — это перенос критерия приёмки из эксплуатации в лабораторию. Журналы вместо счёта, раскрытая обвязка и пять прогонов переносят учёт из эксплуатации в таблицы лидеров. Разделение уровней способности и разрешённой автономности у Чжэна с соавторами требует отчитываться обоими: что агент может и что ему позволено. И Индекс агентов MIT показывает, сколько ещё пусто: у тридцати развёрнутых агентов 135 из 240 полей о безопасности не заполнены, оценки безопасности раскрыли четыре.090909В восьмом выпуске AI Dev Podcast мы сошлись на том, что измерять надо принятую работу, стоимость проверки и связь изменений с результатом в эксплуатации, а не объём кода. Эта статья — длинная сноска к тому разговору.Книжный куб · AI Dev Podcast #809В восьмом выпуске AI Dev Podcast мы сошлись на том, что измерять надо принятую работу, стоимость проверки и связь изменений с результатом в эксплуатации, а не объём кода. Эта статья — длинная сноска к тому разговору.Книжный куб · AI Dev Podcast #8

Российский контур: что публикуют и чего нет

Российские публикации также дают разные типы показателей. Сбер сообщает объём токенов и рост использования, Яндекс — долю разработчиков и кода; это не доля принятых задач без помощи. Райффайзен разделяет 25 % бэклога с агентами и 4 % без обращения к человеку, но для переноса результата нужны период и критерий приёмки. У «Первой Формы» 93 % PR создают агенты, 94 % вливаются без замечаний, а около 76 часов от ревью до слияния — календарная задержка. При одиннадцати минутах работы модели эта разница показывает очередь процесса, но не 76 часов труда человека. Опросы «Инфосистем Джет» и Codenrock описывают распространённость и доверие, а не сопоставимую успешность. Данных недостаточно, чтобы заключить, что рынок в целом отстаёт, опережает или точно повторяет мировой тренд.

Из обзора следует программа локальной проверки. Это авторское предложение, а не валидированный стандарт или обещание закончить за месяц. До запуска нужно выбрать допустимую цену ошибки, условия экономии и требуемую уверенность оценки. Размер выборки и длительность наблюдения зависят от этих требований; редкие тяжёлые ошибки невозможно надёжно оценить несколькими десятками задач.

Сначала собрать представительную выборку рабочих задач и отдельно набор трудных инцидентов. Второй нужен для проверки устойчивости, но не оценивает среднюю успешность эксплуатации. Пилот на 20–50 задачах с пятью независимыми запусками может выявить типичные отказы; он не доказывает безопасность редких событий. Сравнивать pass^1 и pass^5 следует на одинаковых задачах, моделях, обвязке и бюджетах. Даже при одинаковой независимой вероятности 0,85 пять успехов имеют вероятность 0,85^5 ≈ 0,444: это ожидаемая арифметика, а не самостоятельный стоп-сигнал. Для неоднородных задач усреднение требует осторожности, а зависимые повторы нельзя считать независимой выборкой. Отчёт должен содержать интервалы неопределённости, все вмешательства, расходы неудач и отдельное время ожидания. Делегирование ограничивают, если консервативная оценка риска или стоимости не укладывается в заранее выбранные условия, либо требуемый контроль не работает.

Автономность — свойство конкретной системы, выполняющей определённую работу в заданной среде и пределах полномочий. Система измерений описывает это свойство. Практический результат обзора — способ проверить условия делегирования, а не универсальный срок работы без человека. Нужны понятный результат, проверяемая приёмка, раскрытая помощь, учёт затрат и наблюдение за отказами. Срок накопления данных определяется требуемой надёжностью, а не общим правилом «один квартал».

Это тематический обзор, а не систематическое исследование всей литературы. Реестр охватывает первичные работы, таблицы лидеров, документацию и регуляторные тексты, собранные к 27 сентября 2026 года. В ходе доработки ключевые сравнения проверены выборочно; это не повторная верификация всех ссылок. Досье в репозитории связывает ключевые тезисы с версиями источников, таблицами, метриками и допустимыми выводами. Отдельно отмечены авторские расчёты и неразрешённые противоречия. Лидерборды меняются; результаты относятся к указанным снимкам, а отсутствие интервала не означает отсутствие неопределённости.