
Агент над данными: почему одного SQL недостаточно?
Определения метрик, происхождение данных, права доступа — и честное сравнение обвязок на одной модели
Содержание слайдов
1. Агент над данными: почему одного SQL недостаточно?
Определения метрик, происхождение данных, права доступа — и честное сравнение обвязок на одной модели
2. SQL выполнился, а выручка завышена
350 вместо 250: заказ встретил два возврата
3. Смысл метрики не лежит в колонках
Иногда верный шаг — найти определение или спросить владельца
4. От неверной цифры к честному сравнению
Обвязка, сравнения, корпуса, протокол
5. Рабочая обвязка и стенд оценки — разные среды
Первая помогает решить задачу, второй независимо проверяет результат
6. Контекст, смысл, исполнение: что получает агент
Определения метрик, детализация и происхождение данных
7. Проверка, права и след делают результат проверяемым
Право прочитать — ещё не право выгрузить
8. Три способа собрать агента над платформой
Встроенный агент, кодовый агент с инструментами, своя среда
9. Проверяйте путь задачи, а не интеграции
Четыре вопроса от формулировки до принятой таблицы
10. CoCo точнее и почти вчетверо дешевле
73,8 % против 69,6 %; $0,756 против $2,959 за попытку
11. Одна модель — ещё не одинаковые инструменты
CoCo — нативный доступ к метаданным, остальные — стандартный SQL
12. Средний успех выше успеха во всех повторах
73,8 % попыток, но 64,1 % задач во всех трёх повторах
13. Databricks сравнивает системы, а не модель
76,6 % и $0,55 против 72,1 % и $1,09 на 401 задаче
14. Два вопроса требуют двух разных экспериментов
Сравнение продуктов и вклад компонента — разные задачи
15. Одного корпуса на все задачи не хватает
Одиннадцать корпусов: dbt, платежи, уточнения, интерфейсы
16. Для первого сравнения хватит трёх корпусов
data-eng-bench, ADE-bench и 60 открытых задач DataSpace
17. Одна модель — это все её вызовы
Субагенты, сжатие истории, суммаризация и классификация
18. Паспорт запуска состоит из пяти разделов
Модель, среда, бюджет, независимая проверка, повторы
19. Симметричная команда — ещё не симметричный запуск
Что адаптер CoCo делает с параметрами запуска
20. Тридцать задач с повторами — тридцать сценариев
Настройка — на выделенной части, итог — на отложенных задачах
21. Считайте стоимость принятого результата
Дешёвая попытка может оказаться дорогой работой
22. Первый эксперимент начинается с проверки стенда
Стенд, три обвязки, один компонент, свои задачи
23. Числа принадлежат авторам отчётов
Срез источников — 13 ноября 2026 года
24. Просите путь до принятой таблицы
И место, где система нашла ошибку в первой версии ответа