Thinking Machines: зачем AI-моделям учиться взаимодействовать в реальном времени (Рубрика AI)
Разбирался со статьей Thinking Machines (это компания Миры Муратти, бывшей CTO OpenAI) про interaction models, в которой авторы говорят о том, что сам способ общения с AI становится ограничением. Сейчас обычная схема пошагового взаимодействия выглядит так: человек задал запрос, модель подумала, модель ответила. Даже с голосом, камерой или agent harness, внутри часто та же логика. Thinking Machines называет это collaboration bottleneck. Проблема не только в интеллекте модели, а в узком канале взаимодействия. В реальной работе люди перебивают, уточняют, показывают на объект и постепенно выясняют, что нужно сделать.
И ребята предлагают альтернативный подход - сделать интерактивность частью возможностей модели, а не прикручивать внешней обвязкой. Сейчас real-time системы часто используют VAD, dialog management, ASR/TTS и правила interruption handling. По мнению Thinking Machines, такой harness плохо масштабируется: интеллект растет в модели, а интерактивность остается снаружи (тут они упоминают статью "The Bitter Lesson" Ричарда Саттона, одного из основоположников Reinforcement Learning).
В итоге, они натренировали interaction model, которая воспринимает аудио, видео и текст как непрерывные потоки. Research preview называется TML-Interaction-Small: 276B MoE, около 12B active parameters. Модель обучалась с нуля под real-time interaction. Главный технический прием - time-aligned micro-turns. Вход и выход режутся на куски примерно по 200 мс; в каждый micro-turn попадают аудио, видео, текст и ответ модели. Модель живет в потоке времени, а не ждет полного turn'а.
Архитектура двухслойная. Interaction model рядом с пользователем: слушает, смотрит, отвечает, удерживает контекст. Тяжелую работу - reasoning, tools, browsing, agentic workflow - она делегирует background model. Та работает асинхронно, а interaction model встраивает результат обратно в диалог. Измеряют это отдельно. FD-bench проверяет interruption, backchannel, чужую речь на фоне и turn-taking latency. Audio MultiChallenge смотрит на instruction following в аудио-задачах. Внутренние TimeSpeak и CueSpeak проверяют реакцию в нужный момент. Для visual proactivity адаптируют RepCount-A, ProactiveVideoQA и Charades.
Пока эти interaction models находятся в research preview и не являются массовым продуктом. Thinking Machines пишет, что откроет limited research preview в ближайшие месяцы, а более широкий релиз планирует позже в 2026 году. Дальше они планируют масштабировать модель, улучшать background agents, управлять контекстом в длинных сессиях, повышать надежность при latency и развивать safety для real-time multimodal interfaces. Еще они запустили interactivity research grants: гранты по $100k и $25k Tinker credits для работ про evals, safety, generative UI и steering агентов. В анонсе дедлайн - 19 июня 2026.
P.S. У компании Thinking Machines уже есть продукт в GA, который называется Tinker - это training API для fine-tuning open-source моделей через LoRA. Так что верим, что и interaction models скоро станут доступны в виде публичного продукта:) И тогда мы сможем проверить тезис о том, что следующий важный сдвиг будет не только в reasoning и agents, но и в интерфейсе: модели начнут работать рядом с человеком в общем потоке времени.
#AI #Engineering #Research #Product #Architecture #Software