Insights AI

Понимание постоянно работающих ИИ-агентов: инфраструктура, проектирование контекста и архитектура систем

Подкаст · Слушать (22 мин)

SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall

Содержание
  1. Четыре эпохи развития ИИ и терминал как узкое место
  2. Системная архитектура: серверное выполнение и изолированные среды виртуальных машин
  3. Субагенты и инженерия контекста: достижение псевдобесконечного контекста
  4. Безопасность, автоматическая проверка и маховик совершенствования моделей
  5. Ограничения систем, архитектурные компромиссы и открытые вопросы
  6. Ключевые числа
  7. Что могло бы изменить эту картину
  8. Список использованных источников

Постоянно работающие, проактивные агенты с сохраняемым состоянием представляют собой структурную смену парадигмы внедрения искусственного интеллекта: проектирование систем переходит от локальных циклов выполнения под наблюдением человека к автономной корпоративной инфраструктуре, работающей в фоновом режиме. Как подробно описано в лекции Lee Robinson в рамках курса CS146S Стэнфордского университета, такие агенты опираются на серверную модель выполнения, отказоустойчивую оркестрацию рабочих процессов, динамические изолированные среды виртуальных машин со снимками состояния на диске, делегирование задач субагентам и непрерывное уплотнение контекста запросов. Отделяя циклы работы агентов от оборудования разработчика и локальных терминальных сеансов, эти архитектуры преодолевают физические ограничения интерактивных оболочек командной строки. Вместо простых инструментов, реагирующих на запросы, постоянно работающие агенты становятся незримо присутствующими цифровыми коллегами, выполняющими многонедельные задачи по разработке программного обеспечения и операционной деятельности в облачных средах.

Четыре эпохи развития ИИ и терминал как узкое место

Взаимодействие разработчиков с искусственным интеллектом прошло через четыре отдельные операционные парадигмы. В первую эпоху разработчики вручную копировали фрагменты кода из веб-интерфейсов, таких как ChatGPT, непосредственно в локальные интегрированные среды разработки. Этот ручной рабочий процесс был крайне фрагментированным, требовал постоянного переключения контекста и переноса результатов модели в файлы кода силами человека.

Во вторую эпоху появились управляющие оболочки на базе терминала. Эти программные обёртки позволяли большой языковой модели [LLM] реактивно взаимодействовать с локальными операционными системами: анализировать деревья файлов, изменять исходные файлы и выполнять команды оболочки в рамках ограниченного цикла выполнения. Хотя терминальные оболочки существенно повысили производительность, предоставив моделям возможность действовать, они по-прежнему были жёстко привязаны к непосредственному запуску человеком и состоянию локального компьютера.

В третью эпоху агенты для программирования перешли в специализированные настольные приложения с пользовательским интерфейсом [UI], способные запускать параллельные экземпляры агентов в облачных средах. Несмотря на перенос вычислений на удалённую инфраструктуру, это поколение столкнулось с серьёзными операционными трудностями: основным узким местом оставался человек-оператор. Разработчики были вынуждены непрерывно отслеживать ход выполнения, вручную проверять и одобрять каждую команду оболочки, чтобы предотвратить непреднамеренное удаление файлов или дестабилизацию системы.

Теперь отрасль вступила в четвёртую эпоху: постоянно работающие агенты с сохраняемым состоянием, незримо действующие в облачной фоновой инфраструктуре. Оснащённые выделенными удалёнными рабочими станциями, структурами постоянной памяти и автономными триггерами планирования, эти агенты работают непрерывно независимо от присутствия разработчика. Устранено основное структурное узкое место оболочек, привязанных к терминалу: закрытие крышки ноутбука или завершение терминального сеанса больше не приводит к внезапной остановке базового процесса агента. Кроме того, оболочки четвёртой эпохи обрабатывают поступающие в реальном времени указания пользователя и сбивчивые уточнения прямо во время выполнения. Если пользователь добавляет инструкции или меняет даты в ходе текущего цикла взаимодействия, современные модели обрабатывают эти изменения без ухудшения контекста или нарушения состояния выполняемой задачи.

Системная архитектура: серверное выполнение и изолированные среды виртуальных машин

Чтобы понять инфраструктуру постоянно работающего агента, его архитектуру можно представить как «цифрового коллегу с удалённым рабочим пространством». В этой модели конечный пользователь взаимодействует через тонкий клиент обмена сообщениями — аналогичный текстовой переписке, — тогда как основная рабочая нагрузка, системная память, зависимости инструментов и операционная среда размещаются в изолированной облачной инфраструктуре.

Конвейер выполнения системы запускается явными запросами или фоновыми событиями. В отличие от традиционных систем, которые активируются исключительно по прямому обращению пользователя, постоянно работающий агент может запускаться фоновыми процедурами планировщика или внешними веб-перехватчиками, например входящими сообщениями Slack, автоматическими электронными письмами или приглашениями в календаре. Важно, что агенты могут автономно присоединяться к виртуальным видео- или аудиовстречам вместо отсутствующих сотрудников, чтобы вести заметки, обобщать обсуждение и фиксировать задачи, требующие действий. Маршрутизатор входящих событий устраняет дублирующиеся сигналы, назначает операционный приоритет и применяет эвристики проактивности, чтобы определить, следует ли агенту немедленно уведомить пользователя или незаметно обработать задачу в фоновом режиме. Высокоприоритетные управляющие указания пользователя немедленно получают преимущество перед очередями фоновой обработки.

В основе этой архитектуры лежит шаблон проектирования «тонкий клиент — толстый сервер». Клиентское приложение содержит минимум операционной логики и предоставляет единственный инструмент программного интерфейса приложения [API] send_user для отображения форматированных результатов с удалённого сервера. Размещение основного цикла агента на центральном сервере, а не внутри локальных приложений, позволяет техническим командам быстро обновлять серверную часть без задержек, связанных с одобрением магазинами приложений, и без простоев сервиса. Кроме того, ресурсоёмкие вычислительные операции, такие как расшифровка аудио или генерация изображений, остаются централизованными в оптимизированной серверной инфраструктуре. Клиентское приложение подписывается на потоки событий сервера в реальном времени, используя логику устранения дубликатов сообщений для отображения интерактивных элементов UI — например, специализированных форм входа, учётных данных 1Password или экранов авторизации финансовых операций — без рассинхронизации состояния.

Безопасность выполнения и изоляция среды обеспечиваются изолированными средами виртуальных машин [VM] Firecracker. Каждый экземпляр агента работает в собственном выделенном контейнере Linux с постоянным файловым хранилищем, виртуальными рабочими столами и браузером Chrome без графического интерфейса. Вместо того чтобы полагаться исключительно на интеграции через API, агенты взаимодействуют с программными системами посредством возможностей управления компьютером. Они анализируют веб-интерфейсы через структурированные деревья доступности операционной системы, чтобы выявлять интерактивные элементы, а при работе с нестандартными интерфейсами переходят к непосредственному визуальному анализу снимков экрана и щелчкам по пиксельным координатам. Для управления аппаратными ограничениями и расходами на размещение виртуальные машины Firecracker динамически сохраняют снимки своего состояния выполнения на диск и переходят в спящий режим при отсутствии активности, мгновенно восстанавливая полное рабочее состояние при получении нового триггера активации.

Устойчивость системы при многонедельной работе зависит от отказоустойчивых платформ рабочих процессов, а не от обычных очередей заданий. Стандартные очереди заданий обрабатывают сбои узлов перезапуском задач с первого шага, что при сложных многошаговых операциях приводит к катастрофическим повторным побочным эффектам. При использовании отказоустойчивых движков рабочих процессов, таких как Temporal, состояние выполнения агента, значения переменных в памяти и операционный контекст непрерывно сохраняются в контрольных точках. Если базовый инфраструктурный узел выходит из строя, отказоустойчивый рабочий процесс возобновляет выполнение точно с места сбоя, не повторяя уже завершённые вызовы инструментов.

Субагенты и инженерия контекста: достижение псевдобесконечного контекста

Основным узким местом, определяющим возможности большой языковой модели на длительных операционных горизонтах, является деградация контекста. По мере заполнения контекстного окна LLM системными инструкциями, схемами инструментов, содержимым прочитанных файлов и журналами выполнения производительность системы ухудшается. Расходы на токены растут нелинейно, задержки увеличиваются, а способность модели сохранять высокое качество рассуждений с учётом исходных инструкций существенно снижается.

Чтобы уменьшить разрастание контекста, современные управляющие оболочки агентов используют динамическое обнаружение инструментов, часто называемое «инструментом поиска инструментов». Вместо загрузки в активное контекстное окно полных схем JSON для десятков интегрированных инструментов — таких как серверы протокола контекста модели [MCP], специализированные комплекты разработки программного обеспечения или API внешних баз данных — основной запрос содержит только названия инструментов верхнего уровня. Подробные спецификации инструментов хранятся в удалённой файловой системе. Агент динамически ищет, читает и загружает конкретные схемы инструментов в рабочую память только при возникновении явной операционной потребности.

Чтобы сохранять высокое качество рассуждений при выполнении сложных задач, основные агенты-оркестраторы делегируют операции с большим расходом токенов специализированным субагентам. Когда задача требует выполнения сотен сценариев оболочки, сбора данных с обширных веб-страниц или создания демонстрационных видео, оркестратор запускает изолированного субагента с новым контекстным окном. Субагент выполняет трудоёмкую подпрограмму в рамках собственного отказоустойчивого рабочего процесса и возвращает в основной поток только краткое, концентрированное резюме в формате разметки. Этот шаблон делегирования создаёт практическую возможность псевдобесконечного контекста, предотвращая исчерпание контекстного окна в основном потоке оркестратора.

Инженерия управляющих оболочек дополнительно повышает эффективность системы благодаря структуре кэширования запросов и фоновому уплотнению контекста. Модели сохраняют статические системные инструкции, динамические индексы обнаружения инструментов и постоянную базовую память в начале массива контекста, чтобы максимально повысить долю попаданий в кэш, предоставляемый API базовых моделей. Для сохранения действительности кэша при изменении системных инструкций или A/B-тестировании оболочки используют детерминированное хеширование разделов, обеспечивая фиксированный, неизменный порядок компонентов системных инструкций. Кроме того, клиентские приложения предварительно прогревают кэш запросов на сервере, как только пользователь переводит фокус в поле чата или начинает вводить текст, устраняя задержку ещё до отправки сообщения.

В периоды затишья, пока кэши запросов модели остаются прогретыми — обычно в пределах окна длительностью от 10 до 60 минут, — система выполняет фоновые процедуры уплотнения с потерями, сжимая журналы предыдущих разговоров в структурированные резюме. Постоянная память организована в три отдельных слоя:

  1. Основные сведения о пользователе: Высокоприоритетные предпочтения пользователя и системные ограничения, включаемые в каждый операционный цикл взаимодействия.
  2. Датированные журналы истории: Хронологические записи прошлых взаимодействий с системой с возможностью поиска, хранящиеся в удалённых файлах разметки.
  3. Временные рабочие заметки: Временная операционная рабочая память, предназначенная для автоматического удаления после завершения задачи.

Безопасность, автоматическая проверка и маховик совершенствования моделей

Внедрение автономных агентов в корпоративной среде создаёт значительные уязвимости безопасности, особенно связанные с усталостью от проверки выполняемых команд и внедрением вредоносных инструкций в запросы. Требование к операторам вручную одобрять сотни быстро поступающих команд оболочки приводит к операционному истощению, делая человеческий надзор неэффективным. Для решения этой проблемы высоконадёжные архитектуры агентов используют вспомогательные защитные модели, известные как системы автоматической проверки.

Защитный механизм автоматической проверки работает как независимый, узкоспециализированный процесс ИИ, который проверяет каждую предлагаемую команду оболочки, запуск сценария и визуальное взаимодействие с рабочим столом до их выполнения. Эмпирические испытания показывают, что автоматизированные вспомогательные модели оценки превосходят уставших операторов в обнаружении вредоносных команд, синтаксических ошибок и отклонений от заданного хода работы. Для высокорисковых необратимых операций — например, отправки внешних электронных писем или выполнения финансовых транзакций через сервисы Stripe Link или X Money — система приостанавливает выполнение и требует явного подтверждения человеком.

Недоверенные внешние входные данные, включая входящие электронные письма, стороннее веб-содержимое и веб-перехватчики, создают серьёзные риски внедрения вредоносных инструкций, если напрямую поступают в основной цикл рассуждений агента. Безопасные системы очищают недоверенные входные данные, пропуская их через промежуточные слои разбора, чтобы вредоносные инструкции не могли подменить исходные указания, вызвать непроверенные системные инструменты или скомпрометировать учётные данные.

Надёжность системы непрерывно повышается благодаря двухконтурному инженерному маховику. Когда агент не справляется с задачей, последовательность действий, приведшая к сбою, заносится в автоматизированный набор оценочных тестов. В быстром внутреннем контуре системные инженеры немедленно обновляют инструкции управляющей оболочки, совершенствуют динамические инструменты или корректируют системные инструкции, используя набор оценочных тестов для проверки исправления. В медленном внешнем контуре накопленные данные о сбоях и успешные последовательности действий объединяются в наборы данных для дообучения. Базовые фундаментальные модели проходят дообучение с учителем [SFT] и обучение с подкреплением [RL] в рамках циклов выпуска продолжительностью от 1 до 6 месяцев, чтобы улучшить встроенные способности следовать инструкциям, выбирать инструменты и визуально ориентироваться на рабочем столе.

Инженерные команды, создающие такие архитектуры, придерживаются основного операционного принципа: «удалите продукт». Сложные специализированные абстракции пользовательского интерфейса, создаваемые сегодня, должны оставаться минимальными, поскольку стремительные скачки возможностей базовых моделей на горизонтах от 6 до 12 месяцев систематически позволяют решать сложные проблемы управляющих оболочек встроенными средствами самих моделей.

Ограничения систем, архитектурные компромиссы и открытые вопросы

Несмотря на быстрое развитие инфраструктуры, архитектуры постоянно работающих агентов сталкиваются с нерешенными техническими компромиссами в области проактивности и управления уведомлениями. Работа цифрового коллеги, постоянно присутствующего в фоне, требует детально настроенных эвристик, позволяющих определить, когда агенту следует выполнять задачи незаметно, а когда — прерывать пользователя сообщениями о ходе работы. Чрезмерно агрессивная проактивность приводит к усталости от уведомлений и раздражению пользователей, тогда как чрезмерно осторожная проактивность превращает систему в обычный инструмент, реагирующий только на запросы. Определение оптимальных порогов оповещения остается нерешенной задачей при внедрении в корпоративной среде.

Еще одна проблема — парадокс оценки на длительном временном горизонте. Оценивать агента, предназначенного для непрерывной работы в течение нескольких недель, по своей природе сложно, когда базовые языковые модели обновляются до новых версий или полностью заменяются с периодичностью от 30 до 90 дней. Проведение сравнительных оценок в автономном режиме на траекториях выполнения задач продолжительностью в месяц становится непрактичным, если лежащие в основе системы базовые модели обновляются или выводятся из эксплуатации до завершения оценочного прогона, что затрудняет отслеживание базовых показателей эффективности.

Наконец, обобщение контекста приводит к неизбежной потере информации. Поскольку все алгоритмы уплотнения основаны на сжатии с потерями, сведение сотен тысяч токенов подробных журналов событий, вывода терминала и содержимого файлов к кратким сводкам в формате разметки создает риск безвозвратной утраты малозаметных деталей, связанных с пограничными случаями. Если долго работающему агенту требуются точные рабочие параметры, установленные несколькими неделями ранее, уплотнение с потерями может привести к незаметному сбою задачи или галлюцинациям контекста на поздних этапах выполнения.

Устранение этих компромиссов требует баланса между затратами на потребление токенов и точностью рассуждений, оптимизации задержки при выводе модели и установления надежных границ безопасности для взаимодействия нескольких агентов на платформах «программное обеспечение как услуга» [SaaS].

Ключевые числа

  • 200,000 токенов: Стандартный ориентир размера контекстного окна рабочей памяти современных больших языковых моделей, обозначающий масштаб, при котором агрессивные алгоритмы уплотнения контекста становятся обязательными.
  • От 6 до 12 месяцев: Период эксплуатации, за который скачки возможностей базовых моделей делают устаревшими сложную специализированную логику обвязки, промежуточные абстракции и специализированные оболочки пользовательского интерфейса.
  • От 10 до 60 минут: Типичная продолжительность сохранения кешей запросов в активном состоянии поставщиками базовых моделей, определяющая оптимальное окно для экономически эффективного фонового уплотнения контекста.
  • От часов/дней до нескольких недель/месяцев: Структурный сдвиг целевых горизонтов выполнения — от коротких интерактивных сеансов в терминале к автономным фоновым рабочим процессам с длительным горизонтом.

Что могло бы изменить эту картину

  1. Переход от уплотнения с потерями к архитектурам памяти на основе графов: Широкий переход отрасли от стандартного обобщения контекста в формате разметки к графам знаний без потерь существенно улучшил бы долговременное воспроизведение информации и точность контекста при выполнении задач в течение нескольких месяцев.
  2. Стандартизация эталонных тестов для оценки агентов на длительном горизонте: Разработка прогностических систем оценки в автономном режиме со сжатием временного масштаба позволила бы инженерным командам точно оценивать многонедельные рабочие процессы агентов за часы, не дожидаясь завершения циклов выполнения в реальном времени.
  3. Широкое корпоративное внедрение использования компьютера без пользовательского интерфейса: Повсеместное внедрение прямой визуальной навигации посредством деревьев доступности и взаимодействия на уровне пикселей в корпоративном программном обеспечении позволило бы отказаться от традиционных интеграций через API и специализированных реализаций Model Context Protocol.
  4. Встроенная интеграция голоса и речи на аппаратном уровне: Распространение постоянно доступных голосовых устройств с низкой задержкой, адаптированных для обработки речи в реальном времени, перенесло бы основное управление агентами из облегченных клиентов текстового обмена сообщениями в непрерывные циклы аудиовзаимодействия.

Чтобы глубже изучить инфраструктуру непрерывно работающих автономных агентов и оценить современные реализации обвязки моделей, посетите исследовательские ресурсы с открытым исходным кодом на сайте DeepValues Research или опробуйте платформу непосредственно в приложении DeepValues.

Список использованных источников

Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.

Смотреть

Ссылки на источники

Смотреть и слушать

Текст исследования: CC BY 4.0, для цитирования: DeepValues Research, Понимание постоянно работающих ИИ-агентов: инфраструктура, проектирование контекста и архитектура систем, https://research.deepvalues.ai/insights/2026-10-31-building-always-on-ai-agents-ru/

Бесплатное письмо в неделю

Margin of Safety Weekly

Каждую субботу: температура рынка, покупки и продажи великих инвесторов (отчётность 13F), новые исследования за неделю, наши видео и подкасты — бесплатно, без учётной записи.

Send me the DeepValues Margin of Safety Weekly, one email every Saturday. I can unsubscribe at any time. Information only, not investment advice. Приватность

Узнайте больше

Такой же анализ любой акции за 2 минуты

Deep Value Intelligence — мультиагентный ИИ-аналитик, подготовивший этот отчёт. По запросу он создаёт такой же отчёт для любой публичной компании.

Открыть Deep Value Intelligence

Следите за 300+ акциями в приложении DeepValues

Позиции по акциям, внутренняя стоимость и свежие отчёты — на вашем телефоне.

Разработчикам: позиции и отчёты через API

Фундаментальные показатели, внутренняя стоимость, позиции по акциям и ссылки на отчёты с этих страниц — в формате JSON.

Документация API

Обсудить