Insights AI

상시 가동 AI 에이전트의 이해: 인프라, 컨텍스트 엔지니어링, 시스템 아키텍처

팟캐스트 · 듣기 (22분)

SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall

목차
  1. AI 개발의 네 시대와 터미널 병목
  2. 시스템 아키텍처: 서버 중심 실행과 가상 머신 샌드박싱
  3. 하위 에이전트와 컨텍스트 엔지니어링: 유사 무한 컨텍스트 구현
  4. 안전성, 자동 검토, 모델 플라이휠
  5. 시스템의 한계, 아키텍처의 상충관계, 그리고 미해결 과제
  6. 주요 수치
  7. 이 구도를 바꿀 요인
  8. 참고 문헌

상시 가동되는 선제적·지속형 에이전트는 인공지능 배포의 구조적 패러다임 전환을 나타내며, 시스템 설계를 사람이 감독하는 로컬 실행 루프에서 자율적인 백그라운드 기업용 인프라로 바꾸고 있다. Lee Robinson의 스탠퍼드 CS146S 강의에서 상세히 설명했듯이, 이러한 지속형 에이전트는 서버 중심 실행 모델, 내구성 있는 워크플로 오케스트레이션, 디스크 스냅샷을 활용한 동적 가상 머신 샌드박싱, 하위 에이전트로의 작업 위임, 지속적인 프롬프트 컨텍스트 압축에 의존한다. 에이전트 루프를 개발자 하드웨어 및 로컬 터미널 세션과 분리함으로써, 이러한 아키텍처는 대화형 명령줄 하네스의 물리적 제약을 극복한다. 상시 가동 에이전트는 단순히 반응형 응답 도구로 기능하는 대신, 상시 대기하는 디지털 동료로서 클라우드 환경 전반에서 여러 주에 걸친 장기 소프트웨어 엔지니어링 및 운영 작업을 수행한다.

AI 개발의 네 시대와 터미널 병목

개발자와 인공지능의 상호작용은 네 가지 뚜렷한 운영 패러다임을 거쳐 발전해 왔다. 첫 번째 시대에는 개발자가 ChatGPT 같은 웹 인터페이스에서 코드 조각을 수동으로 복사해 로컬 통합 개발 환경에 직접 붙여 넣었다. 이 수동 워크플로는 매우 파편화되어 있었으며, 지속적인 컨텍스트 전환과 모델 출력 및 코드 파일 사이의 인간에 의한 변환이 필요했다.

두 번째 시대에는 터미널 기반 하네스가 도입되었다. 이러한 소프트웨어 래퍼는 대규모 언어 모델 [LLM]이 제한된 실행 루프 안에서 파일 트리를 분석하고, 소스 파일을 수정하며, 셸 명령을 실행함으로써 로컬 운영체제와 반응형으로 상호작용할 수 있도록 했다. 터미널 하네스는 모델에 작업 수행 권한을 부여하여 상당한 생산성 향상을 이끌었지만, 여전히 사람의 직접적인 실행 개시와 로컬 컴퓨터 상태에 엄격히 종속되어 있었다.

세 번째 시대에는 코딩 에이전트가 클라우드 환경에서 병렬 에이전트 인스턴스를 생성할 수 있는 전용 사용자 인터페이스 [UI] 데스크톱 애플리케이션으로 확장되었다. 연산 실행을 원격 인프라로 이전했음에도, 이 세대에는 중대한 운영상 마찰이 존재했다. 인간 운영자가 여전히 주요 병목으로 남아 있었기 때문이다. 개발자는 의도치 않은 파일 삭제나 시스템 불안정화를 방지하기 위해 실행 흐름을 계속 감시하고, 모든 셸 명령을 수동으로 검토하고 승인해야 했다.

업계는 이제 네 번째 시대에 진입했다. 클라우드 백그라운드 인프라 전반에서 상시 실행되는 지속형 에이전트의 시대다. 전용 원격 워크스테이션, 지속적인 메모리 구조, 자율적인 일정 실행 트리거를 갖춘 이 에이전트들은 개발자의 부재 여부와 관계없이 계속 작동한다. 노트북 덮개를 닫거나 터미널 세션을 종료하면 기반 에이전트 프로세스가 갑자기 중단되는 터미널 종속 하네스의 핵심 구조적 병목이 제거된 것이다. 또한 네 번째 시대의 하네스는 실행 도중 실시간 사용자 지시와 두서없이 끼어드는 추가 입력을 처리한다. 사용자가 한 차례의 처리 도중 지시를 추가하거나 날짜를 변경하더라도, 최신 모델은 컨텍스트를 훼손하거나 진행 중인 작업 상태를 무효화하지 않고 이러한 유동적인 변경을 처리한다.

시스템 아키텍처: 서버 중심 실행과 가상 머신 샌드박싱

상시 가동 에이전트의 기반 인프라를 이해하기 위해, 이 아키텍처를 "원격 작업 공간을 갖춘 디지털 동료"로 개념화할 수 있다. 이 모델에서 최종 사용자는 문자 메시지와 유사한 경량 메시징 클라이언트를 통해 상호작용하는 반면, 주요 워크로드, 시스템 메모리, 도구 의존성, 운영 환경은 격리된 클라우드 인프라에 존재한다.

시스템 실행 파이프라인은 명시적인 프롬프트나 상시 발생하는 백그라운드 이벤트를 통해 시작된다. 사용자의 직접 호출이 있을 때만 활성화되는 기존 시스템과 달리, 상시 가동 에이전트는 수신 Slack 메시지, 자동화된 이메일, 캘린더 초대 등 백그라운드 크론 루틴이나 외부 웹훅에 의해 활성화될 수 있다. 특히 에이전트는 부재 중인 직원을 대신하여 가상 화상 또는 음성 회의에 자율적으로 참여하고, 메모를 작성하며, 논의 사항을 요약하고, 실행 가능한 작업을 기록할 수 있다. 인바운드 이벤트 라우터는 수신 신호의 중복을 제거하고, 운영 우선순위를 부여하며, 선제적 행동을 위한 휴리스틱을 적용해 에이전트가 사용자에게 즉시 알릴지 아니면 백그라운드에서 조용히 작업을 처리할지 결정한다. 우선순위가 높은 사용자 지시 입력은 즉시 백그라운드 처리 대기열보다 우선한다.

이 아키텍처의 핵심은 경량 클라이언트·중량 서버 설계 패턴이다. 클라이언트 애플리케이션은 최소한의 운영 로직만 포함하며, 원격 서버의 서식이 지정된 출력을 표시하기 위한 단일 send_user 애플리케이션 프로그래밍 인터페이스 [API] 도구를 노출한다. 핵심 에이전트 루프를 로컬 애플리케이션 내부가 아닌 중앙 서버에 배치하면 기술팀은 애플리케이션 스토어 승인 지연이나 서비스 중단 없이 백엔드 업데이트를 신속하게 배포할 수 있다. 또한 음성 전사나 이미지 생성 같은 대규모 연산 작업은 최적화된 서버 인프라에 중앙집중화된 상태로 유지된다. 클라이언트 애플리케이션은 서버와 실시간 이벤트 스트림 구독을 설정하고, 메시지 중복 제거 로직을 활용해 맞춤형 로그인 양식, 1Password 인증 정보, 금융 거래 승인 화면 등의 대화형 UI 요소를 상태 동기화 불일치 없이 표시한다.

실행 안전성과 환경 격리는 Firecracker 가상 머신 [VM] 샌드박스를 통해 확보된다. 각 에이전트 인스턴스는 영구 파일 저장소, 가상 데스크톱, 헤드리스 Chrome 브라우저를 갖춘 자체 전용 Linux 컨테이너 안에서 작동한다. 에이전트는 API 연동에만 의존하는 대신 컴퓨터 사용 기능을 활용해 소프트웨어 시스템과 상호작용한다. 구조화된 운영체제 접근성 트리를 통해 웹 인터페이스를 분석하여 상호작용 가능한 요소를 식별하며, 비표준 인터페이스를 탐색할 때는 직접적인 스크린샷 시각 분석과 픽셀 좌표 클릭으로 전환한다. 하드웨어 제약과 호스팅 비용을 관리하기 위해 Firecracker VM은 실행 상태의 스냅샷을 동적으로 디스크에 저장하고 유휴 상태에서는 최대 절전 모드로 전환하며, 새로운 활성화 트리거를 받으면 전체 운영 상태를 즉시 복원한다.

여러 주에 걸친 운영에서 시스템의 내구성은 기존 작업 대기열이 아니라 내구성 있는 워크플로 프레임워크에 달려 있다. 표준 작업 대기열은 작업을 첫 단계부터 다시 시작하는 방식으로 노드 장애를 처리하므로, 복잡한 다단계 작업에서는 심각한 중복 부작용을 초래한다. Temporal 같은 내구성 있는 워크플로 엔진을 활용하면 에이전트의 실행 상태, 변수 메모리, 운영 컨텍스트가 지속적으로 체크포인트에 저장된다. 기반 인프라 노드에 장애가 발생하더라도, 내구성 있는 워크플로는 이미 완료된 도구 호출을 다시 실행하지 않고 정확히 장애 발생 지점에서 실행을 재개한다.

하위 에이전트와 컨텍스트 엔지니어링: 유사 무한 컨텍스트 구현

장기간의 운영에서 대규모 언어 모델의 역량을 좌우하는 주요 병목은 컨텍스트 저하다. LLM의 컨텍스트 창이 시스템 프롬프트, 도구 스키마, 파일 읽기 결과, 실행 로그로 채워지면 시스템 성능이 저하된다. 토큰 소비 비용은 비선형적으로 증가하고, 운영 지연 시간이 늘어나며, 모델이 초기 지시에 대해 높은 추론 충실도를 유지하는 능력도 크게 떨어진다.

컨텍스트 비대화를 완화하기 위해 최신 에이전트 하네스는 흔히 "도구 검색 도구"라고 불리는 동적 도구 탐색을 활용한다. 모델 컨텍스트 프로토콜 [MCP] 서버, 맞춤형 소프트웨어 개발 키트, 외부 데이터베이스 API 등 수십 개의 통합 도구에 대한 전체 JSON 스키마를 활성 컨텍스트 창에 로드하는 대신, 기본 프롬프트에는 상위 수준의 도구 이름만 포함한다. 상세 도구 명세는 원격 파일 시스템에서 관리된다. 에이전트는 명시적인 운영 요구가 발생할 때만 특정 도구 스키마를 동적으로 검색하고, 읽고, 작업 메모리에 로드한다.

복잡한 작업 전반에서 높은 추론 품질을 유지하기 위해, 주 오케스트레이터 에이전트는 토큰을 많이 소비하는 작업을 전문화된 하위 에이전트에 위임한다. 수백 개의 셸 스크립트 실행, 방대한 웹페이지 수집, 시연 영상 생성이 필요한 경우, 오케스트레이터는 새로운 컨텍스트 창을 갖춘 격리된 하위 에이전트를 생성한다. 하위 에이전트는 자체적인 내구성 있는 워크플로 안에서 노동 집약적인 하위 루틴을 실행하고, 간결하게 정제된 마크다운 요약만 주 스레드로 반환한다. 이러한 위임 패턴은 주 오케스트레이터 스레드의 컨텍스트 창 소진을 방지함으로써, 운영상 유사 무한 컨텍스트를 구현한다.

하네스 엔지니어링은 프롬프트 캐싱 구조와 백그라운드 컨텍스트 압축을 통해 시스템 효율성을 더욱 최적화한다. 모델은 기반 모델 API가 제공하는 캐시 적중률을 극대화하기 위해 정적 시스템 프롬프트, 동적 도구 탐색 인덱스, 지속적인 핵심 메모리를 컨텍스트 배열의 상단에 유지한다. 시스템 프롬프트 반복 개선이나 A/B 테스트 중에도 캐시 유효성을 보존하기 위해, 하네스는 결정론적 섹션 해싱을 활용하여 시스템 프롬프트 구성 요소가 고정된 불변 순서를 유지하도록 한다. 또한 클라이언트 애플리케이션은 사용자가 채팅 UI에 포커스를 두거나 입력을 시작하는 즉시 서버에서 프롬프트 캐시를 사전 준비하여, 사용자가 메시지를 제출하기 전의 지연을 없앤다.

운영이 잠시 한가해지는 동안 모델 프롬프트 캐시가 활성 상태로 유지되는 시간대, 일반적으로 10~60분의 범위 안에서 시스템은 손실을 수반하는 백그라운드 압축 루틴을 실행하여 이전 대화 로그를 구조화된 요약으로 압축한다. 지속 메모리는 세 가지 뚜렷한 계층으로 구성된다.

  1. 핵심 사용자 정보: 매 운영 차례에 주입되는 우선순위가 높은 사용자 선호 사항과 시스템 전반의 제약.
  2. 날짜가 기록된 로그 이력: 원격 마크다운 파일에 저장되는 과거 시스템 상호작용의 시간순 검색 가능 기록.
  3. 임시 메모장 기록: 작업 완료 후 자동으로 만료되도록 설계된 임시 운영 작업 메모리.

안전성, 자동 검토, 모델 플라이휠

자율 에이전트의 기업 배포는 특히 명령 실행 피로와 프롬프트 주입을 중심으로 상당한 보안 취약점을 초래한다. 인간 운영자에게 빠르게 이어지는 수백 개의 셸 명령을 수동으로 승인하도록 요구하면 운영 피로가 누적되어 인간의 감독이 효과를 잃게 된다. 이를 해결하기 위해 신뢰성이 높은 에이전트 아키텍처는 자동 검토 시스템이라고 불리는 보조 가드레일 모델을 구현한다.

자동 검토 가드레일은 독립적이고 고도로 전문화된 AI 프로세스로 작동하며, 제안된 모든 셸 명령, 스크립트 실행, 시각적 데스크톱 상호작용을 실행 전에 검사한다. 실증 테스트에 따르면 자동화된 보조 평가 모델은 악성 명령, 구문 오류, 운영상 이탈을 탐지하는 데 지친 인간 운영자보다 우수한 성과를 보인다. 외부 이메일 발송이나 Stripe Link 또는 X Money 같은 서비스를 통한 금융 거래 실행 등 위험도가 높고 되돌릴 수 없는 작업의 경우, 시스템은 실행을 일시 중지하고 명시적인 인간 확인을 요구한다.

수신 이메일, 제3자 웹 콘텐츠, 웹훅 등 신뢰할 수 없는 외부 입력은 에이전트의 주 추론 루프에 직접 유입될 경우 심각한 프롬프트 주입 위험을 초래한다. 안전한 시스템은 신뢰할 수 없는 입력을 중간 파싱 계층에 통과시켜 정화함으로써, 악의적인 지시 덮어쓰기가 검증되지 않은 시스템 도구를 실행하거나 인증 정보를 침해하지 못하도록 한다.

시스템 신뢰성은 이중 루프 엔지니어링 플라이휠을 통해 지속적으로 개선된다. 에이전트가 작업에 실패하면 실패 경로가 자동화된 평가 벤치마크에 등록된다. 빠른 내부 루프에서 시스템 엔지니어는 즉시 하네스 지시를 업데이트하고, 동적 도구를 개선하거나, 시스템 프롬프트를 조정하며, 평가 도구 모음을 사용해 수정 사항을 검증한다. 느린 외부 루프에서는 집계된 실패 데이터와 성공 경로가 미세조정 데이터셋으로 구성된다. 기반 모델은 1~6개월의 출시 주기에 걸쳐 지도 미세조정 [SFT]과 강화학습 [RL]을 거쳐 지시 준수, 도구 선택, 시각적 데스크톱 탐색 능력을 모델 자체 수준에서 개선한다.

이러한 아키텍처를 구축하는 엔지니어링 팀은 "제품을 삭제하라"라는 핵심 운영 원칙을 따른다. 기반 모델의 역량이 6~12개월의 기간에 걸쳐 빠르게 도약하면서 복잡한 하네스 문제를 모델 자체적으로 체계적으로 해결하므로, 오늘날 구축하는 복잡한 맞춤형 사용자 인터페이스 추상화는 최소한으로 유지해야 한다.

시스템의 한계, 아키텍처의 상충관계, 그리고 미해결 과제

인프라가 빠르게 발전하고 있음에도 불구하고, 상시 가동 에이전트 아키텍처는 선제적 작동과 알림 관리에 관한 기술적 상충관계를 아직 해결하지 못하고 있다. 상시 작동하는 디지털 동료를 운영하려면 에이전트가 언제 조용히 작업을 수행하고 언제 상태 업데이트로 사용자의 작업을 중단시켜야 하는지 결정하는 세밀한 휴리스틱이 필요하다. 지나치게 적극적인 선제적 작동은 알림 피로와 사용자 불만을 초래하는 반면, 지나치게 소극적인 선제적 작동은 시스템을 일반적인 반응형 도구로 전락시킨다. 최적의 알림 임계값을 정의하는 일은 기업 환경의 도입 전반에서 여전히 미해결 과제로 남아 있다.

두 번째 과제는 장기 평가의 역설이다. 기반 언어 모델이 30~90일 주기로 버전이 개정되거나 완전히 교체되는 상황에서, 여러 주에 걸친 실행 기간 동안 지속적으로 작동하도록 설계된 에이전트를 평가하기란 본질적으로 어렵다. 평가 실행이 완료되기 전에 기저의 기반 모델이 업데이트되거나 사용 중단된다면, 한 달에 걸친 작업 경로를 대상으로 오프라인 비교 평가를 수행하는 것은 비현실적이며, 이로 인해 기준 성능을 추적하기가 어려워진다.

마지막으로, 맥락 요약은 불가피한 정보 손실을 초래한다. 모든 압축 알고리즘이 손실 압축에 의존하므로, 상세한 로그 이력, 터미널 출력, 파일 내용에 해당하는 수십만 개의 토큰을 간결한 마크다운 요약으로 축약하면 미묘한 예외 상황의 세부 정보가 영구적으로 사라질 위험이 있다. 장기간 실행되는 에이전트가 몇 주 전에 설정된 정확한 운영 매개변수를 필요로 하는 경우, 손실 압축은 실행 후반부에 드러나지 않는 작업 실패나 맥락 환각을 초래할 수 있다.

이러한 상충관계를 해결하려면 토큰 소비 비용과 추론 정밀도 사이의 균형을 맞추고, 추론 지연시간을 최적화하며, 서비스형 소프트웨어 플랫폼 전반의 다중 에이전트 상호작용에 강력한 보안 경계를 설정해야 한다.

주요 수치

  • 200,000 토큰: 현대적인 대규모 언어 모델의 표준 작업 기억 맥락 창 기준으로, 적극적인 맥락 압축 알고리즘이 필수가 되는 규모를 나타낸다.
  • 6~12개월: 기반 모델의 역량 도약으로 복잡한 맞춤형 하네스 로직, 중간 추상화 계층, 특수 사용자 인터페이스 래퍼가 구식이 되는 운영 기간이다.
  • 10~60분: 기반 모델 제공업체가 프롬프트 캐시를 활성 상태로 유지하는 일반적인 기간으로, 비용 효율적인 백그라운드 맥락 압축을 수행하기 위한 최적의 시간대를 규정한다.
  • 시간/일 단위에서 여러 주/여러 달 단위로: 목표 실행 기간이 짧은 대화형 터미널 세션에서 자율적인 장기 백그라운드 작업 흐름으로 확장되는 구조적 변화이다.

이 구도를 바꿀 요인

  1. 손실 압축에서 그래프 기반 기억 아키텍처로의 전환: 업계 전반이 표준 마크다운 맥락 요약에서 무손실 지식 그래프로 전환하면, 여러 달에 걸친 실행 전반에서 장기 회상 능력과 맥락 정밀도가 크게 향상될 것이다.
  2. 장기 에이전트 평가 기준의 표준화: 예측형 시간 압축 오프라인 평가 체계가 개발되면, 엔지니어링 팀은 실시간 실행 주기가 끝나기를 기다리는 대신 몇 시간 안에 여러 주에 걸친 에이전트 작업 흐름의 성능을 정확하게 평가할 수 있을 것이다.
  3. 기업 환경에서 화면 표시 없는 컴퓨터 사용의 광범위한 도입: 기업 소프트웨어 전반에서 접근성 트리와 픽셀 상호작용을 통한 직접적인 시각 탐색이 보편적으로 도입되면, 기존의 응용 프로그램 인터페이스 통합과 전용 모델 맥락 프로토콜 구현이 필요하지 않게 될 것이다.
  4. 하드웨어 수준의 기본 음성 및 발화 통합: 실시간 발화 처리에 맞춰 설계된 상시 작동 저지연 음성 하드웨어 형태가 확산되면, 주된 에이전트 제어 방식은 문자 메시지 기반 경량 클라이언트에서 연속적인 오디오 상호작용 루프로 이동할 것이다.

지속적인 자율 에이전트 인프라에 대한 심층적인 통찰을 살펴보고 현대적인 모델 하네스 구현을 평가하려면, DeepValues Research 사이트에서 제공하는 오픈소스 연구 자료를 방문하거나 DeepValues 앱에서 플랫폼을 직접 체험해 보십시오.

참고 문헌

Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.

시청

출처 링크

보기 · 듣기

리서치 본문 라이선스: CC BY 4.0. 인용 형식: DeepValues Research, 상시 가동 AI 에이전트의 이해: 인프라, 컨텍스트 엔지니어링, 시스템 아키텍처, https://research.deepvalues.ai/insights/2026-10-31-building-always-on-ai-agents-ko/

무료 주간 이메일

Margin of Safety Weekly

매주 토요일: 시장 온도, 위대한 투자자들의 매매(13F), 이번 주 새 리서치, 영상과 팟캐스트. 무료이며 계정이 필요 없습니다. 이메일은 영어로 발송됩니다.

Send me the DeepValues Margin of Safety Weekly, one email every Saturday. I can unsubscribe at any time. Information only, not investment advice. 개인정보 처리방침

더 깊이 보기

어떤 종목이든 2분 만에 같은 분석을 실행하세요

이 리포트를 작성한 멀티 에이전트 AI 애널리스트 Deep Value Intelligence가 상장 기업이라면 어디든 같은 리포트를 요청 즉시 작성합니다.

Deep Value Intelligence 열기

DeepValues 앱에서 300개 이상 종목 추적

스탠스, 내재가치, 최신 리포트를 휴대폰에서 확인하세요.

개발자: API로 스탠스와 리포트 받기

이 페이지들의 바탕이 되는 펀더멘털, 내재가치, 스탠스, 리포트 링크를 JSON으로 제공합니다.

API 문서

토론