Insights AI

Att förstå AI-agenter som alltid är aktiva: infrastruktur, kontextutformning och systemarkitektur

Podd · Lyssna (22 min)

SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall

Innehåll
  1. AI-utvecklingens fyra epoker och terminalens flaskhals
  2. Systemarkitektur: servercentrerad exekvering och sandlådor för virtuella maskiner
  3. Underagenter och kontextutformning: att uppnå skenbart oändlig kontext
  4. Säkerhet, automatisk granskning och modellens förbättringshjul
  5. Systembegränsningar, arkitektoniska avvägningar och öppna frågor
  6. Viktiga siffror
  7. Vad som skulle förändra denna bild
  8. Källförteckning

Ständigt aktiva, proaktiva och beständiga agenter innebär ett strukturellt paradigmskifte i driftsättningen av artificiell intelligens, där systemdesignen övergår från lokala exekveringsloopar som övervakas av människor till autonom företagsinfrastruktur i bakgrunden. Som beskrivs i Lee Robinsons föreläsning i Stanford CS146S bygger dessa beständiga agenter på en servercentrerad exekveringsmodell, beständig arbetsflödesorkestrering, dynamiska sandlådor för virtuella maskiner med ögonblicksbilder på disk, uppgiftsdelegering till underagenter och kontinuerlig komprimering av promptkontext. Genom att frikoppla agentloopar från utvecklarnas hårdvara och lokala terminalsessioner övervinner dessa arkitekturer de fysiska begränsningarna hos interaktiva kommandoradsbaserade exekveringsramverk. I stället för att enbart fungera som reaktiva svarsverktyg fungerar ständigt aktiva agenter som digitala kollegor som finns tillgängliga i bakgrunden och utför långsiktiga programvaruutvecklings- och driftsuppgifter över flera veckor i molnmiljöer.

AI-utvecklingens fyra epoker och terminalens flaskhals#

Utvecklarnas samspel med artificiell intelligens har utvecklats genom fyra tydliga operativa paradigm. Under den första epoken kopierade utvecklare manuellt kodavsnitt från webbgränssnitt som ChatGPT direkt till lokala integrerade utvecklingsmiljöer. Detta manuella arbetsflöde var mycket fragmenterat och krävde ständiga kontextbyten och mänsklig översättning mellan modellutdata och kodfiler.

Den andra epoken introducerade terminalbaserade exekveringsramverk. Dessa programvaruomslag gjorde det möjligt för en stor språkmodell [LLM] att interagera reaktivt med lokala operativsystem genom att tolka filträd, ändra källkodsfiler och utfärda skalkommandon inom en avgränsad exekveringsloop. Även om terminalramverken möjliggjorde betydande produktivitetsvinster genom att ge modeller operativ handlingsförmåga, förblev de strikt knutna till direkt mänsklig initiering och lokala datortillstånd.

Den tredje epoken utökade kodningsagenter till särskilda skrivbordsapplikationer med användargränssnitt [UI], som kunde starta parallella agentinstanser i molnmiljöer. Trots att beräkningarna flyttades till fjärrinfrastruktur led denna generation av betydande operativ friktion: den mänskliga operatören förblev den huvudsakliga flaskhalsen. Utvecklare tvingades kontinuerligt övervaka exekveringsförloppen och manuellt granska och godkänna varje skalkommando för att förhindra oavsiktlig radering av filer eller destabilisering av systemet.

Branschen har nu gått in i den fjärde epoken: ständigt aktiva, beständiga agenter som körs i bakgrunden i molninfrastruktur. Utrustade med särskilda fjärrarbetsstationer, beständiga minnesstrukturer och autonoma schemaläggningsutlösare arbetar dessa agenter kontinuerligt oavsett om utvecklaren är närvarande. Den centrala strukturella flaskhalsen hos terminalbundna exekveringsramverk – där stängning av en bärbar dators lock eller avslutning av en terminalsession abrupt dödar den underliggande agentprocessen – har eliminerats. Dessutom hanterar den fjärde epokens exekveringsramverk användarstyrning i realtid och osammanhängande avbrott mitt under exekveringen. Om en användare lägger till instruktioner eller ändrar datum mitt under en interaktionsomgång hanterar moderna modeller dessa löpande uppdateringar utan att försämra kontexten eller ogiltigförklara den pågående uppgiftens tillstånd.

Systemarkitektur: servercentrerad exekvering och sandlådor för virtuella maskiner

För att förstå infrastrukturen bakom en ständigt aktiv agent kan arkitekturen beskrivas som en ”digital kollega med en fjärrarbetsplats”. I denna modell interagerar slutanvändaren genom en tunn meddelandeklient – jämförbar med textmeddelanden – medan den huvudsakliga arbetsbelastningen, systemminnet, verktygsberoendena och driftsmiljön finns i isolerad molninfrastruktur.

Systemets exekveringskedja startas genom uttryckliga promptar eller bakgrundshändelser. Till skillnad från traditionella system som enbart aktiveras vid direkt anrop från användaren kan en ständigt aktiv agent aktiveras av schemalagda cron-rutiner i bakgrunden eller externa webbhakar, såsom inkommande Slack-meddelanden, automatiserade e-postmeddelanden eller kalenderinbjudningar. Avgörande är att agenter autonomt kan delta i virtuella video- eller ljudmöten i stället för frånvarande anställda för att föra anteckningar, sammanfatta diskussionspunkter och registrera uppgifter som ska utföras. En router för inkommande händelser tar bort duplicerade signaler, tilldelar operativ prioritet och tillämpar proaktivitetsheuristik för att avgöra om agenten omedelbart ska uppmärksamma användaren eller bearbeta uppgiften tyst i bakgrunden. Högprioriterade styrsignaler från användaren åsidosätter omedelbart köer för bakgrundsbearbetning.

Centralt i denna arkitektur är designmönstret med tunn klient och tjock server. Klientapplikationen innehåller minimal operativ logik och exponerar ett enda verktyg, send_user, via ett programmeringsgränssnitt [API] för att visa formaterade utdata från fjärrservern. Genom att placera den centrala agentloopen på en central server i stället för i lokala applikationer kan teknikteam snabbt driftsätta uppdateringar av serverdelen utan fördröjningar till följd av godkännanden från applikationsbutiker eller driftavbrott. Dessutom förblir beräkningstunga operationer, såsom ljudtranskribering eller bildgenerering, centraliserade på optimerad serverinfrastruktur. Klientapplikationen upprättar prenumerationer på händelseströmmar i realtid från servern och använder logik för deduplicering av meddelanden för att återge interaktiva gränssnittselement – såsom anpassade inloggningsformulär, inloggningsuppgifter från 1Password eller skärmar för godkännande av finansiella åtgärder – utan att tillståndet hamnar ur synk.

Exekveringssäkerhet och miljöisolering uppnås genom sandlådor med virtuella maskiner [VM] av typen Firecracker. Varje agentinstans arbetar i en egen dedikerad Linux-container utrustad med beständig fillagring, virtuella skrivbord och en Chrome-webbläsare utan grafiskt gränssnitt. I stället för att uteslutande förlita sig på API-integrationer interagerar agenter med programvarusystem genom förmågan att använda datorer. De tolkar webbgränssnitt via operativsystemets strukturerade tillgänglighetsträd för att identifiera interaktiva element och övergår till direkt visuell analys av skärmbilder och klick på pixelkoordinater när de navigerar i icke-standardiserade gränssnitt. För att hantera hårdvarubegränsningar och driftkostnader sparar Firecracker-maskiner dynamiskt ögonblicksbilder av sitt exekveringstillstånd på disk och går i viloläge när de är inaktiva. Det fullständiga operativa tillståndet återställs omedelbart när en ny aktiveringssignal tas emot.

Systemets beständighet under operationer som pågår i flera veckor beror på ramverk för beständiga arbetsflöden snarare än konventionella jobbköer. Standardiserade jobbköer hanterar nodfel genom att starta om uppgifter från det första steget, vilket orsakar katastrofala dubblerade sidoeffekter under komplexa flerstegsoperationer. Genom att använda motorer för beständiga arbetsflöden, såsom Temporal, sparas agentens exekveringstillstånd, variabelminne och operativa kontext kontinuerligt vid kontrollpunkter. Om en underliggande infrastrukturnod slutar fungera återupptar det beständiga arbetsflödet exekveringen exakt där felet uppstod, utan att tidigare slutförda verktygsanrop körs om.

Underagenter och kontextutformning: att uppnå skenbart oändlig kontext

Den främsta flaskhalsen som styr stora språkmodellers förmåga över längre operativa tidshorisonter är kontextförsämring. När en LLM:s kontextfönster fylls med systempromptar, verktygsscheman, filutläsningar och exekveringsloggar försämras systemets prestanda. Kostnaderna för tokenförbrukning ökar icke-linjärt, den operativa fördröjningen ökar och modellens förmåga att bibehålla hög precision i resonemang utifrån de ursprungliga instruktionerna försämras avsevärt.

För att begränsa överväxt av kontext använder moderna agentramverk dynamisk verktygsidentifiering, ofta kallad ”verktyget för verktygssökning”. I stället för att läsa in fullständiga JSON-scheman för dussintals integrerade verktyg – såsom servrar för Model Context Protocol [MCP], anpassade programvaruutvecklingspaket eller externa databas-API:er – i det aktiva kontextfönstret innehåller den primära prompten endast övergripande verktygsnamn. Detaljerade verktygsspecifikationer lagras i fjärrfilsystemet. Agenten söker dynamiskt efter, läser och laddar specifika verktygsscheman i arbetsminnet först när ett uttryckligt operativt behov uppstår.

För att upprätthålla hög kvalitet i resonemang över komplexa uppgifter delegerar primära orkestreringsagenter tokenkrävande operationer till specialiserade underagenter. När en uppgift kräver körning av hundratals skalskript, skrapning av omfattande webbsidor eller generering av demonstrationsvideor skapar orkestreraren en isolerad underagent med ett nytt kontextfönster. Underagenten utför den arbetsintensiva delrutinen inom sitt eget beständiga arbetsflöde och returnerar endast en kortfattad, koncentrerad sammanfattning i markdown till den primära tråden. Detta delegeringsmönster skapar i praktiken en skenbart oändlig kontext och förhindrar att kontextfönstret i den huvudsakliga orkestreringstråden blir fullt.

Utformningen av exekveringsramverk optimerar systemets effektivitet ytterligare genom strukturer för promptcachelagring och kontextkomprimering i bakgrunden. Modeller håller statiska systempromptar, dynamiska verktygsindex och beständigt kärnminne överst i kontextmatrisen för att maximera cacheträffsfrekvensen som grundmodellernas API:er erbjuder. För att bevara cachens giltighet vid iterationer av systempromptar eller A/B-testning använder exekveringsramverk deterministisk sektionshashning för att säkerställa att systempromptens komponenter behåller en fast, oföränderlig ordning. Dessutom förvärmer klientapplikationer promptcachen på servern så snart en användare aktiverar chattgränssnittet eller börjar skriva i det, vilket eliminerar fördröjning innan användaren skickar ett meddelande.

Under operativa pauser, medan modellernas promptcacher fortfarande är varma – vanligtvis inom ett tidsfönster på 10 till 60 minuter – kör systemet komprimeringsrutiner i bakgrunden som med viss informationsförlust komprimerar tidigare konversationsloggar till strukturerade sammanfattningar. Beständigt minne organiseras i tre separata lager:

  1. Centrala användarfakta: Högprioriterade användarpreferenser och systemövergripande begränsningar som tillförs varje operativ interaktionsomgång.
  2. Daterad logghistorik: Kronologiska, sökbara register över tidigare systeminteraktioner som lagras i markdown-filer på fjärrsystemet.
  3. Tillfälliga arbetsanteckningar: Tillfälligt operativt arbetsminne utformat för att automatiskt upphöra efter att uppgiften har slutförts.

Säkerhet, automatisk granskning och modellens förbättringshjul

Driftsättning av autonoma agenter i företag medför betydande säkerhetssårbarheter, särskilt kring trötthet vid kommandogranskning och promptinjektion. Kravet att mänskliga operatörer manuellt ska godkänna hundratals skalkommandon i snabb följd leder till operativ utmattning och gör mänsklig tillsyn ineffektiv. För att hantera detta implementerar agentarkitekturer med hög tillförlitlighet sekundära skyddsmodeller som kallas automatiska granskningssystem.

En skyddsmekanism för automatisk granskning fungerar som en oberoende, högt specialiserad AI-process som granskar varje föreslaget skalkommando, varje skriptkörning och varje visuell skrivbordsinteraktion före exekvering. Empiriska tester visar att automatiserade sekundära utvärderingsmodeller överträffar trötta mänskliga operatörer när det gäller att upptäcka skadliga kommandon, syntaxfel och operativa avvikelser. För högriskoperationer som inte kan återkallas – såsom att skicka externa e-postmeddelanden eller genomföra finansiella transaktioner via tjänster som Stripe Link eller X Money – pausar systemet exekveringen och kräver uttrycklig mänsklig bekräftelse.

Ej betrodda externa indata, inklusive inkommande e-post, webbinnehåll från tredje part och webbhakar, medför allvarliga risker för promptinjektion om de matas direkt in i agentens primära resonemangsloop. Säkra system rensar ej betrodda indata genom att skicka dem genom mellanliggande tolkningslager, vilket förhindrar att skadliga instruktioner åsidosätter befintliga instruktioner och kör overifierade systemverktyg eller äventyrar inloggningsuppgifter.

Systemets tillförlitlighet förbättras kontinuerligt genom ett tekniskt förbättringshjul med två loopar. När en agent misslyckas med en uppgift registreras förloppet som ledde till misslyckandet i ett automatiserat utvärderingstest. I den snabba inre loopen uppdaterar systemingenjörer omedelbart ramverkets instruktioner, förfinar dynamiska verktyg eller justerar systempromptar och använder utvärderingssviten för att verifiera korrigeringen. I den långsamma yttre loopen sammanställs aggregerade feldata och framgångsrika förlopp till datamängder för finjustering. Grundmodeller genomgår övervakad finjustering [SFT] och förstärkningsinlärning [RL] under lanseringscykler på 1 till 6 månader för att förbättra den inbyggda förmågan att följa instruktioner, välja verktyg och navigera visuella skrivbord.

Teknikteam som bygger dessa arkitekturer följer en central operativ princip: ”radera produkten”. Komplexa, anpassade abstraktioner för användargränssnitt som byggs i dag bör hållas minimala, eftersom snabba språng i grundmodellernas förmåga över tidshorisonter på 6 till 12 månader systematiskt löser komplexa problem i exekveringsramverken genom modellernas inbyggda förmågor.

Systembegränsningar, arkitektoniska avvägningar och öppna frågor

Trots snabba framsteg inom infrastrukturen står ständigt aktiva agentarkitekturer inför olösta tekniska avvägningar kring proaktivitet och aviseringshantering. Att driva en digital kollega som ständigt finns i bakgrunden kräver finfördelade heuristiker för att avgöra när en agent ska utföra uppgifter utan att meddela användaren och när den ska avbryta användaren med statusuppdateringar. Alltför aggressiv proaktivitet leder till aviseringströtthet och irritation hos användaren, medan alltför försiktig proaktivitet reducerar systemet till ett vanligt reaktivt verktyg. Att fastställa optimala trösklar för aviseringar är fortfarande en öppen utmaning vid driftsättning i företag.

En annan utmaning är paradoxen kring utvärdering över långa tidshorisonter. Att bedöma en agent som är utformad för att köras kontinuerligt under flera veckor är i sig svårt när grundläggande språkmodeller genomgår versionsuppdateringar eller byts ut helt i cykler på 30 till 90 dagar. Jämförande utvärderingar utan uppkoppling av månadslånga uppgiftsförlopp blir opraktiska om de underliggande grundmodellerna uppdateras eller fasas ut innan utvärderingskörningen slutförs, vilket gör det problematiskt att följa prestandan mot en referensnivå.

Slutligen medför sammanfattning av kontext oundviklig informationsförlust. Eftersom alla komprimeringsalgoritmer bygger på komprimering med informationsförlust riskerar sammanställningen av hundratusentals token med detaljerade logghistoriker, terminalutdata och filinnehåll till kompakta markdown-sammanfattningar att permanent kasta bort subtila detaljer om specialfall. Om en agent som körs länge behöver exakta driftsparametrar som fastställdes flera veckor tidigare kan komprimering med informationsförlust leda till att uppgifter misslyckas utan någon varning eller till kontexthallucinationer i ett sent skede av körningen.

För att hantera dessa avvägningar krävs en balans mellan kostnaderna för tokenförbrukning och precisionen i resonemangen, optimering av inferenslatens samt robusta säkerhetsgränser för interaktioner mellan flera agenter på plattformar för programvara som tjänst.

Viktiga siffror#

  • 200,000 token: Standardreferensen för kontextfönstret i arbetsminnet hos moderna stora språkmodeller, som anger den skala där aggressiva algoritmer för kontextkomprimering blir nödvändiga.
  • 6 till 12 månader: Den operativa tidsram inom vilken stora språng i grundmodellernas förmåga gör komplex anpassad logik i körningsramverk, mellanliggande abstraktioner och specialiserade gränssnittslager föråldrade.
  • 10 till 60 minuter: Den typiska tid under vilken leverantörer av grundmodeller håller cacheminnen för instruktioner aktiva, vilket definierar det optimala tidsfönstret för kostnadseffektiv kontextkomprimering i bakgrunden.
  • Timmar/dagar till flera veckor/flera månader: Den strukturella förändringen i avsedda körningshorisonter, från korta interaktiva terminalsessioner till autonoma bakgrundsarbetsflöden över långa tidshorisonter.

Vad som skulle förändra denna bild

  1. Övergång från komprimering med informationsförlust till grafbaserade minnesarkitekturer: En bred branschövergång från standardmässig sammanfattning av kontext i markdown till kunskapsgrafer utan informationsförlust skulle dramatiskt förbättra förmågan att återkalla information på lång sikt och den kontextuella precisionen under körningar som varar i flera månader.
  2. Standardisering av referenstester för agentutvärdering över långa tidshorisonter: Utvecklingen av prediktiva, tidskomprimerade utvärderingsramverk utan uppkoppling skulle göra det möjligt för utvecklingsteam att på ett korrekt sätt jämföra agentarbetsflöden som sträcker sig över flera veckor inom några timmar, i stället för att invänta körningscykler i realtid.
  3. Utbredd driftsättning i företag av datoranvändning utan eget användargränssnitt: Ett allmänt införande av direkt visuell navigering via tillgänglighetsträd och pixelinteraktion i företagsprogramvara skulle undanröja behovet av traditionella integrationer via programmeringsgränssnitt och särskilda implementeringar av Model Context Protocol.
  4. Inbyggd röst- och talintegration på hårdvarunivå: En spridning av rösthårdvara som är ständigt tillgänglig i bakgrunden, med låg latens och formfaktorer anpassade för talbearbetning i realtid, skulle flytta den primära agentstyrningen från tunna klienter för textmeddelanden till kontinuerliga ljudbaserade interaktionsslingor.

För att få djupare insikter i infrastrukturen för kontinuerliga autonoma agenter och utvärdera moderna implementeringar av körningsramverk för modeller, besök forskningsresurserna med öppen källkod på webbplatsen för DeepValues Research eller upplev plattformen direkt i DeepValues-appen.

Källförteckning

Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.

Se

Källänkar

Se & lyssna

Analystext under CC BY 4.0, ange källa som: DeepValues Research, Att förstå AI-agenter som alltid är aktiva: infrastruktur, kontextutformning och systemarkitektur, https://research.deepvalues.ai/insights/2026-10-31-building-always-on-ai-agents-sv/

Gratis veckobrev

Margin of Safety Weekly

Varje lördag: marknadens temperatur, vad framstående investerare köpt och sålt (13F-rapporter), veckans nya analyser samt våra videor och poddar — gratis, inget konto behövs.

Send me the DeepValues Margin of Safety Weekly, one email every Saturday. I can unsubscribe at any time. Information only, not investment advice. Integritet

Gå vidare

Gör samma analys av valfri aktie på 2 minuter

Deep Value Intelligence, AI-analytikern med flera agenter bakom rapporten, skriver samma slags rapport om valfritt börsnoterat bolag på begäran.

Öppna Deep Value Intelligence

Följ 300+ aktier i DeepValues-appen

Bedömningar, intrinsiskt värde och de senaste rapporterna i mobilen.

Utvecklare: bedömningar och rapporter via API

Fundamentala data, intrinsiska värden, bedömningar och rapportlänkar bakom dessa sidor, som JSON.

API-dokumentation

Diskutera