Insights AI

हमेशा सक्रिय AI एजेंटों को समझना: अवसंरचना, संदर्भ इंजीनियरिंग और सिस्टम आर्किटेक्चर

पॉडकास्ट · सुनें (22 मिनट)

SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall

विषय-सूची
  1. AI विकास के चार युग और टर्मिनल की बाधा
  2. प्रणाली वास्तुकला: सर्वर-केंद्रित निष्पादन और वर्चुअल मशीन सैंडबॉक्सिंग
  3. उप-एजेंट और संदर्भ इंजीनियरिंग: छद्म-अनंत संदर्भ हासिल करना
  4. सुरक्षा, स्वचालित समीक्षा और मॉडल सुधार का चक्र
  5. प्रणाली की सीमाएँ, वास्तुकला संबंधी समझौते और खुले प्रश्न
  6. प्रमुख आँकड़े
  7. किन बदलावों से यह तस्वीर बदलेगी
  8. संदर्भ

हमेशा सक्रिय, पहल करने वाले स्थायी एजेंट कृत्रिम बुद्धिमत्ता की तैनाती में एक संरचनात्मक प्रतिमान परिवर्तन दर्शाते हैं, जिसमें प्रणाली डिज़ाइन मानव-निगरानी वाले स्थानीय निष्पादन चक्रों से स्वायत्त, पृष्ठभूमि में चलने वाली उद्यम अवसंरचना की ओर बढ़ता है। Lee Robinson के Stanford CS146S व्याख्यान में बताए अनुसार, ये स्थायी एजेंट सर्वर-केंद्रित निष्पादन मॉडल, टिकाऊ कार्यप्रवाह समन्वयन, डिस्क स्नैपशॉटिंग के साथ गतिशील वर्चुअल मशीन सैंडबॉक्सिंग, उप-एजेंटों को कार्य सौंपने और प्रॉम्प्ट संदर्भ के निरंतर संकुचन पर निर्भर करते हैं। एजेंट चक्रों को डेवलपर के हार्डवेयर और स्थानीय टर्मिनल सत्रों से अलग करके, ये वास्तुकलाएँ संवादात्मक कमांड-लाइन संचालन ढाँचों की भौतिक सीमाओं को पार करती हैं। केवल प्रतिक्रियात्मक उत्तर देने वाले साधनों के रूप में काम करने के बजाय, हमेशा सक्रिय एजेंट परिवेश में मौजूद डिजिटल सहकर्मियों की तरह कार्य करते हैं—क्लाउड परिवेशों में दीर्घकालिक, कई सप्ताह तक चलने वाले सॉफ्टवेयर इंजीनियरिंग और परिचालन कार्य निष्पादित करते हैं।

AI विकास के चार युग और टर्मिनल की बाधा

कृत्रिम बुद्धिमत्ता के साथ डेवलपर की अंतःक्रिया चार अलग-अलग परिचालन प्रतिमानों से होकर विकसित हुई है। पहले युग में, डेवलपर ChatGPT जैसे वेब इंटरफ़ेस से कोड के अंश स्वयं कॉपी करके सीधे स्थानीय एकीकृत विकास परिवेशों में डालते थे। यह मैनुअल कार्यप्रवाह अत्यधिक खंडित था, जिसमें लगातार संदर्भ बदलना और मॉडल के आउटपुट तथा कोड फ़ाइलों के बीच मानव द्वारा रूपांतरण करना आवश्यक था।

दूसरे युग में टर्मिनल-आधारित संचालन ढाँचे आए। इन सॉफ्टवेयर आवरणों ने बड़े भाषा मॉडल [LLM] को सीमित निष्पादन चक्र के भीतर फ़ाइल वृक्षों का विश्लेषण करने, स्रोत फ़ाइलों में बदलाव करने और शेल कमांड जारी करने के माध्यम से स्थानीय ऑपरेटिंग प्रणालियों के साथ प्रतिक्रियात्मक ढंग से अंतःक्रिया करने की अनुमति दी। हालाँकि टर्मिनल संचालन ढाँचों ने मॉडलों को परिचालन स्वायत्तता देकर उत्पादकता में उल्लेखनीय बढ़ोतरी संभव की, वे सीधे मानव द्वारा शुरुआत किए जाने और स्थानीय कंप्यूटर की अवस्थाओं से पूरी तरह जुड़े रहे।

तीसरे युग में कोडिंग एजेंटों का विस्तार समर्पित उपयोगकर्ता इंटरफ़ेस [UI] वाले डेस्कटॉप अनुप्रयोगों तक हुआ, जो क्लाउड परिवेशों में समानांतर एजेंट इंस्टेंस शुरू कर सकते थे। संगणना का निष्पादन दूरस्थ अवसंरचना पर स्थानांतरित करने के बावजूद, इस पीढ़ी में गंभीर परिचालन घर्षण बना रहा: मानव संचालक ही मुख्य बाधा था। अनचाही फ़ाइल मिटाने की कार्रवाइयों या प्रणाली की अस्थिरता को रोकने के लिए डेवलपरों को लगातार निष्पादन धाराओं की निगरानी करनी पड़ती थी और प्रत्येक शेल कमांड की स्वयं समीक्षा करके उसे मंज़ूरी देनी पड़ती थी।

उद्योग अब चौथे युग में प्रवेश कर चुका है: हमेशा सक्रिय, स्थायी एजेंट, जो क्लाउड की पृष्ठभूमि अवसंरचना में परिवेशगत रूप से चलते हैं। समर्पित दूरस्थ कार्यस्थानों, स्थायी स्मृति संरचनाओं और स्वायत्त समय-निर्धारण ट्रिगरों से सुसज्जित ये एजेंट डेवलपर की मौजूदगी के बिना भी लगातार काम करते हैं। टर्मिनल से बँधे संचालन ढाँचों की मुख्य संरचनात्मक बाधा—जिसमें लैपटॉप का ढक्कन बंद करने या टर्मिनल सत्र समाप्त करने से अंतर्निहित एजेंट प्रक्रिया अचानक बंद हो जाती है—दूर कर दी गई है। इसके अलावा, चौथे युग के संचालन ढाँचे निष्पादन के दौरान वास्तविक समय में उपयोगकर्ता के दिशा-निर्देशों और असंबद्ध हस्तक्षेपों को संसाधित करते हैं। यदि उपयोगकर्ता किसी संवाद-चरण के बीच निर्देश जोड़ता है या तारीखें बदलता है, तो आधुनिक मॉडल संदर्भ की गुणवत्ता घटाए या चल रहे कार्य की अवस्था अमान्य किए बिना इन बदलते अद्यतनों को संभालते हैं।

प्रणाली वास्तुकला: सर्वर-केंद्रित निष्पादन और वर्चुअल मशीन सैंडबॉक्सिंग

हमेशा सक्रिय एजेंट की अंतर्निहित अवसंरचना को समझने के लिए, इसकी वास्तुकला की कल्पना “दूरस्थ कार्यक्षेत्र वाले डिजिटल सहकर्मी” के रूप में की जा सकती है। इस मॉडल में, अंतिम उपयोगकर्ता एक हल्के संदेश क्लाइंट के माध्यम से संवाद करता है—जो पाठ संदेश भेजने जैसा है—जबकि मुख्य कार्यभार, प्रणाली स्मृति, उपकरण निर्भरताएँ और परिचालन परिवेश अलग-थलग क्लाउड अवसंरचना पर रहते हैं।

प्रणाली की निष्पादन पाइपलाइन स्पष्ट प्रॉम्प्ट या परिवेशगत पृष्ठभूमि घटनाओं से शुरू होती है। पारंपरिक प्रणालियों के विपरीत, जो केवल उपयोगकर्ता द्वारा सीधे बुलाए जाने पर सक्रिय होती हैं, हमेशा सक्रिय एजेंट को पृष्ठभूमि की क्रॉन प्रक्रियाओं या बाहरी वेबहुकों से सक्रिय किया जा सकता है, जैसे आने वाले Slack संदेश, स्वचालित ईमेल या कैलेंडर आमंत्रण। महत्वपूर्ण बात यह है कि एजेंट अनुपस्थित मानव कर्मचारियों की जगह स्वायत्त रूप से वर्चुअल वीडियो या ऑडियो बैठकों में शामिल हो सकते हैं, ताकि नोट्स दर्ज करें, चर्चा के बिंदुओं का सार बनाएँ और कार्रवाई योग्य कार्यों को दर्ज करें। आने वाली घटनाओं का राउटर प्राप्त संकेतों की पुनरावृत्ति हटाता है, परिचालन प्राथमिकता निर्धारित करता है और पहल-संबंधी अनुमानाधारित नियम लागू करके तय करता है कि एजेंट को उपयोगकर्ता को तुरंत सूचित करना चाहिए या पृष्ठभूमि में चुपचाप कार्य संसाधित करना चाहिए। उच्च-प्राथमिकता वाले उपयोगकर्ता दिशा-निर्देश तुरंत पृष्ठभूमि प्रसंस्करण कतारों पर वरीयता प्राप्त करते हैं।

इस वास्तुकला का केंद्र हल्के क्लाइंट और भारी सर्वर का डिज़ाइन प्रतिरूप है। क्लाइंट अनुप्रयोग में न्यूनतम परिचालन तर्क होता है और वह दूरस्थ सर्वर से आए स्वरूपित आउटपुट दिखाने के लिए एकल send_user अनुप्रयोग प्रोग्रामिंग इंटरफ़ेस [API] उपकरण उपलब्ध कराता है। मुख्य एजेंट चक्र को स्थानीय अनुप्रयोगों के भीतर रखने के बजाय केंद्रीय सर्वर पर रखने से प्रौद्योगिकी टीमें अनुप्रयोग स्टोर की मंज़ूरी में देरी या सेवा ठहराव के बिना तेज़ी से बैकएंड अद्यतन तैनात कर सकती हैं। इसके अलावा, ऑडियो प्रतिलेखन या छवि निर्माण जैसी भारी संगणना कार्रवाइयाँ अनुकूलित सर्वर अवसंरचना पर केंद्रीकृत रहती हैं। क्लाइंट अनुप्रयोग सर्वर के साथ वास्तविक समय की घटना-धारा सदस्यताएँ स्थापित करता है और संदेशों की पुनरावृत्ति हटाने वाले तर्क का उपयोग करके कस्टम साइन-इन फ़ॉर्म, 1Password क्रेडेंशियल या वित्तीय प्राधिकरण स्क्रीन जैसे संवादात्मक UI तत्व प्रदर्शित करता है—बिना अवस्था का समन्वय बिगाड़े।

निष्पादन सुरक्षा और परिवेश का पृथक्करण Firecracker वर्चुअल मशीन [VM] सैंडबॉक्सों के माध्यम से हासिल किए जाते हैं। प्रत्येक एजेंट इंस्टेंस अपने समर्पित Linux कंटेनर में काम करता है, जिसमें स्थायी फ़ाइल भंडारण, वर्चुअल डेस्कटॉप और बिना दृश्य इंटरफ़ेस वाला Chrome ब्राउज़र होता है। केवल API एकीकरणों पर निर्भर रहने के बजाय, एजेंट कंप्यूटर-उपयोग क्षमताओं के माध्यम से सॉफ्टवेयर प्रणालियों के साथ अंतःक्रिया करते हैं। वे संवादात्मक तत्वों की पहचान के लिए संरचित ऑपरेटिंग प्रणाली अभिगम्यता वृक्षों के माध्यम से वेब इंटरफ़ेस का विश्लेषण करते हैं और गैर-मानक इंटरफ़ेस में नेविगेशन के दौरान सीधे दृश्य स्क्रीनशॉट विश्लेषण तथा पिक्सेल-निर्देशांक क्लिक का सहारा लेते हैं। हार्डवेयर सीमाओं और होस्टिंग लागतों को संभालने के लिए, Firecracker VM अपनी निष्पादन अवस्था का गतिशील रूप से डिस्क पर स्नैपशॉट बनाते हैं और निष्क्रिय होने पर सुप्तावस्था में चले जाते हैं; नया सक्रियण ट्रिगर मिलते ही वे पूर्ण परिचालन अवस्था तुरंत बहाल कर लेते हैं।

कई सप्ताह तक चलने वाले परिचालनों में प्रणाली का टिकाऊपन पारंपरिक कार्य कतारों के बजाय टिकाऊ कार्यप्रवाह ढाँचों पर निर्भर करता है। मानक कार्य कतारें नोड विफलताओं से निपटने के लिए कार्यों को पहले चरण से दोबारा शुरू करती हैं, जिससे जटिल बहु-चरणीय परिचालनों में विनाशकारी दोहराए गए अनुषंगी प्रभाव पैदा होते हैं। Temporal जैसे टिकाऊ कार्यप्रवाह इंजनों का उपयोग करके एजेंट की निष्पादन अवस्था, चर स्मृति और परिचालन संदर्भ लगातार जाँच-बिंदुओं पर सहेजे जाते हैं। यदि अंतर्निहित अवसंरचना का कोई नोड विफल हो जाता है, तो टिकाऊ कार्यप्रवाह पहले से पूरी हो चुकी उपकरण कॉलों को दोहराए बिना ठीक विफलता के बिंदु से निष्पादन फिर शुरू करता है।

उप-एजेंट और संदर्भ इंजीनियरिंग: छद्म-अनंत संदर्भ हासिल करना

लंबी परिचालन अवधियों में बड़े भाषा मॉडल की क्षमता को सीमित करने वाली मुख्य बाधा संदर्भ का क्षरण है। जैसे-जैसे LLM की संदर्भ विंडो प्रणाली प्रॉम्प्ट, उपकरण स्कीमा, फ़ाइल से पढ़ी गई सामग्री और निष्पादन लॉग से भरती है, प्रणाली का प्रदर्शन बिगड़ता है। टोकन खपत की लागत गैर-रैखिक रूप से बढ़ती है, परिचालन विलंब बढ़ता है और प्रारंभिक निर्देशों पर उच्च तर्क-सटीकता बनाए रखने की मॉडल की क्षमता उल्लेखनीय रूप से घटती है।

संदर्भ के अनावश्यक विस्तार को कम करने के लिए, आधुनिक एजेंट संचालन ढाँचे गतिशील उपकरण खोज का उपयोग करते हैं, जिसे अक्सर “उपकरण खोज उपकरण” कहा जाता है। मॉडल संदर्भ प्रोटोकॉल [MCP] सर्वर, कस्टम सॉफ्टवेयर विकास किट या बाहरी डेटाबेस API जैसे दर्जनों एकीकृत उपकरणों के पूर्ण JSON स्कीमा सक्रिय संदर्भ विंडो में लोड करने के बजाय, मुख्य प्रॉम्प्ट में केवल उच्च-स्तरीय उपकरण नाम होते हैं। विस्तृत उपकरण विनिर्देश दूरस्थ फ़ाइल प्रणाली पर रखे जाते हैं। एजेंट विशिष्ट उपकरण स्कीमा को गतिशील रूप से खोजता, पढ़ता और कार्यशील स्मृति में लोड करता है, केवल तभी जब कोई स्पष्ट परिचालन आवश्यकता उत्पन्न होती है।

जटिल कार्यों में उच्च तर्क-गुणवत्ता बनाए रखने के लिए, मुख्य समन्वयक एजेंट टोकन-गहन कार्रवाइयाँ विशेषीकृत उप-एजेंटों को सौंपते हैं। जब किसी कार्य में सैकड़ों शेल स्क्रिप्ट चलाना, व्यापक वेब पृष्ठों से सामग्री निकालना या प्रदर्शन वीडियो बनाना आवश्यक होता है, तो समन्वयक नई संदर्भ विंडो से सुसज्जित एक अलग-थलग उप-एजेंट इंस्टेंस बनाता है। उप-एजेंट अपने टिकाऊ कार्यप्रवाह के भीतर श्रमसाध्य उप-प्रक्रिया निष्पादित करता है और मुख्य संवाद-श्रृंखला को केवल संक्षिप्त, सारगर्भित मार्कडाउन सारांश लौटाता है। कार्य सौंपने का यह प्रतिरूप छद्म-अनंत संदर्भ की परिचालन वास्तविकता पैदा करता है और मुख्य समन्वयक संवाद-श्रृंखला की संदर्भ विंडो को पूरी तरह भरने से रोकता है।

संचालन-ढाँचा इंजीनियरिंग प्रॉम्प्ट कैशिंग संरचना और पृष्ठभूमि संदर्भ संकुचन के माध्यम से प्रणाली की दक्षता को और अनुकूलित करती है। आधारभूत मॉडल API द्वारा उपलब्ध कराई जाने वाली कैश हिट दरों को अधिकतम करने के लिए मॉडल स्थिर प्रणाली प्रॉम्प्ट, गतिशील उपकरण खोज सूचकांक और स्थायी मुख्य स्मृति को संदर्भ सरणी के शीर्ष पर रखते हैं। प्रणाली प्रॉम्प्ट में क्रमिक बदलाव या ए/बी परीक्षण के दौरान कैश की वैधता बनाए रखने के लिए, संचालन ढाँचे निर्धारक खंड-हैशिंग का उपयोग करते हैं, ताकि प्रणाली प्रॉम्प्ट के घटक एक निश्चित, अपरिवर्तनीय क्रम में रहें। इसके अलावा, जैसे ही उपयोगकर्ता चैट UI पर फ़ोकस करता है या टाइप करना शुरू करता है, क्लाइंट अनुप्रयोग सर्वर पर प्रॉम्प्ट कैश को पहले से सक्रिय कर देते हैं, जिससे उपयोगकर्ता द्वारा संदेश भेजने से पहले ही विलंब दूर हो जाता है।

परिचालन विरामों के दौरान, जब मॉडल प्रॉम्प्ट कैश सक्रिय रहते हैं—आमतौर पर 10 से 60-मिनट की अवधि में—प्रणाली पूर्व वार्तालाप लॉग को संरचित सारांशों में संपीड़ित करने के लिए कुछ विवरण छोड़ने वाली पृष्ठभूमि संकुचन प्रक्रियाएँ चलाती है। स्थायी स्मृति तीन अलग-अलग परतों में व्यवस्थित होती है:

  1. मुख्य उपयोगकर्ता तथ्य: उच्च-प्राथमिकता वाली उपयोगकर्ता प्राथमिकताएँ और प्रणालीगत सीमाएँ, जिन्हें हर परिचालन संवाद-चरण में जोड़ा जाता है।
  2. तारीखयुक्त लॉग इतिहास: पिछली प्रणाली अंतःक्रियाओं के कालानुक्रमिक, खोज योग्य अभिलेख, जो दूरस्थ मार्कडाउन फ़ाइलों में संग्रहीत होते हैं।
  3. अल्पकालिक कार्य-नोट्स: अस्थायी परिचालन कार्यशील स्मृति, जिसे कार्य पूरा होने के बाद स्वतः समाप्त होने के लिए डिज़ाइन किया गया है।

सुरक्षा, स्वचालित समीक्षा और मॉडल सुधार का चक्र

स्वायत्त एजेंटों की उद्यम तैनाती महत्वपूर्ण सुरक्षा कमजोरियाँ पैदा करती है, विशेष रूप से कमांड निष्पादन से जुड़ी थकान और प्रॉम्प्ट इंजेक्शन के संबंध में। मानव संचालकों से तेज़ी से आने वाले सैकड़ों शेल कमांड को स्वयं मंज़ूरी दिलाना परिचालन थकावट पैदा करता है, जिससे मानव निगरानी अप्रभावी हो जाती है। इससे निपटने के लिए, उच्च-विश्वसनीयता वाली एजेंट वास्तुकलाएँ द्वितीयक सुरक्षा-नियंत्रण मॉडल लागू करती हैं, जिन्हें स्वचालित समीक्षा प्रणालियाँ कहा जाता है।

स्वचालित समीक्षा सुरक्षा-नियंत्रण एक स्वतंत्र, अत्यधिक विशेषीकृत AI प्रक्रिया के रूप में काम करता है, जो प्रत्येक प्रस्तावित शेल कमांड, स्क्रिप्ट निष्पादन और दृश्य डेस्कटॉप अंतःक्रिया की निष्पादन से पहले जाँच करता है। अनुभवजन्य परीक्षण दिखाते हैं कि दुर्भावनापूर्ण कमांड, वाक्यविन्यास त्रुटियों और परिचालन विचलन की पहचान में स्वचालित द्वितीयक मूल्यांकन मॉडल थके हुए मानव संचालकों से बेहतर प्रदर्शन करते हैं। उच्च-जोखिम वाली, अपरिवर्तनीय कार्रवाइयों—जैसे बाहरी ईमेल भेजना या Stripe Link अथवा X Money जैसी सेवाओं के माध्यम से वित्तीय लेनदेन करना—के लिए प्रणाली स्पष्ट मानव पुष्टि अनिवार्य करने हेतु निष्पादन रोक देती है।

आने वाले ईमेल, तृतीय-पक्ष वेब सामग्री और वेबहुक सहित अविश्वसनीय बाहरी इनपुट, यदि सीधे एजेंट के मुख्य तर्क चक्र में लिए जाएँ, तो गंभीर प्रॉम्प्ट इंजेक्शन जोखिम पैदा करते हैं। सुरक्षित प्रणालियाँ अविश्वसनीय इनपुट को मध्यवर्ती विश्लेषण परतों से गुज़ारकर शुद्ध करती हैं, जिससे दुर्भावनापूर्ण निर्देश-प्रतिस्थापन अप्रमाणित प्रणाली उपकरणों को निष्पादित नहीं कर पाते या क्रेडेंशियल की सुरक्षा से समझौता नहीं कर पाते।

दोहरे चक्र वाले इंजीनियरिंग सुधार तंत्र के माध्यम से प्रणाली की विश्वसनीयता लगातार बेहतर होती है। जब कोई एजेंट किसी कार्य में विफल होता है, तो विफलता के क्रम को स्वचालित मूल्यांकन मानदंड में सूचीबद्ध किया जाता है। तेज़ आंतरिक चक्र में, प्रणाली इंजीनियर तुरंत संचालन-ढाँचे के निर्देश अद्यतन करते हैं, गतिशील उपकरणों को परिष्कृत करते हैं या प्रणाली प्रॉम्प्ट समायोजित करते हैं और सुधार की पुष्टि के लिए मूल्यांकन परीक्षण-संग्रह का उपयोग करते हैं। धीमे बाहरी चक्र में, संकलित विफलता डेटा और सफल कार्य-क्रमों को सूक्ष्म-प्रशिक्षण डेटासेट में संकलित किया जाता है। आधारभूत मॉडल 1 से 6-महीने के संस्करण-रिलीज़ चक्रों में पर्यवेक्षित सूक्ष्म-प्रशिक्षण [SFT] और पुनर्बलन अधिगम [RL] से गुज़रते हैं, ताकि निर्देश पालन, उपकरण चयन और दृश्य डेस्कटॉप नेविगेशन में अंतर्निहित सुधार हो सके।

इन वास्तुकलाओं का निर्माण करने वाली इंजीनियरिंग टीमें एक मुख्य परिचालन सिद्धांत का पालन करती हैं: “उत्पाद को हटा दें।” आज निर्मित जटिल कस्टम उपयोगकर्ता इंटरफ़ेस अमूर्तताओं को न्यूनतम रखना चाहिए, क्योंकि 6 से 12-महीने की अवधियों में आधारभूत मॉडल की क्षमताओं में तेज़ छलाँगें जटिल संचालन-ढाँचा समस्याओं को व्यवस्थित रूप से अंतर्निहित स्तर पर हल कर देती हैं।

प्रणाली की सीमाएँ, वास्तुकला संबंधी समझौते और खुले प्रश्न

अवसंरचना में तेज़ प्रगति के बावजूद, हमेशा सक्रिय एजेंट वास्तुकलाओं में पहल करने और सूचनाओं के प्रबंधन से जुड़े तकनीकी समझौते अभी अनसुलझे हैं। पृष्ठभूमि में मौजूद डिजिटल सहकर्मी को संचालित करने के लिए सूक्ष्म अनुमानी नियमों की आवश्यकता होती है, ताकि यह तय किया जा सके कि एजेंट को कब चुपचाप कार्य निष्पादित करने चाहिए और कब स्थिति की जानकारी देकर उपयोगकर्ता को बाधित करना चाहिए। अत्यधिक आक्रामक पहल से सूचनाओं की थकान और उपयोगकर्ता की झुंझलाहट बढ़ती है, जबकि अत्यधिक सतर्क पहल प्रणाली को एक सामान्य प्रतिक्रियात्मक साधन तक सीमित कर देती है। उद्यमों में तैनाती के दौरान सूचनाएँ देने की इष्टतम सीमाएँ निर्धारित करना अभी भी एक खुली चुनौती है।

दूसरी चुनौती दीर्घकालिक मूल्यांकन का विरोधाभास है। कई सप्ताह की निष्पादन अवधियों में लगातार चलने के लिए बनाए गए एजेंट का आकलन स्वाभाविक रूप से कठिन होता है, जब आधारभूत भाषा मॉडल 30 से 90-दिन के चक्रों में संस्करण संशोधनों या पूर्ण प्रतिस्थापन से गुजरते हैं। महीने भर चलने वाले कार्य-क्रमों का ऑफ़लाइन तुलनात्मक मूल्यांकन अव्यावहारिक हो जाता है यदि मूल्यांकन पूरा होने से पहले ही अंतर्निहित आधारभूत मॉडल अद्यतन कर दिए जाएँ या उनका उपयोग बंद कर दिया जाए, जिससे आधाररेखा प्रदर्शन पर नज़र रखना समस्यापूर्ण हो जाता है।

अंततः, संदर्भ का सारांश बनाने से जानकारी की अपरिहार्य हानि होती है। चूँकि सभी संकुचन एल्गोरिदम हानिपूर्ण संपीड़न पर निर्भर करते हैं, इसलिए विस्तृत लॉग इतिहास, टर्मिनल आउटपुट और फ़ाइल सामग्री के सैकड़ों हज़ार टोकन को संक्षिप्त मार्कडाउन सारांशों में समेटने से सूक्ष्म, अपवाद स्थितियों से जुड़े विवरण स्थायी रूप से खो सकते हैं। यदि लंबे समय तक चलने वाले एजेंट को कई सप्ताह पहले स्थापित सटीक परिचालन मापदंडों की आवश्यकता हो, तो हानिपूर्ण संकुचन निष्पादन के अंतिम चरणों में बिना किसी चेतावनी के कार्य की विफलता या संदर्भ संबंधी मनगढ़ंत जानकारी उत्पन्न होने का कारण बन सकता है।

इन समझौतों का समाधान करने के लिए टोकन खपत की लागत और तर्क की सटीकता के बीच संतुलन बनाना, अनुमान-प्रसंस्करण की विलंबता को अनुकूलित करना और सेवा के रूप में सॉफ़्टवेयर [SaaS] मंचों पर बहु-एजेंट अंतःक्रियाओं के लिए मज़बूत सुरक्षा सीमाएँ स्थापित करना आवश्यक है।

प्रमुख आँकड़े

  • 200,000 टोकन: आधुनिक बड़े भाषा मॉडलों के लिए मानक कार्यशील स्मृति संदर्भ विंडो का मानदंड, जो उस पैमाने को दर्शाता है जहाँ आक्रामक संदर्भ संकुचन एल्गोरिदम अनिवार्य हो जाते हैं।
  • 6 से 12 महीने: वह परिचालन समयावधि जिसमें आधारभूत मॉडल की क्षमताओं में बड़ी प्रगति जटिल अनुकूलित संचालन-ढाँचे के तर्क, मध्यवर्ती अमूर्तीकरण और विशिष्ट उपयोगकर्ता इंटरफ़ेस आवरणों को अप्रचलित बना देती है।
  • 10 से 60 मिनट: वह सामान्य अवधि जिसमें आधारभूत मॉडल प्रदाता प्रॉम्प्ट कैश को तैयार रखते हैं, जो लागत-प्रभावी पृष्ठभूमि संदर्भ संकुचन करने के लिए इष्टतम समय-सीमा निर्धारित करती है।
  • घंटों/दिनों से कई सप्ताह/कई महीने: लक्षित निष्पादन अवधियों में संरचनात्मक बदलाव, जो संक्षिप्त संवादात्मक टर्मिनल सत्रों से बढ़कर स्वायत्त, दीर्घकालिक पृष्ठभूमि कार्यप्रवाहों तक पहुँचता है।

किन बदलावों से यह तस्वीर बदलेगी

  1. हानिपूर्ण संकुचन से ग्राफ़-आधारित स्मृति वास्तुकलाओं की ओर बदलाव: मानक मार्कडाउन संदर्भ सारांशों से हानिरहित ज्ञान ग्राफ़ की ओर उद्योग का व्यापक बदलाव कई महीनों तक चलने वाले निष्पादनों में दीर्घकालिक स्मरण और संदर्भगत सटीकता को नाटकीय रूप से बेहतर बनाएगा।
  2. दीर्घकालिक एजेंट मूल्यांकन मानदंडों का मानकीकरण: पूर्वानुमानात्मक, समय-संपीड़ित ऑफ़लाइन मूल्यांकन ढाँचों का विकास इंजीनियरिंग दलों को वास्तविक समय के निष्पादन चक्रों की प्रतीक्षा करने के बजाय कुछ घंटों में कई सप्ताह के एजेंट कार्यप्रवाहों का सटीक मानदंड-आधारित आकलन करने में सक्षम बनाएगा।
  3. उद्यमों में बिना दृश्य इंटरफ़ेस वाले कंप्यूटर उपयोग की व्यापक तैनाती: उद्यम सॉफ़्टवेयर में सुगम्यता वृक्षों और पिक्सेल अंतःक्रिया के माध्यम से प्रत्यक्ष दृश्य नेविगेशन को सर्वव्यापी रूप से अपनाने से पारंपरिक API एकीकरण और समर्पित मॉडल संदर्भ प्रोटोकॉल कार्यान्वयन की आवश्यकता समाप्त हो जाएगी।
  4. हार्डवेयर स्तर पर अंतर्निहित आवाज़ और वाक् एकीकरण: वास्तविक समय के वाक् प्रसंस्करण के लिए विशेष रूप से बनाए गए, परिवेश में मौजूद कम-विलंबता वाले ध्वनि हार्डवेयर रूपों का प्रसार एजेंट के प्राथमिक नियंत्रण को पाठ संदेश आधारित हल्के क्लाइंट से निरंतर ऑडियो अंतःक्रिया चक्रों की ओर ले जाएगा।

निरंतर स्वायत्त एजेंट अवसंरचना के बारे में अधिक गहन जानकारी प्राप्त करने और आधुनिक मॉडल संचालन-ढाँचे के कार्यान्वयनों का मूल्यांकन करने के लिए, DeepValues Research की साइट पर उपलब्ध मुक्त-स्रोत अनुसंधान संसाधनों पर जाएँ या DeepValues ऐप में सीधे मंच का अनुभव करें।

संदर्भ

Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.

देखें

स्रोत लिंक

देखें और सुनें

रिसर्च टेक्स्ट का लाइसेंस: CC BY 4.0। संदर्भ इस तरह दें: DeepValues Research, हमेशा सक्रिय AI एजेंटों को समझना: अवसंरचना, संदर्भ इंजीनियरिंग और सिस्टम आर्किटेक्चर, https://research.deepvalues.ai/insights/2026-10-31-building-always-on-ai-agents-hi/

मुफ़्त साप्ताहिक ईमेल

Margin of Safety Weekly

हर शनिवार: बाज़ार का तापमान, महान निवेशकों ने क्या खरीदा और बेचा (13F), इस हफ़्ते की नई रिसर्च, वीडियो और पॉडकास्ट — मुफ़्त, किसी अकाउंट की ज़रूरत नहीं। ईमेल अंग्रेज़ी में आता है।

Send me the DeepValues Margin of Safety Weekly, one email every Saturday. I can unsubscribe at any time. Information only, not investment advice. गोपनीयता

और आगे जानें

किसी भी स्टॉक पर यह विश्लेषण 2 मिनट में चलाएँ

Deep Value Intelligence, इस रिपोर्ट के पीछे का मल्टी-एजेंट AI विश्लेषक, किसी भी लिस्टेड कंपनी के लिए माँग पर यही रिपोर्ट तैयार करता है।

Deep Value Intelligence खोलें

DeepValues ऐप में 300+ स्टॉक ट्रैक करें

स्टांस, इंट्रिंसिक वैल्यू और ताज़ा रिपोर्ट, आपके फ़ोन पर।

डेवलपर: API से स्टांस और रिपोर्ट पाएँ

इन पन्नों के पीछे के फंडामेंटल्स, इंट्रिंसिक वैल्यू, स्टांस और रिपोर्ट लिंक, JSON में।

API दस्तावेज़

चर्चा करें