Insights AI

सतत सक्रिय असलेले कृत्रिम बुद्धिमत्ता एजंट समजून घेणे: पायाभूत सुविधा, संदर्भ अभियांत्रिकी आणि प्रणालीची रचना

पॉडकास्ट · ऐका (22 मि.)

SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall

अनुक्रमणिका
  1. AI विकासाचे चार कालखंड आणि टर्मिनलचा अडथळा
  2. प्रणालीची रचना: सर्व्हर-केंद्रित कार्यान्वयन आणि आभासी यंत्र सँडबॉक्सिंग
  3. उप-एजंट आणि संदर्भ अभियांत्रिकी: आभासी-अनंत संदर्भ साध्य करणे
  4. सुरक्षितता, स्वयंचलित पुनरावलोकन आणि मॉडेल सुधारणेचे चक्र
  5. प्रणालीच्या मर्यादा, स्थापत्यरचनेतील तडजोडी आणि अनुत्तरित प्रश्न
  6. महत्त्वाचे आकडे
  7. हे चित्र कशामुळे बदलेल
  8. संदर्भसूची

सतत सक्रिय, पुढाकार घेणारे आणि सातत्याने कार्यरत राहणारे एजंट कृत्रिम बुद्धिमत्तेच्या तैनातीतील मूलभूत रचनात्मक बदल दर्शवतात. यामुळे प्रणालीची रचना मानवी देखरेखीखालील स्थानिक कार्यान्वयन चक्रांपासून स्वायत्त, पार्श्वभूमीतील संस्थात्मक पायाभूत सुविधांकडे वळत आहे. Lee Robinson यांच्या Stanford CS146S व्याख्यानात तपशीलवार सांगितल्याप्रमाणे, हे सातत्याने कार्यरत एजंट सर्व्हर-केंद्रित कार्यान्वयन मॉडेल, टिकाऊ कार्यप्रवाह समन्वय, डिस्कवरील स्थिती-प्रतिमा साठवण्यासह गतिशील आभासी यंत्र सँडबॉक्सिंग, उप-एजंटकडे कार्यांचे प्रत्यायोजन आणि प्रॉम्प्ट संदर्भाचे सातत्यपूर्ण संक्षिप्तीकरण यांवर अवलंबून असतात. एजंटची कार्यचक्रे विकासकांच्या हार्डवेअरपासून आणि स्थानिक टर्मिनल सत्रांपासून वेगळी केल्यामुळे, या रचना परस्परसंवादी कमांड-लाइन संचालन चौकटींच्या भौतिक मर्यादा पार करतात. केवळ प्रतिक्रियात्मक प्रतिसाद साधने म्हणून काम करण्याऐवजी, सतत सक्रिय एजंट आसपास उपलब्ध असलेल्या डिजिटल सहकाऱ्यांप्रमाणे कार्य करतात—क्लाउड वातावरणांत दीर्घकालीन, अनेक आठवडे चालणारी सॉफ्टवेअर अभियांत्रिकी आणि परिचालन कामे पार पाडतात.

AI विकासाचे चार कालखंड आणि टर्मिनलचा अडथळा

कृत्रिम बुद्धिमत्तेशी विकासकांचा संवाद चार स्वतंत्र परिचालन पद्धतींतून विकसित झाला आहे. पहिल्या कालखंडात, विकासक ChatGPT सारख्या वेब संवादपटलांवरून कोडचे तुकडे स्वतः प्रतिलिपित करून थेट स्थानिक एकात्मिक विकास वातावरणांत टाकत असत. हा हस्तचालित कार्यप्रवाह अत्यंत विखंडित होता आणि त्यासाठी सतत संदर्भ बदलणे तसेच मॉडेलचे निर्गम व कोड फायली यांच्यात मानवी रूपांतरण आवश्यक होते.

दुसऱ्या कालखंडात टर्मिनल-आधारित संचालन चौकटी आल्या. या सॉफ्टवेअर आवरणांनी मोठ्या भाषा मॉडेलला स्थानिक कार्यप्रणालींशी प्रतिक्रियात्मक संवाद साधणे शक्य केले: मर्यादित कार्यान्वयन चक्रात फाइल-वृक्षांचे विश्लेषण करणे, स्रोत फायली बदलणे आणि शेल आदेश देणे. मॉडेलना प्रत्यक्ष कृती करण्याची क्षमता देऊन टर्मिनल संचालन चौकटींनी उत्पादकतेत लक्षणीय वाढ घडवून आणली, तरी त्या थेट मानवी आरंभ आणि स्थानिक संगणकाच्या स्थितीशी पूर्णपणे बांधलेल्या राहिल्या.

तिसऱ्या कालखंडात कोडिंग एजंटचा विस्तार समर्पित वापरकर्ता संवादपटल असलेल्या डेस्कटॉप अनुप्रयोगांत झाला, जे क्लाउड वातावरणांत समांतर एजंट प्रती निर्माण करू शकत होते. गणनात्मक कार्यान्वयन दूरस्थ पायाभूत सुविधांकडे सोपवले असले तरी, या पिढीत गंभीर परिचालन अडथळे कायम राहिले: मानवी संचालक हाच प्रमुख अडथळा होता. अनपेक्षित फाइल-विलोपन किंवा प्रणाली अस्थिर होणे टाळण्यासाठी विकासकांना कार्यान्वयन प्रवाहांचे सतत निरीक्षण करावे लागत होते आणि प्रत्येक शेल आदेश स्वतः तपासून मंजूर करावा लागत होता.

उद्योगाने आता चौथ्या कालखंडात प्रवेश केला आहे: क्लाउडच्या पार्श्वभूमीतील पायाभूत सुविधांवर सातत्याने कार्यरत राहणारे, सतत सक्रिय एजंट. समर्पित दूरस्थ कार्यस्थाने, कायमस्वरूपी स्मृतीरचना आणि स्वायत्त वेळापत्रक सक्रियकांनी सुसज्ज असलेले हे एजंट विकासक उपस्थित असोत वा नसोत, सतत काम करतात. टर्मिनलशी बांधलेल्या संचालन चौकटींचा मुख्य रचनात्मक अडथळा—ज्यात लॅपटॉपचे झाकण बंद केल्याने किंवा टर्मिनल सत्र समाप्त केल्याने अंतर्निहित एजंट प्रक्रिया अचानक बंद होते—दूर झाला आहे. शिवाय, चौथ्या कालखंडातील संचालन चौकटी कार्यान्वयन सुरू असताना वापरकर्त्याचे तत्काळ दिशानिर्देश आणि विस्कळीत व्यत्यय हाताळतात. एखाद्या संवाद फेरीदरम्यान वापरकर्त्याने सूचना जोडल्या किंवा तारखा बदलल्या, तर आधुनिक मॉडेल संदर्भाची गुणवत्ता कमी न करता किंवा सुरू असलेल्या कार्याची स्थिती अमान्य न करता हे बदल हाताळतात.

प्रणालीची रचना: सर्व्हर-केंद्रित कार्यान्वयन आणि आभासी यंत्र सँडबॉक्सिंग

सतत सक्रिय एजंटच्या आधारभूत पायाभूत सुविधा समजून घेण्यासाठी, या रचनेची कल्पना "दूरस्थ कार्यक्षेत्र असलेला डिजिटल सहकारी" अशी करता येते. या मॉडेलमध्ये अंतिम वापरकर्ता मजकूर संदेशवहनासारख्या साध्या संदेशवहन क्लायंटद्वारे संवाद साधतो, तर मुख्य कार्यभार, प्रणालीची स्मृती, साधनांचे अवलंबित्व आणि कार्यपर्यावरण स्वतंत्र क्लाउड पायाभूत सुविधांवर असतात.

प्रणालीची कार्यान्वयन साखळी स्पष्ट प्रॉम्प्ट किंवा पार्श्वभूमीतील घटनांद्वारे सुरू होते. केवळ वापरकर्त्याच्या थेट आवाहनावर सक्रिय होणाऱ्या पारंपरिक प्रणालींप्रमाणे नसून, सतत सक्रिय एजंट पार्श्वभूमीतील नियोजित क्रॉन प्रक्रिया किंवा बाह्य वेबहुकद्वारे सक्रिय होऊ शकतो, जसे की येणारे Slack संदेश, स्वयंचलित ईमेल किंवा दिनदर्शिकेतील निमंत्रणे. महत्त्वाचे म्हणजे, अनुपस्थित मानवी कर्मचाऱ्यांच्या जागी एजंट स्वायत्तपणे आभासी व्हिडिओ किंवा ध्वनी बैठकींमध्ये सहभागी होऊन नोंदी करू शकतात, चर्चेतील मुद्द्यांचा सारांश तयार करू शकतात आणि कृतीयोग्य कार्यांची नोंद ठेवू शकतात. येणाऱ्या घटनांचा मार्गनिर्देशक पुनरावृत्त संकेत वगळतो, परिचालन प्राधान्य ठरवतो आणि एजंटने वापरकर्त्याला त्वरित सूचना द्यावी की पार्श्वभूमीत शांतपणे कार्य हाताळावे हे ठरवण्यासाठी पुढाकारासंबंधी अनुभवाधारित नियम लागू करतो. उच्च-प्राधान्याचे वापरकर्ता दिशानिर्देश पार्श्वभूमी प्रक्रियेच्या रांगांवर त्वरित प्राधान्य घेतात.

या रचनेचा केंद्रबिंदू म्हणजे मर्यादित कार्यक्षमतेचा क्लायंट आणि विस्तृत कार्यक्षमतेचा सर्व्हर हा रचनात्मक नमुना. क्लायंट अनुप्रयोगात अत्यल्प परिचालन तर्क असतो आणि दूरस्थ सर्व्हरवरील स्वरूपित निर्गम प्रदर्शित करण्यासाठी तो एकच send_user अनुप्रयोग प्रोग्रामिंग संवादपटल साधन उपलब्ध करून देतो. मुख्य एजंट कार्यचक्र स्थानिक अनुप्रयोगांऐवजी केंद्रीय सर्व्हरवर ठेवल्याने तंत्रज्ञान संघांना अनुप्रयोग वितरण मंचाच्या मंजुरीतील विलंब किंवा सेवा खंडित होण्याशिवाय सर्व्हरमागील प्रणालीत जलद सुधारणा तैनात करता येतात. शिवाय, ध्वनीचे मजकुरात रूपांतर किंवा प्रतिमानिर्मिती यांसारखी जड गणनात्मक कार्ये अनुकूलित सर्व्हर पायाभूत सुविधांवर केंद्रीकृत राहतात. क्लायंट अनुप्रयोग सर्व्हरसोबत तत्काळ घटना-प्रवाह सदस्यता स्थापित करतो आणि स्थितीचा समन्वय बिघडू न देता सानुकूल प्रवेश अर्ज, 1Password प्रवेश ओळखमाहिती किंवा आर्थिक अधिकृतता पडदे यांसारखे परस्परसंवादी वापरकर्ता संवादपटल घटक दाखवण्यासाठी संदेशांतील पुनरावृत्ती वगळण्याचा तर्क वापरतो.

कार्यान्वयनाची सुरक्षितता आणि पर्यावरणाचे विलगीकरण Firecracker आभासी यंत्र सँडबॉक्सद्वारे साधले जाते. प्रत्येक एजंट प्रत स्वतःच्या समर्पित Linux कंटेनरमध्ये कार्य करते, ज्यात कायमस्वरूपी फाइल साठवण, आभासी डेस्कटॉप आणि दृश्य संवादपटलाशिवाय चालणारा Chrome ब्राउझर असतो. केवळ अनुप्रयोग प्रोग्रामिंग संवादपटलांच्या एकत्रीकरणांवर अवलंबून राहण्याऐवजी, एजंट संगणक-वापर क्षमतांद्वारे सॉफ्टवेअर प्रणालींशी संवाद साधतात. परस्परसंवादी घटक ओळखण्यासाठी ते संरचित कार्यप्रणाली सुलभता-वृक्षांद्वारे वेब संवादपटलांचे विश्लेषण करतात; अप्रमाणित संवादपटलांमध्ये मार्गक्रमण करताना ते थेट दृश्य पडदा-प्रतिमेचे विश्लेषण आणि पिक्सेल निर्देशांकांवरील क्लिक यांचा पर्यायी आधार घेतात. हार्डवेअरच्या मर्यादा आणि होस्टिंग खर्च हाताळण्यासाठी, Firecracker आभासी यंत्रे त्यांची कार्यान्वयन स्थिती गतिशीलपणे डिस्कवर प्रतिमारूपात साठवतात आणि निष्क्रिय असताना सुप्तावस्थेत जातात; नवीन जागृती सक्रियक मिळताच संपूर्ण परिचालन स्थिती त्वरित पुनर्स्थापित करतात.

अनेक आठवडे चालणाऱ्या कार्यांमधील प्रणालीचे टिकाऊपण पारंपरिक कार्यरांगांऐवजी टिकाऊ कार्यप्रवाह चौकटींवर अवलंबून असते. सामान्य कार्यरांगा संगणकीय नोड निकामी झाल्यास कामे पहिल्या पायरीपासून पुन्हा सुरू करतात, ज्यामुळे गुंतागुंतीच्या बहुपायरी कार्यांत गंभीर पुनरावृत्त दुष्परिणाम होतात. Temporal सारख्या टिकाऊ कार्यप्रवाह यंत्रणा वापरून एजंटची कार्यान्वयन स्थिती, चलांची स्मृती आणि परिचालन संदर्भ सातत्याने पुनर्प्राप्ती बिंदूंवर साठवले जातात. अंतर्निहित पायाभूत सुविधांतील एखादा नोड निकामी झाल्यास, टिकाऊ कार्यप्रवाह आधी पूर्ण झालेली साधन-आवाहने पुन्हा न चालवता, बिघाड झाला त्याच बिंदूपासून कार्यान्वयन सुरू ठेवतो.

उप-एजंट आणि संदर्भ अभियांत्रिकी: आभासी-अनंत संदर्भ साध्य करणे

दीर्घ परिचालन कालावधीत मोठ्या भाषा मॉडेलच्या क्षमतेवर मर्यादा घालणारा मुख्य अडथळा म्हणजे संदर्भाची गुणवत्ता खालावणे. मोठ्या भाषा मॉडेलची संदर्भ चौकट प्रणाली प्रॉम्प्ट, साधनांच्या संरचनात्मक व्याख्या, फायलींमधून वाचलेला मजकूर आणि कार्यान्वयन नोंदींनी भरत गेल्याने प्रणालीची कामगिरी ढासळते. टोकन वापराचा खर्च अरैखिक पद्धतीने वाढतो, परिचालन विलंब वाढतो आणि प्रारंभिक सूचनांबाबत उच्च दर्जाची तर्कशुद्धता टिकवण्याची मॉडेलची क्षमता लक्षणीयरीत्या कमी होते.

संदर्भाचा अनावश्यक विस्तार कमी करण्यासाठी, आधुनिक एजंट संचालन चौकटी गतिशील साधन-शोध वापरतात, ज्याला अनेकदा "साधन शोधण्याचे साधन" म्हटले जाते. मॉडेल संदर्भ प्रोटोकॉल सर्व्हर, सानुकूल सॉफ्टवेअर विकास संच किंवा बाह्य डेटाबेस अनुप्रयोग प्रोग्रामिंग संवादपटले यांसारख्या डझनावारी एकत्रित साधनांच्या संपूर्ण संरचनात्मक व्याख्या सक्रिय संदर्भ चौकटीत लोड करण्याऐवजी, मुख्य प्रॉम्प्टमध्ये केवळ उच्चस्तरीय साधनांची नावे असतात. साधनांची तपशीलवार वैशिष्ट्ये दूरस्थ फाइल प्रणालीवर राखली जातात. स्पष्ट परिचालन गरज निर्माण झाल्यावरच एजंट विशिष्ट साधनांच्या संरचनात्मक व्याख्या गतिशीलपणे शोधतो, वाचतो आणि कार्यरत स्मृतीत लोड करतो.

गुंतागुंतीच्या कार्यांमध्ये तर्कशक्तीची उच्च गुणवत्ता राखण्यासाठी, मुख्य समन्वयक एजंट मोठ्या प्रमाणात टोकन वापरणारी कामे विशेषीकृत उप-एजंटना सोपवतात. एखाद्या कामासाठी शेकडो शेल स्क्रिप्ट चालवणे, विस्तृत वेब पृष्ठांमधून माहिती गोळा करणे किंवा प्रात्यक्षिक व्हिडिओ तयार करणे आवश्यक असल्यास, समन्वयक नवीन संदर्भ चौकट असलेला स्वतंत्र उप-एजंट निर्माण करतो. उप-एजंट स्वतःच्या टिकाऊ कार्यप्रवाहात श्रमप्रधान उपप्रक्रिया पार पाडतो आणि मुख्य कार्यधाग्याकडे केवळ संक्षिप्त, सारभूत मार्कडाउन सारांश परत पाठवतो. प्रत्यायोजनाची ही पद्धत आभासी-अनंत संदर्भाची परिचालन वास्तविकता निर्माण करते आणि मुख्य समन्वयक कार्यधाग्यावरील संदर्भ चौकट संपुष्टात येण्यास प्रतिबंध करते.

संचालन चौकट अभियांत्रिकी प्रॉम्प्ट कॅशिंग रचना आणि पार्श्वभूमीतील संदर्भ संक्षिप्तीकरणाद्वारे प्रणालीची कार्यक्षमता आणखी सुधारते. मूलभूत मॉडेलांच्या अनुप्रयोग प्रोग्रामिंग संवादपटलांद्वारे मिळणाऱ्या कॅशमधील जुळणीचे दर जास्तीत जास्त ठेवण्यासाठी, मॉडेल स्थिर प्रणाली प्रॉम्प्ट, गतिशील साधन-शोध अनुक्रमणिका आणि कायमस्वरूपी मुख्य स्मृती संदर्भ क्रमसंग्रहाच्या सुरुवातीला ठेवतात. प्रणाली प्रॉम्प्टच्या पुनरावृत्त सुधारणा किंवा पर्यायी आवृत्त्यांच्या तुलनात्मक चाचण्यांदरम्यान कॅशची वैधता राखण्यासाठी, संचालन चौकटी निर्धारक विभाग-हॅशिंग वापरून प्रणाली प्रॉम्प्टचे घटक निश्चित, अपरिवर्तनीय क्रमात राहतील याची खात्री करतात. शिवाय, वापरकर्ता संवादपटलावर लक्ष केंद्रित करताच किंवा टाइप करू लागताच क्लायंट अनुप्रयोग सर्व्हरवर प्रॉम्प्ट कॅश पूर्वसज्ज करतात, ज्यामुळे वापरकर्त्याने संदेश पाठवण्यापूर्वीच विलंब दूर होतो.

परिचालनातील शांत कालावधीत, मॉडेलचे प्रॉम्प्ट कॅश सज्ज असताना—सामान्यतः 10 ते 60-मिनिटांच्या कालमर्यादेत—प्रणाली पूर्वीच्या संभाषण नोंदी संरचित सारांशांत संकुचित करण्यासाठी काही माहिती गमावणाऱ्या पार्श्वभूमी संक्षिप्तीकरण प्रक्रिया चालवते. कायमस्वरूपी स्मृती तीन स्वतंत्र स्तरांत आयोजित केली जाते:

  1. वापरकर्त्याविषयी मूलभूत तथ्ये: प्रत्येक परिचालन फेरीत समाविष्ट केल्या जाणाऱ्या उच्च-प्राधान्याच्या वापरकर्ता पसंती आणि प्रणालीगत मर्यादा.
  2. दिनांकित नोंद इतिहास: दूरस्थ मार्कडाउन फायलींमध्ये साठवलेल्या, पूर्वीच्या प्रणाली संवादांच्या कालानुक्रमिक आणि शोधता येण्याजोग्या नोंदी.
  3. अल्पकालीन टिपणवहीतील नोंदी: कार्य पूर्ण झाल्यानंतर आपोआप कालबाह्य होण्यासाठी तयार केलेली तात्पुरती परिचालन कार्यस्मृती.

सुरक्षितता, स्वयंचलित पुनरावलोकन आणि मॉडेल सुधारणेचे चक्र

स्वायत्त एजंटची संस्थात्मक तैनाती महत्त्वपूर्ण सुरक्षाविषयक असुरक्षा निर्माण करते, विशेषतः आदेश कार्यान्वयनामुळे येणारा थकवा आणि प्रॉम्प्टमध्ये घातक सूचना घुसवण्याच्या बाबतीत. वेगाने येणाऱ्या शेकडो शेल आदेशांना मानवी संचालकांनी स्वतः मंजुरी देण्याची आवश्यकता परिचालन थकवा निर्माण करते आणि मानवी देखरेख निष्प्रभ ठरवते. यावर उपाय म्हणून, अत्यंत विश्वासार्ह एजंट रचना स्वयंचलित पुनरावलोकन प्रणाली म्हणून ओळखली जाणारी दुय्यम संरक्षक मॉडेल लागू करतात.

स्वयंचलित पुनरावलोकन संरक्षक स्वतंत्र, अत्यंत विशेषीकृत कृत्रिम बुद्धिमत्ता प्रक्रिया म्हणून कार्य करतो आणि कार्यान्वयनापूर्वी प्रत्येक प्रस्तावित शेल आदेश, स्क्रिप्ट कार्यान्वयन आणि दृश्य डेस्कटॉप संवाद तपासतो. अनुभवाधारित चाचण्यांतून दिसते की दुर्भावनायुक्त आदेश, वाक्यरचना त्रुटी आणि परिचालनातील विचलन शोधण्यात स्वयंचलित दुय्यम मूल्यमापन मॉडेल थकलेल्या मानवी संचालकांपेक्षा चांगली कामगिरी करतात. बाह्य ईमेल पाठवणे किंवा Stripe Link किंवा X Money सारख्या सेवांद्वारे आर्थिक व्यवहार करणे यांसारख्या उच्च-जोखीम, उलटवता न येणाऱ्या कार्यांसाठी, प्रणाली कार्यान्वयन थांबवून स्पष्ट मानवी पुष्टी अनिवार्य करते.

येणारे ईमेल, तृतीय-पक्ष वेब मजकूर आणि वेबहुक यांसह अविश्वसनीय बाह्य निविष्ट्या थेट एजंटच्या मुख्य तर्कप्रक्रिया चक्रात घेतल्यास प्रॉम्प्टमध्ये घातक सूचना घुसवण्याचा गंभीर धोका निर्माण होतो. सुरक्षित प्रणाली अविश्वसनीय निविष्ट्या मध्यवर्ती विश्लेषण स्तरांतून पाठवून शुद्ध करतात, ज्यामुळे दुर्भावनायुक्त सूचनांनी मूळ सूचना डावलून अप्रमाणित प्रणाली साधने चालवणे किंवा प्रवेश ओळखमाहितीची सुरक्षा भंग करणे रोखले जाते.

दुहेरी अभियांत्रिकी सुधारणा चक्राद्वारे प्रणालीची विश्वासार्हता सातत्याने वाढते. एजंट एखाद्या कार्यात अपयशी ठरल्यास, त्या अपयशाकडे नेणारा कृतीक्रम स्वयंचलित मूल्यमापन मापदंडात नोंदवला जातो. जलद अंतर्गत चक्रात, प्रणाली अभियंते संचालन चौकटीच्या सूचना त्वरित अद्ययावत करतात, गतिशील साधने सुधारतात किंवा प्रणाली प्रॉम्प्ट बदलतात आणि सुधारणा पडताळण्यासाठी मूल्यमापन चाचणीसंच वापरतात. संथ बाह्य चक्रात, एकत्रित अपयश डेटा आणि यशस्वी कृतीक्रम सूक्ष्म-समायोजन डेटासंचांत संकलित केले जातात. सूचना पालन, साधन निवड आणि दृश्य डेस्कटॉप मार्गक्रमण या क्षमता अंतर्गतरीत्या सुधारण्यासाठी मूलभूत आधार मॉडेलांचे 1 ते 6-महिन्यांच्या प्रकाशन चक्रांत पर्यवेक्षित सूक्ष्म-समायोजन आणि बक्षीसाधारित शिक्षण केले जाते.

या रचना उभारणारे अभियांत्रिकी संघ एका मूलभूत परिचालन तत्त्वाचे पालन करतात: "उत्पादन काढून टाका." आज तयार केले जाणारे गुंतागुंतीचे सानुकूल वापरकर्ता संवादपटल अमूर्तीकरण किमान ठेवले पाहिजे, कारण 6 ते 12-महिन्यांच्या कालावधीत मूलभूत मॉडेलांच्या क्षमतेतील जलद झेप गुंतागुंतीच्या संचालन चौकट समस्या सातत्याने अंतर्गतरीत्या सोडवतात.

प्रणालीच्या मर्यादा, स्थापत्यरचनेतील तडजोडी आणि अनुत्तरित प्रश्न

पायाभूत सुविधांमध्ये वेगाने प्रगती होत असूनही, सतत कार्यरत एजंट स्थापत्यरचनांना पुढाकार घेणे आणि सूचना व्यवस्थापन यांसंबंधी अनिर्णित तांत्रिक तडजोडींना सामोरे जावे लागते. पार्श्वभूमीत कार्यरत डिजिटल सहकारी चालवण्यासाठी, एजंटने कार्ये शांतपणे कधी पार पाडावीत आणि स्थितीविषयक अद्यतनांसाठी वापरकर्त्याला कधी व्यत्यय आणावा हे ठरवणाऱ्या सूक्ष्म निर्णयपद्धती आवश्यक असतात. अतिरेकी पुढाकारामुळे सूचनांचा थकवा आणि वापरकर्त्याची चिडचिड वाढते, तर अत्यंत सावध पुढाकारामुळे प्रणालीचे रूपांतर एका सामान्य प्रतिक्रियात्मक साधनात होते. संस्थात्मक उपयोजनांमध्ये सूचनांसाठी सर्वोत्तम मर्यादा निश्चित करणे हे अद्याप अनुत्तरित आव्हान आहे.

दुसरे आव्हान म्हणजे दीर्घकालीन मूल्यमापनाचा विरोधाभास. अनेक आठवड्यांच्या कार्यकालावधीत अखंड चालण्यासाठी तयार केलेल्या एजंटचे मूल्यमापन करणे मुळातच अवघड असते, कारण पायाभूत भाषा मॉडेलच्या आवृत्त्या 30 ते 90-दिवसांच्या चक्रात सुधारल्या जातात किंवा ती मॉडेल पूर्णपणे बदलली जातात. मूल्यमापन पूर्ण होण्यापूर्वीच अंतर्निहित पायाभूत मॉडेल अद्ययावत झाली किंवा वापरातून बाद झाली, तर महिनाभर चालणाऱ्या कार्यप्रवासांचे ऑफलाइन तुलनात्मक मूल्यमापन अव्यवहार्य ठरते आणि आधारभूत कामगिरीचा मागोवा घेणे समस्याप्रधान बनते.

शेवटी, संदर्भाच्या सारांशामुळे माहितीची अपरिहार्य हानी होते. सर्व संक्षेपण अल्गोरिदम माहिती गमावणाऱ्या संपीडनावर अवलंबून असल्याने, तपशीलवार नोंदींचा इतिहास, टर्मिनलवरील निर्गम आणि फाइलमधील मजकूर यांतील लाखो टोकन संक्षिप्त मार्कडाउन सारांशांमध्ये रूपांतरित करताना सूक्ष्म, अपवादात्मक परिस्थितीतील तपशील कायमचे गमावण्याचा धोका असतो. दीर्घकाळ चालणाऱ्या एजंटला काही आठवड्यांपूर्वी निश्चित केलेले अचूक परिचालन मापदंड आवश्यक असतील, तर माहिती गमावणाऱ्या संक्षेपणामुळे अंमलबजावणीच्या नंतरच्या टप्प्यात कोणतीही सूचना न मिळता कार्य अपयशी होऊ शकते किंवा संदर्भाबाबत काल्पनिक माहिती निर्माण होऊ शकते.

या तडजोडींवर उपाय करण्यासाठी टोकन वापराचा खर्च आणि तर्कविचाराची अचूकता यांचा समतोल साधणे, अनुमान प्रक्रियेतील विलंब अनुकूल करणे आणि सेवा म्हणून सॉफ्टवेअर [SaaS] मंचांवरील बहु-एजंट परस्परसंवादांसाठी मजबूत सुरक्षा सीमा स्थापित करणे आवश्यक आहे.

महत्त्वाचे आकडे

  • 200,000 टोकन: आधुनिक विशाल भाषा मॉडेलसाठी कार्यरत स्मृतीच्या संदर्भ क्षेत्राचा मानक मापदंड; या व्याप्तीवर तीव्र संदर्भ संक्षेपण अल्गोरिदम अनिवार्य ठरतात.
  • 6 ते 12 महिने: पायाभूत मॉडेलच्या क्षमतांमधील झेपांमुळे गुंतागुंतीचे सानुकूल संचालन-चौकट तर्कनियम, मध्यवर्ती अमूर्त स्तर आणि विशेष वापरकर्ता-अंतरफलक आवरणे कालबाह्य ठरण्याचा परिचालन कालावधी.
  • 10 ते 60 मिनिटे: पायाभूत मॉडेल पुरवठादार प्रॉम्प्ट कॅशे वापरासाठी सज्ज ठेवतात तो सामान्य कालावधी; खर्च-कार्यक्षम पार्श्वभूमी संदर्भ संक्षेपण करण्यासाठीची सर्वोत्तम वेळमर्यादा यावरून ठरते.
  • तास/दिवस ते अनेक आठवडे/अनेक महिने: लक्ष्यित अंमलबजावणी कालावधीतील संरचनात्मक बदल; अल्पकालीन परस्परसंवादी टर्मिनल सत्रांपासून स्वायत्त, दीर्घकालीन पार्श्वभूमी कार्यप्रवाहांपर्यंत होणारा विस्तार.

हे चित्र कशामुळे बदलेल

  1. माहिती गमावणाऱ्या संक्षेपणापासून आलेख-आधारित स्मृती स्थापत्यरचनांकडे वळणे: मानक मार्कडाउन संदर्भ सारांशांपासून माहिती न गमावणाऱ्या ज्ञान आलेखांकडे उद्योगव्यापी वळण घेतल्यास, अनेक महिने चालणाऱ्या अंमलबजावणीदरम्यान दीर्घकालीन स्मरणक्षमता आणि संदर्भाची अचूकता लक्षणीयरीत्या सुधारेल.
  2. दीर्घकालीन एजंट मूल्यमापन मापदंडांचे प्रमाणीकरण: भाकितक्षम, वेळ संकुचित करणाऱ्या ऑफलाइन मूल्यमापन चौकटी विकसित झाल्यास, अभियांत्रिकी संघांना प्रत्यक्ष वेळेतील अंमलबजावणी चक्रांची प्रतीक्षा करण्याऐवजी अनेक आठवड्यांच्या एजंट कार्यप्रवाहांचे अचूक मापदंड काही तासांत ठरवता येतील.
  3. प्रत्यक्ष वापरकर्ता-अंतरफलकाविना संगणक वापराचे व्यापक संस्थात्मक उपयोजन: संस्थात्मक सॉफ्टवेअरमध्ये सुलभता वृक्ष आणि पिक्सेल परस्परसंवादाद्वारे थेट दृश्य दिशानिर्देशनाचा सार्वत्रिक स्वीकार झाल्यास, पारंपरिक API एकत्रीकरणे आणि समर्पित Model Context Protocol अंमलबजावणींची गरज टाळता येईल.
  4. हार्डवेअर स्तरावर अंतर्निहित आवाज आणि वाणी एकत्रीकरण: प्रत्यक्ष वेळेतील वाणी प्रक्रियेसाठी अनुकूल केलेल्या, पार्श्वभूमीत कार्यरत आणि कमी विलंब असलेल्या ध्वनी हार्डवेअरच्या विविध स्वरूपांचा प्रसार झाल्यास, एजंटचे मुख्य नियंत्रण मजकूर संदेशाधारित मर्यादित-प्रक्रिया क्लायंटकडून सततच्या ध्वनी परस्परसंवाद चक्रांकडे वळेल.

सतत कार्यरत स्वायत्त एजंटच्या पायाभूत सुविधांविषयी अधिक सखोल अंतर्दृष्टी मिळवण्यासाठी आणि आधुनिक मॉडेल संचालन-चौकटींच्या अंमलबजावणीचे मूल्यमापन करण्यासाठी, DeepValues Research संकेतस्थळावर उपलब्ध मुक्त-स्रोत संशोधन संसाधनांना भेट द्या किंवा DeepValues अनुप्रयोगात थेट मंचाचा अनुभव घ्या.

संदर्भसूची

Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.

पाहा

स्रोतांच्या लिंक्स

पाहा आणि ऐका

संशोधन मजकूर CC BY 4.0, संदर्भ असा द्या: DeepValues Research, सतत सक्रिय असलेले कृत्रिम बुद्धिमत्ता एजंट समजून घेणे: पायाभूत सुविधा, संदर्भ अभियांत्रिकी आणि प्रणालीची रचना, https://research.deepvalues.ai/insights/2026-10-31-building-always-on-ai-agents-mr/

मोफत साप्ताहिक ईमेल

Margin of Safety Weekly

दर शनिवारी ईमेल: बाजाराचे तापमान, दिग्गज गुंतवणूकदारांनी काय खरेदी केले आणि विकले (13F दाखले), आठवड्याचे नवीन संशोधन, आमचे व्हिडिओ आणि पॉडकास्ट — मोफत, खाते आवश्यक नाही.

Send me the DeepValues Margin of Safety Weekly, one email every Saturday. I can unsubscribe at any time. Information only, not investment advice. गोपनीयता

आणखी जाणून घ्या

कोणत्याही शेअरचे हे विश्लेषण 2 मिनिटांत करा

हा अहवाल तयार करणारा मल्टी-एजंट AI विश्लेषक Deep Value Intelligence, मागणीनुसार कोणत्याही सूचीबद्ध कंपनीसाठी असाच अहवाल तयार करतो.

Deep Value Intelligence उघडा

DeepValues ॲपमध्ये 300+ शेअर्सवर लक्ष ठेवा

भूमिका, अंतर्निहित मूल्य आणि नवीनतम अहवाल, तुमच्या फोनवर.

डेव्हलपर्स: API द्वारे भूमिका आणि अहवाल

या पानांमागील मूलभूत आर्थिक माहिती, अंतर्निहित मूल्ये, भूमिका आणि अहवालांच्या लिंक्स, JSON स्वरूपात.

API दस्तऐवज

चर्चा करा