Insights AI
Sürekli Aktif Yapay Zekâ Ajanlarını Anlamak: Altyapı, Bağlam Mühendisliği ve Sistem Mimarisi
Podcast · Dinle (22 dk)
İçindekiler
- Yapay Zekâ Geliştirmenin Dört Dönemi ve Terminal Darboğazı
- Sistem Mimarisi: Sunucu Merkezli Yürütme ve Sanal Makine Korumalı Alanları
- Alt Ajanlar ve Bağlam Mühendisliği: Sözde Sonsuz Bağlama Ulaşmak
- Güvenlik, Otomatik İnceleme ve Model İvme Döngüsü
- Sistem Sınırlamaları, Mimari Ödünleşimler ve Açık Sorular
- Önemli Sayılar
- Bu Tabloyu Neler Değiştirir
- Kaynakça
Sürekli etkin, proaktif ve kalıcı ajanlar, yapay zekânın kullanıma alınmasında yapısal bir paradigma değişimini temsil ederek sistem tasarımını insan gözetimindeki yerel yürütme döngülerinden özerk, arka planda çalışan kurumsal altyapıya taşır. Lee Robinson’ın Stanford CS146S dersinde ayrıntılı olarak açıklandığı üzere, bu kalıcı ajanlar sunucu merkezli bir yürütme modeline, kalıcı iş akışı orkestrasyonuna, disk anlık görüntüleriyle dinamik sanal makine korumalı alanlarına, alt ajanlara görev devrine ve sürekli istem bağlamı sıkıştırmasına dayanır. Ajan döngülerini geliştirici donanımından ve yerel terminal oturumlarından ayıran bu mimariler, etkileşimli komut satırı yürütme çerçevelerinin fiziksel kısıtlarını aşar. Sürekli etkin ajanlar, yalnızca tepkisel yanıt araçları olarak hizmet vermek yerine, bulut ortamlarında uzun vadeli, haftalar süren yazılım mühendisliği ve operasyon görevlerini yerine getiren, arka planda çalışan dijital meslektaşlar olarak işlev görür.
Yapay Zekâ Geliştirmenin Dört Dönemi ve Terminal Darboğazı
Geliştiricilerin yapay zekâyla etkileşimi, dört farklı operasyonel paradigma üzerinden evrilmiştir. İlk dönemde geliştiriciler, ChatGPT gibi web arayüzlerinden kod parçalarını doğrudan yerel tümleşik geliştirme ortamlarına elle kopyalıyordu. Bu manuel iş akışı son derece parçalıydı; sürekli bağlam değişimini ve model çıktıları ile kod dosyaları arasında insan eliyle uyarlama yapılmasını gerektiriyordu.
İkinci dönem, terminal tabanlı yürütme çerçevelerini getirdi. Bu yazılım sarmalayıcıları, bir Büyük Dil Modelinin [LLM] dosya ağaçlarını çözümleyerek, kaynak dosyalarını değiştirerek ve sınırlı bir yürütme döngüsü içinde kabuk komutları vererek yerel işletim sistemleriyle tepkisel biçimde etkileşime girmesini sağladı. Terminal çerçeveleri, modellere operasyonel eylem yeteneği kazandırarak önemli verimlilik artışlarının önünü açsa da doğrudan insan tarafından başlatılmaya ve yerel bilgisayarın durumuna sıkı sıkıya bağlı kalıyordu.
Üçüncü dönem, kodlama ajanlarını bulut ortamlarında paralel ajan örnekleri başlatabilen özel Kullanıcı Arayüzü [UI] masaüstü uygulamalarına taşıdı. Hesaplama işlemlerini uzak altyapıya aktarmasına rağmen bu nesil, kritik operasyonel sürtüşmeler yaşadı: insan operatör temel darboğaz olmaya devam etti. Geliştiriciler, istenmeyen dosya silmelerini veya sistem kararlılığının bozulmasını önlemek için yürütme akışlarını sürekli izlemek, her kabuk komutunu elle incelemek ve onaylamak zorunda kalıyordu.
Sektör artık dördüncü döneme girmiştir: bulutun arka plan altyapısında sürekli etkin biçimde çalışan kalıcı ajanlar. Özel uzak iş istasyonları, kalıcı bellek yapıları ve özerk zamanlama tetikleyicileriyle donatılan bu ajanlar, geliştiricinin mevcut olup olmamasından bağımsız olarak sürekli çalışır. Bir dizüstü bilgisayarın kapağının kapatılması veya terminal oturumunun sonlandırılmasıyla altta çalışan ajan sürecinin aniden sonlanmasına yol açan, terminale bağlı yürütme çerçevelerinin temel yapısal darboğazı ortadan kaldırılmıştır. Ayrıca dördüncü dönem çerçeveleri, yürütme sırasında gerçek zamanlı kullanıcı yönlendirmelerini ve dağınık ara müdahaleleri işler. Kullanıcı bir işlem turunun ortasında talimat ekler veya tarihleri değiştirirse modern modeller, bağlamı bozmadan ya da devam eden görevin durumunu geçersiz kılmadan bu akışkan güncellemeleri ele alır.
Sistem Mimarisi: Sunucu Merkezli Yürütme ve Sanal Makine Korumalı Alanları
Sürekli etkin bir ajanın temelindeki altyapıyı anlamak için mimari, “Uzak Çalışma Alanına Sahip Dijital Meslektaş” olarak kavramsallaştırılabilir. Bu modelde son kullanıcı, metin mesajlaşmasına benzer hafif bir mesajlaşma istemcisi üzerinden etkileşim kurarken temel iş yükü, sistem belleği, araç bağımlılıkları ve çalışma ortamı yalıtılmış bulut altyapısında bulunur.
Sistemin yürütme hattı, açık istemler veya arka plan olayları aracılığıyla başlatılır. Yalnızca doğrudan kullanıcı çağrısıyla uyanan geleneksel sistemlerin aksine, sürekli etkin bir ajan arka plandaki zamanlanmış görev rutinleri veya gelen Slack mesajları, otomatik e-postalar ya da takvim davetleri gibi harici web kancaları tarafından etkinleştirilebilir. Daha da önemlisi, ajanlar mevcut olmayan insan çalışanların yerine sanal görüntülü veya sesli toplantılara özerk biçimde katılarak not alabilir, tartışma konularını özetleyebilir ve eyleme dönüştürülebilir görevleri kaydedebilir. Bir gelen olay yönlendiricisi, gelen sinyallerin tekrarlarını giderir, operasyonel öncelik atar ve ajanın kullanıcıyı hemen uyarması mı yoksa görevi arka planda sessizce işlemesi mi gerektiğini belirlemek için proaktiflik sezgisel kurallarını uygular. Yüksek öncelikli kullanıcı yönlendirme girdileri, arka plan işleme kuyruklarının önüne derhâl geçer.
Bu mimarinin merkezinde hafif istemci, ağır sunucu tasarım kalıbı yer alır. İstemci uygulaması asgari düzeyde operasyonel mantık içerir ve uzak sunucudan gelen biçimlendirilmiş çıktıları görüntülemek için tek bir send_user Uygulama Programlama Arayüzü [API] aracı sunar. Temel ajan döngüsünü yerel uygulamalar yerine merkezi bir sunucuya yerleştirmek, teknoloji ekiplerinin uygulama mağazası onay gecikmeleri veya hizmet kesintileri olmadan hızlı arka uç güncellemeleri yayımlamasını sağlar. Ayrıca sesin yazıya dökülmesi veya görüntü üretimi gibi yoğun hesaplama işlemleri, optimize edilmiş sunucu altyapısında merkezi olarak yürütülmeye devam eder. İstemci uygulaması, sunucuyla gerçek zamanlı olay akışı abonelikleri kurar ve özel oturum açma formları, 1Password kimlik bilgileri veya finansal yetkilendirme ekranları gibi etkileşimli UI öğelerini durum eşzamanlılığını bozmadan görüntülemek için mesaj tekrarlarını giderme mantığını kullanır.
Yürütme güvenliği ve ortam yalıtımı, Firecracker Sanal Makine [VM] korumalı alanlarıyla sağlanır. Her ajan örneği, kalıcı dosya depolama, sanal masaüstleri ve grafik arayüzsüz bir Chrome tarayıcısıyla donatılmış kendine ait özel bir Linux kapsayıcısı içinde çalışır. Ajanlar, yalnızca API entegrasyonlarına dayanmak yerine bilgisayar kullanım yetenekleriyle yazılım sistemleriyle etkileşime girer. Etkileşimli öğeleri belirlemek için web arayüzlerini yapılandırılmış işletim sistemi erişilebilirlik ağaçları üzerinden çözümler; standart dışı arayüzlerde gezinirken doğrudan ekran görüntüsü analizine ve piksel koordinatlarına dayalı tıklamalara başvururlar. Donanım kısıtlarını ve barındırma maliyetlerini yönetmek için Firecracker sanal makineleri, yürütme durumlarının anlık görüntüsünü dinamik olarak diske kaydeder ve boşta kaldıklarında hazırda bekleme durumuna geçer; yeni bir uyandırma tetikleyicisi aldıklarında tam operasyonel durumlarını anında geri yükler.
Haftalar süren operasyonlar boyunca sistem dayanıklılığı, geleneksel iş kuyrukları yerine kalıcı iş akışı çerçevelerine bağlıdır. Standart iş kuyrukları, düğüm arızalarını görevleri ilk adımdan yeniden başlatarak ele alır; bu da karmaşık, çok adımlı işlemler sırasında felaket düzeyinde yinelenen yan etkilere neden olur. Temporal gibi kalıcı iş akışı motorları kullanılarak ajanın yürütme durumu, değişken belleği ve operasyonel bağlamı sürekli olarak kontrol noktalarına kaydedilir. Altyapıdaki bir düğüm arızalanırsa kalıcı iş akışı, daha önce tamamlanmış araç çağrılarını yeniden yürütmeden tam olarak arızanın meydana geldiği noktadan devam eder.
Alt Ajanlar ve Bağlam Mühendisliği: Sözde Sonsuz Bağlama Ulaşmak
Büyük Dil Modellerinin uzun operasyonel süreler boyunca yeteneklerini sınırlayan temel darboğaz, bağlamın bozulmasıdır. Bir LLM bağlam penceresi sistem istemleri, araç şemaları, dosya içerikleri ve yürütme günlükleriyle doldukça sistem performansı düşer. Belirteç tüketim maliyetleri doğrusal olmayan biçimde yükselir, operasyonel gecikme artar ve modelin başlangıç talimatları üzerinde yüksek doğrulukta muhakeme yürütme yeteneği önemli ölçüde zayıflar.
Bağlam şişmesini azaltmak için modern ajan yürütme çerçeveleri, sıklıkla “araç arama aracı” olarak adlandırılan dinamik araç keşfini kullanır. Model Bağlam Protokolü [MCP] sunucuları, özel yazılım geliştirme kitleri veya harici veritabanı API’leri gibi onlarca entegre aracın tam JSON şemalarını etkin bağlam penceresine yüklemek yerine, ana istem yalnızca üst düzey araç adlarını içerir. Ayrıntılı araç tanımları uzak dosya sisteminde tutulur. Ajan, belirli araç şemalarını ancak açık bir operasyonel gereksinim ortaya çıktığında dinamik olarak arar, okur ve çalışma belleğine yükler.
Karmaşık görevlerde yüksek muhakeme kalitesini korumak için ana orkestratör ajanlar, yoğun belirteç gerektiren işlemleri uzmanlaşmış alt ajanlara devreder. Bir görev yüzlerce kabuk betiğinin yürütülmesini, kapsamlı web sayfalarından veri toplanmasını veya tanıtım videolarının üretilmesini gerektirdiğinde orkestratör, yeni bir bağlam penceresiyle donatılmış yalıtılmış bir alt ajan oluşturur. Alt ajan, emek yoğun alt yordamı kendi kalıcı iş akışı içinde yürütür ve ana iş parçacığına yalnızca kısa, özlü bir markdown özeti döndürür. Bu görev devri kalıbı, ana orkestratör iş parçacığındaki bağlam penceresinin tükenmesini önleyerek operasyonel açıdan sözde sonsuz bağlam yaratır.
Yürütme çerçevesi mühendisliği, istem önbellekleme yapısı ve arka planda bağlam sıkıştırması yoluyla sistem verimliliğini daha da optimize eder. Modeller, temel model API’lerinin sağladığı önbellek isabet oranlarını en üst düzeye çıkarmak için sabit sistem istemlerini, dinamik araç keşif dizinlerini ve kalıcı çekirdek belleği bağlam dizisinin başında tutar. Sistem istemi yinelemeleri veya A/B testleri sırasında önbellek geçerliliğini korumak için çerçeveler, sistem istemi bileşenlerinin sabit ve değişmez bir sırada kalmasını sağlayan belirlenimci bölüm özetleme yöntemlerini kullanır. Ayrıca istemci uygulamaları, kullanıcı sohbet UI alanına odaklanır veya yazmaya başlar başlamaz sunucuda istem önbelleğini önceden ısıtarak kullanıcı mesajı göndermeden önce gecikmeyi ortadan kaldırır.
Operasyonel durgunluk dönemlerinde, model istem önbellekleri sıcak kalırken —genellikle 10 ila 60 dakikalık bir pencere içinde— sistem, önceki konuşma günlüklerini yapılandırılmış özetlere sıkıştırmak için kayıplı arka plan sıkıştırma rutinlerini yürütür. Kalıcı bellek üç ayrı katman hâlinde düzenlenir:
- Temel Kullanıcı Bilgileri: Her operasyonel tura eklenen yüksek öncelikli kullanıcı tercihleri ve sistemsel kısıtlar.
- Tarihli Günlük Geçmişleri: Uzak markdown dosyalarında saklanan, geçmiş sistem etkileşimlerinin kronolojik ve aranabilir kayıtları.
- Geçici Çalışma Notları: Görev tamamlandıktan sonra otomatik olarak sona erecek şekilde tasarlanmış geçici operasyonel çalışma belleği.
Güvenlik, Otomatik İnceleme ve Model İvme Döngüsü
Özerk ajanların kurumsal kullanıma alınması, özellikle komut yürütme yorgunluğu ve istem enjeksiyonu alanlarında önemli güvenlik açıkları doğurur. İnsan operatörlerin hızla gelen yüzlerce kabuk komutunu elle onaylamasını istemek, operasyonel tükenmeye yol açarak insan gözetimini etkisiz kılar. Bu sorunu ele almak için yüksek güvenilirlikli ajan mimarileri, otomatik inceleme sistemleri olarak bilinen ikincil koruyucu modeller uygular.
Otomatik inceleme koruması, önerilen her kabuk komutunu, betik yürütmesini ve görsel masaüstü etkileşimini yürütme öncesinde denetleyen bağımsız ve son derece uzmanlaşmış bir yapay zekâ süreci olarak çalışır. Ampirik testler, otomatik ikincil değerlendirme modellerinin kötü amaçlı komutları, sözdizimi hatalarını ve operasyonel sapmaları saptamada yorgun insan operatörlerden daha iyi performans gösterdiğini ortaya koymaktadır. Harici e-postalar gönderilmesi veya Stripe Link ya da X Money gibi hizmetler üzerinden finansal işlemler yürütülmesi gibi yüksek riskli, geri döndürülemez işlemlerde sistem, açık insan onayını zorunlu kılmak için yürütmeyi duraklatır.
Gelen e-postalar, üçüncü taraf web içeriği ve web kancaları dâhil güvenilmeyen harici girdiler, ajanın ana muhakeme döngüsüne doğrudan alındıklarında ciddi istem enjeksiyonu riskleri yaratır. Güvenli sistemler, güvenilmeyen girdileri ara çözümleme katmanlarından geçirerek arındırır; böylece kötü amaçlı talimat geçersiz kılma girişimlerinin doğrulanmamış sistem araçlarını yürütmesini veya kimlik bilgilerini tehlikeye atmasını önler.
Sistem güvenilirliği, çift döngülü bir mühendislik ivme mekanizması yoluyla sürekli gelişir. Bir ajan bir görevde başarısız olduğunda, başarısızlığa giden işlem dizisi otomatik bir değerlendirme ölçütüne kaydedilir. Hızlı iç döngüde sistem mühendisleri, düzeltmeyi doğrulamak için değerlendirme paketini kullanarak yürütme çerçevesi talimatlarını hemen günceller, dinamik araçları iyileştirir veya sistem istemlerini ayarlar. Yavaş dış döngüde, birleştirilmiş başarısızlık verileri ve başarılı işlem dizileri ince ayar veri kümelerine derlenir. Temel modeller, talimat izlemeyi, araç seçimini ve görsel masaüstü gezinmesini doğrudan geliştirmek için 1 ila 6 aylık sürüm döngülerinde Gözetimli İnce Ayardan [SFT] ve Pekiştirmeli Öğrenmeden [RL] geçirilir.
Bu mimarileri geliştiren mühendislik ekipleri temel bir operasyonel ilkeye bağlı kalır: “ürünü silin.” Temel modellerin yeteneklerinde 6 ila 12 aylık sürelerde gerçekleşen hızlı sıçramalar, karmaşık yürütme çerçevesi sorunlarını sistematik olarak doğrudan çözdüğünden, bugün geliştirilen karmaşık özel kullanıcı arayüzü soyutlamaları asgari düzeyde tutulmalıdır.
Sistem Sınırlamaları, Mimari Ödünleşimler ve Açık Sorular
Altyapıdaki hızlı gelişmelere rağmen, sürekli etkin ajan mimarileri, proaktiflik ve bildirim yönetimi konusunda çözüme kavuşmamış teknik ödünleşimlerle karşı karşıyadır. Arka planda sürekli hazır bulunan bir dijital çalışma arkadaşını işletmek, bir ajanın görevleri ne zaman sessizce yürütmesi ve ne zaman durum güncellemeleriyle kullanıcının sözünü kesmesi gerektiğini belirlemek için ayrıntılı sezgisel kurallar gerektirir. Aşırı agresif proaktiflik, bildirim yorgunluğuna ve kullanıcı rahatsızlığına yol açarken aşırı temkinli proaktiflik, sistemi standart bir tepkisel araca indirger. En uygun uyarı eşiklerini belirlemek, kurumsal kullanımlarda açık bir sorun olmaya devam etmektedir.
İkincil bir zorluk, uzun vadeli değerlendirme paradoksudur. Temel dil modelleri 30 ila 90 günlük döngülerde sürüm güncellemelerinden geçtiğinde veya tamamen değiştirildiğinde, haftalar süren yürütme dönemleri boyunca kesintisiz çalışmak üzere tasarlanmış bir ajanı değerlendirmek doğası gereği zordur. Değerlendirme tamamlanmadan önce altta yatan temel modeller güncellenir veya kullanımdan kaldırılırsa, bir ay süren görev süreçleri boyunca çevrimdışı karşılaştırmalı değerlendirmeler yürütmek uygulanamaz hâle gelir ve referans performansın izlenmesini sorunlu kılar.
Son olarak, bağlam özetleme kaçınılmaz bilgi kaybına yol açar. Tüm sıkıştırma algoritmaları kayıplı sıkıştırmaya dayandığından, ayrıntılı günlük geçmişlerini, terminal çıktılarını ve dosya içeriklerini kapsayan yüz binlerce belirteci kısa markdown özetlerine indirgemek, istisnai durumlara ilişkin ince ayrıntıların kalıcı olarak atılması riskini taşır. Uzun süre çalışan bir ajan, haftalar önce belirlenmiş kesin operasyonel parametrelere ihtiyaç duyarsa kayıplı sıkıştırma, yürütmenin ileri aşamalarında sessiz görev başarısızlığına veya bağlam halüsinasyonuna yol açabilir.
Bu ödünleşimleri ele almak; belirteç tüketim maliyetleri ile akıl yürütme kesinliği arasında denge kurmayı, çıkarım gecikmesini optimize etmeyi ve hizmet olarak yazılım [SaaS] platformları genelinde çoklu ajan etkileşimleri için sağlam güvenlik sınırları oluşturmayı gerektirir.
Önemli Sayılar
- 200,000 Belirteç: Modern büyük dil modelleri için standart çalışma belleği bağlam penceresi ölçütü; agresif bağlam sıkıştırma algoritmalarının zorunlu hâle geldiği ölçeği temsil eder.
- 6 ila 12 Ay: Temel model yeteneklerindeki sıçramaların karmaşık özel model çalıştırma altyapısı mantığını, ara soyutlamaları ve özel kullanıcı arayüzü sarmalayıcılarını geçersiz kıldığı operasyonel zaman dilimi.
- 10 ila 60 Dakika: Temel model sağlayıcılarının istem önbelleklerini etkin tuttuğu tipik süre; arka planda maliyet açısından verimli bağlam sıkıştırması gerçekleştirmek için en uygun zaman aralığını belirler.
- Saatler/Günlerden Birden Çok Haftaya/Aya: Kısa etkileşimli terminal oturumlarından özerk, uzun vadeli arka plan iş akışlarına doğru genişleyen hedef yürütme sürelerindeki yapısal değişim.
Bu Tabloyu Neler Değiştirir
- Kayıplı Sıkıştırmadan Graf Tabanlı Bellek Mimarilerine Geçiş: Sektör genelinde standart markdown bağlam özetlemesinden kayıpsız bilgi graflarına geçiş, aylar süren yürütmeler boyunca uzun vadeli hatırlamayı ve bağlamsal kesinliği önemli ölçüde iyileştirecektir.
- Uzun Vadeli Ajan Değerlendirme Ölçütlerinin Standartlaştırılması: Öngörücü, zamanı sıkıştırılmış çevrimdışı değerlendirme çerçevelerinin geliştirilmesi, mühendislik ekiplerinin gerçek zamanlı yürütme döngülerini beklemek yerine haftalar süren ajan iş akışlarını saatler içinde doğru biçimde karşılaştırmalı olarak değerlendirmesine olanak tanıyacaktır.
- Arayüzsüz Bilgisayar Kullanımının Kurumlarda Yaygın Biçimde Devreye Alınması: Kurumsal yazılımlarda erişilebilirlik ağaçları ve piksel etkileşimi aracılığıyla doğrudan görsel gezinmenin evrensel olarak benimsenmesi, geleneksel API entegrasyonlarına ve özel Model Bağlam Protokolü uygulamalarına duyulan ihtiyacı ortadan kaldıracaktır.
- Donanım Düzeyinde Yerleşik Ses ve Konuşma Entegrasyonu: Gerçek zamanlı konuşma işleme için tasarlanmış, ortamda sürekli hazır bulunan düşük gecikmeli ses donanımı biçimlerinin yaygınlaşması, temel ajan kontrolünü metin mesajlaşmasına dayalı ince istemcilerden sürekli sesli etkileşim döngülerine kaydıracaktır.
Sürekli çalışan özerk ajan altyapısına ilişkin daha derin içgörüleri keşfetmek ve modern model çalıştırma altyapısı uygulamalarını değerlendirmek için DeepValues Research sitesindeki açık kaynaklı araştırma kaynaklarını ziyaret edin veya platformu doğrudan DeepValues uygulamasında deneyimleyin.
Kaynakça
Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.
İzle
Kaynak bağlantıları
İzle ve dinle
- SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall YouTube · EN
- SpaceX讓AI替員工開會:全天候智能體連跑3週 YouTube · 中文
- SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall Podcast · EN
- SpaceX讓AI替員工開會:全天候智能體連跑3週 Podcast · 中文