Insights AI
Memahami Agen AI yang Selalu Aktif: Infrastruktur, Rekayasa Konteks, dan Arsitektur Sistem
Podcast · Dengarkan (22 mnt)
Daftar isi
- Empat Era Pengembangan AI dan Hambatan Terminal
- Arsitektur Sistem: Eksekusi yang Berpusat pada Server dan Lingkungan Terisolasi Mesin Virtual
- Subagen dan Rekayasa Konteks: Mencapai Konteks Seolah Tak Terbatas
- Keamanan, Peninjauan Otomatis, dan Roda Penggerak Model
- Keterbatasan Sistem, Kompromi Arsitektural, dan Pertanyaan Terbuka
- Angka Utama
- Hal yang Akan Mengubah Gambaran Ini
- Sumber yang dikutip
Agen persisten proaktif yang selalu aktif mencerminkan pergeseran paradigma struktural dalam penerapan kecerdasan buatan, dengan mengalihkan desain sistem dari siklus eksekusi lokal yang dipantau manusia ke infrastruktur perusahaan otonom yang berjalan di latar belakang. Sebagaimana dijelaskan dalam kuliah Stanford CS146S oleh Lee Robinson, agen persisten ini mengandalkan model eksekusi yang berpusat pada server, orkestrasi alur kerja yang tahan gangguan, lingkungan terisolasi mesin virtual dinamis dengan penyimpanan cuplikan status ke disk, delegasi tugas kepada subagen, dan pemadatan konteks instruksi secara berkelanjutan. Dengan memisahkan siklus agen dari perangkat keras pengembang dan sesi terminal lokal, arsitektur ini mengatasi batasan fisik kerangka kendali baris perintah interaktif. Alih-alih sekadar menjadi utilitas pemberi respons reaktif, agen yang selalu aktif berfungsi sebagai rekan kerja digital yang hadir secara berkelanjutan—menjalankan tugas rekayasa perangkat lunak dan operasional berjangka panjang selama beberapa minggu di berbagai lingkungan komputasi awan.
Empat Era Pengembangan AI dan Hambatan Terminal#
Interaksi pengembang dengan kecerdasan buatan telah berkembang melalui empat paradigma operasional yang berbeda. Pada era pertama, pengembang secara manual menyalin potongan kode dari antarmuka web seperti ChatGPT langsung ke lingkungan pengembangan terintegrasi lokal. Alur kerja manual ini sangat terfragmentasi, sehingga membutuhkan perpindahan konteks secara terus-menerus dan penerjemahan oleh manusia antara keluaran model dan berkas kode.
Era kedua memperkenalkan kerangka kendali berbasis terminal. Perangkat lunak pembungkus ini memungkinkan Model Bahasa Besar [LLM] berinteraksi secara reaktif dengan sistem operasi lokal melalui penguraian struktur pohon berkas, pengubahan berkas sumber, dan pemberian perintah shell dalam siklus eksekusi yang dibatasi. Meskipun kerangka kendali terminal membuka peluang peningkatan produktivitas yang signifikan dengan memberikan kemampuan bertindak secara operasional kepada model, kerangka tersebut tetap terikat erat pada inisiasi langsung oleh manusia dan kondisi komputer lokal.
Era ketiga memperluas agen pemrograman menjadi aplikasi desktop Antarmuka Pengguna [UI] khusus yang mampu membuat instans agen paralel di lingkungan komputasi awan. Meskipun eksekusi komputasi dialihkan ke infrastruktur jarak jauh, generasi ini mengalami hambatan operasional yang krusial: operator manusia tetap menjadi penghambat utama. Pengembang harus terus memantau aliran eksekusi, meninjau dan menyetujui setiap perintah shell secara manual untuk mencegah penghapusan berkas yang tidak disengaja atau ketidakstabilan sistem.
Industri kini telah memasuki era keempat: agen persisten yang selalu aktif dan berjalan secara berkelanjutan di infrastruktur latar belakang komputasi awan. Dilengkapi dengan stasiun kerja jarak jauh khusus, struktur memori persisten, dan pemicu penjadwalan otonom, agen ini beroperasi terus-menerus terlepas dari kehadiran pengembang. Hambatan struktural utama pada kerangka kendali yang terikat terminal—ketika menutup laptop atau mengakhiri sesi terminal langsung menghentikan proses agen yang mendasarinya—telah dihilangkan. Selain itu, kerangka kendali era keempat memproses arahan pengguna secara waktu nyata dan interupsi yang tidak terstruktur di tengah eksekusi. Jika pengguna menambahkan instruksi atau mengubah tanggal di tengah giliran interaksi, model modern menangani pembaruan dinamis ini tanpa menurunkan kualitas konteks atau membatalkan status tugas yang sedang berlangsung.
Arsitektur Sistem: Eksekusi yang Berpusat pada Server dan Lingkungan Terisolasi Mesin Virtual#
Untuk memahami infrastruktur yang mendasari agen yang selalu aktif, arsitekturnya dapat dikonseptualisasikan sebagai "Rekan Kerja Digital dengan Ruang Kerja Jarak Jauh." Dalam model ini, pengguna akhir berinteraksi melalui klien perpesanan ringan—serupa dengan pengiriman pesan teks—sementara beban kerja utama, memori sistem, dependensi alat, dan lingkungan operasi berada di infrastruktur komputasi awan yang terisolasi.
Rangkaian eksekusi sistem dimulai melalui instruksi eksplisit atau peristiwa latar belakang yang berlangsung secara berkelanjutan. Berbeda dengan sistem tradisional yang hanya aktif setelah pemanggilan langsung oleh pengguna, agen yang selalu aktif dapat diaktifkan oleh rutinitas cron di latar belakang atau pemicu web eksternal, seperti pesan Slack yang masuk, surel otomatis, atau undangan kalender. Yang terpenting, agen dapat secara otonom bergabung dalam rapat video atau audio virtual untuk menggantikan karyawan manusia yang tidak hadir guna mencatat, merangkum poin diskusi, dan mendokumentasikan tugas yang perlu ditindaklanjuti. Perute peristiwa masuk menghapus duplikasi sinyal masuk, menetapkan prioritas operasional, dan menerapkan heuristik proaktivitas untuk menentukan apakah agen harus segera memberi tahu pengguna atau memproses tugas secara diam-diam di latar belakang. Masukan arahan pengguna berprioritas tinggi segera mengesampingkan antrean pemrosesan latar belakang.
Inti arsitektur ini adalah pola desain klien ringan dan server berbobot. Aplikasi klien memiliki logika operasional minimal, dengan menyediakan satu alat Antarmuka Pemrograman Aplikasi [API] send_user untuk menampilkan keluaran berformat dari server jarak jauh. Menempatkan siklus inti agen pada server pusat, alih-alih di dalam aplikasi lokal, memungkinkan tim teknologi menerapkan pembaruan sisi server dengan cepat tanpa penundaan persetujuan toko aplikasi atau waktu henti layanan. Selain itu, operasi komputasi berat, seperti transkripsi audio atau pembuatan gambar, tetap dipusatkan pada infrastruktur server yang dioptimalkan. Aplikasi klien membentuk langganan aliran peristiwa waktu nyata dengan server, menggunakan logika penghapusan duplikasi pesan untuk menampilkan elemen UI interaktif—seperti formulir masuk khusus, kredensial 1Password, atau layar otorisasi keuangan—tanpa membuat status kehilangan sinkronisasi.
Keamanan eksekusi dan isolasi lingkungan dicapai melalui lingkungan terisolasi Mesin Virtual [VM] Firecracker. Setiap instans agen beroperasi di dalam kontainer Linux khusus miliknya sendiri yang dilengkapi penyimpanan berkas persisten, desktop virtual, dan peramban Chrome tanpa antarmuka grafis. Alih-alih bergantung secara eksklusif pada integrasi API, agen berinteraksi dengan sistem perangkat lunak menggunakan kemampuan pengoperasian komputer. Agen mengurai antarmuka web melalui struktur pohon aksesibilitas sistem operasi untuk mengidentifikasi elemen interaktif, lalu beralih ke analisis visual langsung atas tangkapan layar dan klik pada koordinat piksel saat menavigasi antarmuka nonstandar. Untuk mengelola keterbatasan perangkat keras dan biaya hosting, VM Firecracker secara dinamis menyimpan cuplikan status eksekusinya ke disk dan berhibernasi saat tidak aktif, kemudian langsung memulihkan status operasional penuh setelah menerima pemicu pengaktifan baru.
Ketahanan sistem selama operasi beberapa minggu bergantung pada kerangka alur kerja yang tahan gangguan, bukan antrean tugas konvensional. Antrean tugas standar menangani kegagalan simpul dengan memulai ulang tugas dari langkah pertama, sehingga menimbulkan efek samping duplikat yang fatal selama operasi kompleks dengan banyak langkah. Dengan menggunakan mesin alur kerja yang tahan gangguan seperti Temporal, status eksekusi agen, memori variabel, dan konteks operasional terus disimpan pada titik pemeriksaan. Jika simpul infrastruktur yang mendasarinya gagal, alur kerja yang tahan gangguan melanjutkan eksekusi tepat pada titik kegagalan tanpa mengulang pemanggilan alat yang telah diselesaikan.
Subagen dan Rekayasa Konteks: Mencapai Konteks Seolah Tak Terbatas#
Hambatan utama yang menentukan kemampuan Model Bahasa Besar dalam rentang operasional yang panjang adalah degradasi konteks. Ketika jendela konteks LLM dipenuhi instruksi sistem, skema alat, hasil pembacaan berkas, dan catatan eksekusi, kinerja sistem memburuk. Biaya konsumsi token meningkat secara nonlinier, latensi operasional bertambah, dan kemampuan model untuk mempertahankan ketepatan penalaran yang tinggi terhadap instruksi awal menurun secara signifikan.
Untuk mengurangi pembengkakan konteks, kerangka kendali agen modern menggunakan penemuan alat dinamis, yang sering disebut sebagai "alat pencarian alat." Alih-alih memuat skema JSON lengkap untuk puluhan alat terintegrasi—seperti server Protokol Konteks Model [MCP], perangkat pengembangan perangkat lunak khusus, atau API basis data eksternal—ke dalam jendela konteks aktif, instruksi utama hanya memuat nama alat secara garis besar. Spesifikasi alat yang terperinci disimpan pada sistem berkas jarak jauh. Agen secara dinamis mencari, membaca, dan memuat skema alat tertentu ke dalam memori kerja hanya ketika muncul kebutuhan operasional yang eksplisit.
Untuk mempertahankan kualitas penalaran yang tinggi pada tugas kompleks, agen orkestrator utama mendelegasikan operasi yang membutuhkan banyak token kepada subagen khusus. Ketika suatu tugas memerlukan eksekusi ratusan skrip shell, pengambilan data dari banyak halaman web, atau pembuatan video demonstrasi, orkestrator membuat instans subagen terisolasi yang dilengkapi jendela konteks baru. Subagen menjalankan subrutin padat kerja dalam alur kerjanya sendiri yang tahan gangguan dan hanya mengembalikan ringkasan markdown yang singkat dan padat ke utas utama. Pola delegasi ini menciptakan kondisi operasional berupa konteks seolah tak terbatas, sehingga mencegah habisnya kapasitas jendela konteks pada utas orkestrator utama.
Rekayasa kerangka kendali semakin mengoptimalkan efisiensi sistem melalui struktur penyimpanan instruksi dalam cache dan pemadatan konteks di latar belakang. Model mempertahankan instruksi sistem statis, indeks penemuan alat dinamis, dan memori inti persisten di bagian awal larik konteks untuk memaksimalkan tingkat keberhasilan akses cache yang disediakan oleh API model fondasi. Untuk mempertahankan validitas cache selama iterasi instruksi sistem atau pengujian A/B, kerangka kendali menggunakan penghitungan hash bagian secara deterministik untuk memastikan komponen instruksi sistem mempertahankan urutan tetap yang tidak dapat diubah. Selain itu, aplikasi klien menerapkan pemanasan awal cache instruksi pada server segera setelah pengguna memfokuskan kursor atau mulai mengetik di UI percakapan, sehingga menghilangkan latensi sebelum pengguna mengirim pesan.
Selama jeda operasional, ketika cache instruksi model masih hangat—biasanya dalam rentang 10 hingga 60 menit—sistem menjalankan rutinitas pemadatan latar belakang yang menghilangkan sebagian informasi untuk memampatkan catatan percakapan sebelumnya menjadi ringkasan terstruktur. Memori persisten disusun menjadi tiga lapisan berbeda:
- Fakta Inti Pengguna: Preferensi pengguna berprioritas tinggi dan batasan sistem yang disisipkan ke dalam setiap giliran operasional.
- Riwayat Catatan Bertanggal: Rekaman kronologis interaksi sistem sebelumnya yang dapat dicari dan disimpan dalam berkas markdown jarak jauh.
- Catatan Kerja Sementara: Memori kerja operasional sementara yang dirancang untuk kedaluwarsa secara otomatis setelah tugas selesai.
Keamanan, Peninjauan Otomatis, dan Roda Penggerak Model#
Penerapan agen otonom di perusahaan menimbulkan kerentanan keamanan yang signifikan, khususnya terkait kelelahan dalam meninjau eksekusi perintah dan injeksi instruksi. Keharusan bagi operator manusia untuk menyetujui secara manual ratusan perintah shell yang muncul dengan cepat menyebabkan kelelahan operasional, sehingga pengawasan manusia menjadi tidak efektif. Untuk mengatasi hal ini, arsitektur agen dengan keandalan tinggi menerapkan model pengaman sekunder yang dikenal sebagai sistem peninjauan otomatis.
Pengaman peninjauan otomatis beroperasi sebagai proses AI independen yang sangat terspesialisasi dan memeriksa setiap perintah shell, eksekusi skrip, serta interaksi desktop visual yang diusulkan sebelum dieksekusi. Pengujian empiris menunjukkan bahwa model evaluasi sekunder otomatis mengungguli operator manusia yang lelah dalam mendeteksi perintah berbahaya, kesalahan sintaksis, dan penyimpangan operasional. Untuk operasi berisiko tinggi yang tidak dapat dibatalkan—seperti mengirim surel eksternal atau melakukan transaksi keuangan melalui layanan seperti Stripe Link atau X Money—sistem menjeda eksekusi untuk mewajibkan konfirmasi eksplisit dari manusia.
Masukan eksternal yang tidak tepercaya, termasuk surel masuk, konten web pihak ketiga, dan pemicu web, menimbulkan risiko injeksi instruksi yang serius jika langsung dimasukkan ke dalam siklus penalaran utama agen. Sistem yang aman membersihkan masukan yang tidak tepercaya dengan melewatkannya melalui lapisan penguraian perantara, sehingga mencegah instruksi pengambil alih yang berbahaya menjalankan alat sistem yang belum diverifikasi atau membahayakan kredensial.
Keandalan sistem terus meningkat melalui roda penggerak rekayasa dengan dua siklus. Ketika agen gagal menyelesaikan tugas, lintasan kegagalan tersebut dikatalogkan ke dalam tolok ukur evaluasi otomatis. Dalam siklus dalam yang cepat, perekayasa sistem segera memperbarui instruksi kerangka kendali, menyempurnakan alat dinamis, atau menyesuaikan instruksi sistem, dengan menggunakan rangkaian evaluasi untuk memverifikasi perbaikan. Dalam siklus luar yang lambat, data kegagalan agregat dan lintasan keberhasilan dihimpun menjadi kumpulan data penyetelan lanjutan. Model fondasi dasar menjalani Penyetelan Lanjutan Terawasi [SFT] dan Pembelajaran Penguatan [RL] dalam siklus rilis 1 hingga 6 bulan untuk meningkatkan secara bawaan kepatuhan terhadap instruksi, pemilihan alat, dan navigasi desktop visual.
Tim rekayasa yang membangun arsitektur ini mematuhi doktrin operasional inti: "hapus produknya." Abstraksi antarmuka pengguna khusus yang kompleks yang dibangun saat ini harus tetap minimal, karena lompatan cepat kemampuan model fondasi dalam rentang 6 hingga 12 bulan secara sistematis menyelesaikan masalah kerangka kendali yang kompleks secara bawaan.
Keterbatasan Sistem, Kompromi Arsitektural, dan Pertanyaan Terbuka#
Meskipun infrastruktur berkembang pesat, arsitektur agen yang selalu aktif menghadapi kompromi teknis yang belum terselesaikan terkait proaktivitas dan pengelolaan notifikasi. Mengoperasikan rekan kerja digital yang hadir secara berkelanjutan memerlukan heuristik terperinci untuk menentukan kapan agen harus menjalankan tugas tanpa pemberitahuan dan kapan harus menyela pengguna dengan pembaruan status. Proaktivitas yang terlalu agresif menyebabkan kelelahan akibat notifikasi dan mengganggu pengguna, sedangkan proaktivitas yang terlalu konservatif menurunkan sistem menjadi alat bantu reaktif biasa. Penetapan ambang peringatan yang optimal masih menjadi tantangan terbuka dalam penerapan di perusahaan.
Tantangan kedua adalah paradoks evaluasi berjangka panjang. Menilai agen yang dirancang untuk berjalan terus-menerus selama periode eksekusi beberapa minggu pada dasarnya sulit ketika model bahasa fondasi mengalami iterasi versi atau penggantian menyeluruh dalam siklus 30 hingga 90 hari. Menjalankan evaluasi komparatif luring atas rangkaian tugas selama sebulan menjadi tidak praktis jika model fondasi yang mendasarinya diperbarui atau dihentikan penggunaannya sebelum evaluasi selesai, sehingga pelacakan kinerja acuan menjadi bermasalah.
Terakhir, peringkasan konteks menimbulkan kehilangan informasi yang tidak dapat dihindari. Karena semua algoritme pemadatan mengandalkan kompresi yang menghilangkan informasi, pemadatan ratusan ribu token dari riwayat log terperinci, keluaran terminal, dan isi berkas menjadi ringkasan markdown yang ringkas berisiko membuang secara permanen detail halus terkait kasus khusus. Jika agen yang berjalan lama memerlukan parameter operasional presisi yang ditetapkan beberapa minggu sebelumnya, pemadatan yang menghilangkan informasi dapat menyebabkan kegagalan tugas tanpa peringatan atau halusinasi konteks selama eksekusi tahap akhir.
Mengatasi kompromi ini memerlukan keseimbangan antara biaya konsumsi token dan ketepatan penalaran, optimalisasi latensi inferensi, serta penetapan batas keamanan yang kuat untuk interaksi antaragen di berbagai platform Perangkat Lunak sebagai Layanan [SaaS].
Angka Utama#
- 200,000 Token: Tolok ukur standar jendela konteks memori kerja untuk Model Bahasa Besar modern, yang mencerminkan skala ketika algoritme pemadatan konteks yang agresif menjadi wajib.
- 6 hingga 12 Bulan: Rentang waktu operasional ketika lonjakan kemampuan model fondasi membuat logika kerangka kendali khusus yang kompleks, abstraksi perantara, dan lapisan pembungkus antarmuka pengguna khusus menjadi usang.
- 10 hingga 60 Menit: Durasi lazim penyedia model fondasi mempertahankan tembolok instruksi tetap siap digunakan, yang menentukan jendela optimal untuk melakukan pemadatan konteks di latar belakang secara hemat biaya.
- Jam/Hari hingga Beberapa Minggu/Beberapa Bulan: Pergeseran struktural dalam cakrawala eksekusi yang ditargetkan, dari sesi terminal interaktif singkat menuju alur kerja latar belakang otonom berjangka panjang.
Hal yang Akan Mengubah Gambaran Ini#
- Pergeseran dari Pemadatan yang Menghilangkan Informasi ke Arsitektur Memori Berbasis Graf: Pergeseran luas di industri dari peringkasan konteks markdown standar ke graf pengetahuan tanpa kehilangan informasi akan secara drastis meningkatkan kemampuan mengingat jangka panjang dan ketepatan konteks selama eksekusi beberapa bulan.
- Standardisasi Tolok Ukur Evaluasi Agen Berjangka Panjang: Pengembangan kerangka evaluasi luring prediktif dengan waktu yang dipadatkan akan memungkinkan tim rekayasa mengukur kinerja alur kerja agen selama beberapa minggu secara akurat dalam hitungan jam, alih-alih menunggu siklus eksekusi waktu nyata.
- Penerapan Luas Penggunaan Komputer Tanpa Antarmuka di Perusahaan: Adopsi universal navigasi visual langsung melalui pohon aksesibilitas dan interaksi piksel di berbagai perangkat lunak perusahaan akan menghilangkan kebutuhan akan integrasi API tradisional dan implementasi khusus Protokol Konteks Model.
- Integrasi Suara dan Ucapan Bawaan pada Tingkat Perangkat Keras: Meluasnya bentuk perangkat keras suara berlatensi rendah yang hadir secara berkelanjutan dan dirancang khusus untuk pemrosesan ucapan waktu nyata akan mengalihkan kendali utama agen dari klien ringan perpesanan teks menuju siklus interaksi audio berkelanjutan.
Untuk menggali wawasan lebih mendalam tentang infrastruktur agen otonom yang berjalan terus-menerus dan mengevaluasi implementasi kerangka kendali model modern, kunjungi sumber daya riset sumber terbuka yang tersedia di situs DeepValues Research atau rasakan platform tersebut secara langsung melalui aplikasi DeepValues.
Sumber yang dikutip#
Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.
Tonton
Tautan sumber
Tonton & dengarkan
- SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall YouTube · EN
- SpaceX讓AI替員工開會:全天候智能體連跑3週 YouTube · 中文
- SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall Podcast · EN
- SpaceX讓AI替員工開會:全天候智能體連跑3週 Podcast · 中文