Insights AI
Tìm hiểu về các tác nhân AI hoạt động liên tục: Cơ sở hạ tầng, kỹ thuật thiết kế ngữ cảnh và kiến trúc hệ thống
Podcast · Nghe (22 phút)
Mục lục
- Bốn thời kỳ phát triển AI và điểm nghẽn dòng lệnh
- Kiến trúc hệ thống: Thực thi lấy máy chủ làm trung tâm và môi trường cô lập máy ảo
- Tác nhân phụ và kỹ thuật ngữ cảnh: Đạt được ngữ cảnh gần như vô hạn
- An toàn, rà soát tự động và bánh đà mô hình
- Hạn chế của hệ thống, những đánh đổi về kiến trúc và các câu hỏi còn bỏ ngỏ
- Các con số chính
- Những yếu tố có thể thay đổi bức tranh này
- Tài liệu tham khảo
Các tác nhân chủ động, hoạt động liên tục và luôn sẵn sàng thể hiện một sự chuyển đổi mang tính cấu trúc trong mô hình triển khai trí tuệ nhân tạo, đưa thiết kế hệ thống từ các vòng lặp thực thi cục bộ do con người giám sát sang hạ tầng doanh nghiệp tự chủ chạy nền. Như được trình bày chi tiết trong bài giảng Stanford CS146S của Lee Robinson, các tác nhân hoạt động liên tục này dựa vào mô hình thực thi lấy máy chủ làm trung tâm, điều phối quy trình công việc bền vững, môi trường cô lập máy ảo động với khả năng lưu ảnh chụp trạng thái vào đĩa, ủy nhiệm nhiệm vụ cho tác nhân phụ và nén ngữ cảnh lời nhắc liên tục. Bằng cách tách các vòng lặp tác nhân khỏi phần cứng của nhà phát triển và các phiên dòng lệnh cục bộ, những kiến trúc này vượt qua các ràng buộc vật lý của bộ khung vận hành dòng lệnh tương tác. Thay vì chỉ đóng vai trò là tiện ích phản hồi thụ động, các tác nhân luôn hoạt động đóng vai trò như những đồng nghiệp số hiện diện thường trực — thực hiện các nhiệm vụ kỹ thuật phần mềm và vận hành dài hạn, kéo dài nhiều tuần trên các môi trường đám mây.
Bốn thời kỳ phát triển AI và điểm nghẽn dòng lệnh
Cách nhà phát triển tương tác với trí tuệ nhân tạo đã tiến hóa qua bốn mô hình vận hành riêng biệt. Trong thời kỳ đầu tiên, các nhà phát triển sao chép thủ công các đoạn mã từ giao diện web như ChatGPT trực tiếp vào môi trường phát triển tích hợp cục bộ. Quy trình thủ công này rất phân mảnh, đòi hỏi liên tục chuyển đổi ngữ cảnh và con người phải chuyển các đầu ra của mô hình thành nội dung trong tệp mã.
Thời kỳ thứ hai đưa vào các bộ khung vận hành dựa trên dòng lệnh. Những lớp bao phần mềm này cho phép Mô hình Ngôn ngữ Lớn [LLM] tương tác theo yêu cầu với hệ điều hành cục bộ bằng cách phân tích cây tệp, sửa đổi tệp mã nguồn và phát lệnh trình bao trong một vòng lặp thực thi có giới hạn. Dù các bộ khung vận hành dòng lệnh giúp tăng đáng kể năng suất bằng cách trao cho mô hình khả năng tự hành động, chúng vẫn bị ràng buộc chặt chẽ với việc khởi chạy trực tiếp từ con người và trạng thái máy tính cục bộ.
Thời kỳ thứ ba mở rộng các tác nhân lập trình thành ứng dụng máy tính chuyên dụng có Giao diện Người dùng [UI], có khả năng tạo các phiên bản tác nhân song song trong môi trường đám mây. Mặc dù chuyển việc thực thi tính toán sang hạ tầng từ xa, thế hệ này vẫn gặp trở ngại vận hành nghiêm trọng: người vận hành vẫn là điểm nghẽn chính. Các nhà phát triển buộc phải liên tục theo dõi luồng thực thi, rà soát và phê duyệt thủ công từng lệnh trình bao để ngăn việc vô tình xóa tệp hoặc làm mất ổn định hệ thống.
Ngành hiện đã bước vào thời kỳ thứ tư: các tác nhân luôn sẵn sàng, hoạt động liên tục trên hạ tầng đám mây chạy nền. Được trang bị máy trạm từ xa chuyên dụng, cấu trúc bộ nhớ bền vững và cơ chế kích hoạt theo lịch tự chủ, các tác nhân này hoạt động liên tục bất kể nhà phát triển có hiện diện hay không. Điểm nghẽn cấu trúc cốt lõi của các bộ khung vận hành gắn với dòng lệnh — nơi việc đóng nắp máy tính xách tay hoặc kết thúc phiên dòng lệnh đột ngột chấm dứt tiến trình tác nhân bên dưới — đã được loại bỏ. Hơn nữa, các bộ khung vận hành thời kỳ thứ tư xử lý chỉ dẫn điều hướng theo thời gian thực và những lời ngắt ngang lan man của người dùng ngay trong quá trình thực thi. Nếu người dùng bổ sung chỉ dẫn hoặc thay đổi ngày tháng giữa một lượt xử lý, các mô hình hiện đại xử lý những cập nhật linh hoạt này mà không làm suy giảm ngữ cảnh hoặc vô hiệu hóa trạng thái nhiệm vụ đang diễn ra.
Kiến trúc hệ thống: Thực thi lấy máy chủ làm trung tâm và môi trường cô lập máy ảo
Để hiểu hạ tầng bên dưới một tác nhân luôn hoạt động, có thể hình dung kiến trúc này là một “Đồng nghiệp số với không gian làm việc từ xa”. Trong mô hình này, người dùng cuối tương tác thông qua một ứng dụng nhắn tin phía máy khách tinh gọn — tương tự việc nhắn tin văn bản — trong khi khối lượng công việc chính, bộ nhớ hệ thống, các thành phần phụ thuộc của công cụ và môi trường vận hành nằm trên hạ tầng đám mây được cô lập.
Chuỗi thực thi của hệ thống được khởi động thông qua lời nhắc rõ ràng hoặc các sự kiện nền thường trực. Không giống các hệ thống truyền thống chỉ thức dậy khi người dùng trực tiếp gọi, một tác nhân luôn hoạt động có thể được kích hoạt bởi các tác vụ định kỳ chạy nền hoặc điểm gọi lại qua web từ bên ngoài, chẳng hạn như tin nhắn Slack đến, thư điện tử tự động hoặc lời mời lịch. Điều quan trọng là các tác nhân có thể tự chủ tham gia cuộc họp trực tuyến có hình ảnh hoặc âm thanh thay cho nhân viên vắng mặt để ghi chép, tóm tắt các điểm thảo luận và ghi lại những nhiệm vụ cần thực hiện. Bộ định tuyến sự kiện đầu vào loại bỏ các tín hiệu đến trùng lặp, gán mức ưu tiên vận hành và áp dụng các quy tắc kinh nghiệm về tính chủ động để xác định liệu tác nhân nên thông báo ngay cho người dùng hay xử lý nhiệm vụ âm thầm trong nền. Các chỉ dẫn điều hướng có mức ưu tiên cao từ người dùng ngay lập tức được ưu tiên hơn hàng đợi xử lý nền.
Trọng tâm của kiến trúc này là mẫu thiết kế máy khách tinh gọn, máy chủ đảm nhiệm phần lớn xử lý. Ứng dụng máy khách chứa logic vận hành tối thiểu, cung cấp một công cụ Giao diện Lập trình Ứng dụng [API] duy nhất là send_user để hiển thị đầu ra đã định dạng từ máy chủ từ xa. Việc đặt vòng lặp tác nhân cốt lõi trên máy chủ trung tâm thay vì trong ứng dụng cục bộ cho phép các đội ngũ công nghệ nhanh chóng triển khai bản cập nhật phía máy chủ mà không phải chờ phê duyệt từ kho ứng dụng hoặc làm gián đoạn dịch vụ. Hơn nữa, các hoạt động tính toán nặng, chẳng hạn như chuyển âm thanh thành văn bản hoặc tạo hình ảnh, vẫn được tập trung trên hạ tầng máy chủ tối ưu hóa. Ứng dụng máy khách thiết lập đăng ký nhận luồng sự kiện theo thời gian thực với máy chủ, sử dụng logic loại bỏ tin nhắn trùng lặp để hiển thị các thành phần UI tương tác — chẳng hạn như biểu mẫu đăng nhập tùy chỉnh, thông tin xác thực 1Password hoặc màn hình ủy quyền tài chính — mà không làm mất đồng bộ trạng thái.
An toàn thực thi và khả năng cô lập môi trường được bảo đảm thông qua các môi trường cô lập Máy ảo [VM] Firecracker. Mỗi phiên bản tác nhân hoạt động trong vùng chứa Linux chuyên dụng riêng, được trang bị khả năng lưu trữ tệp bền vững, màn hình máy tính ảo và trình duyệt Chrome không có giao diện hiển thị. Thay vì chỉ dựa vào tích hợp API, các tác nhân tương tác với hệ thống phần mềm bằng khả năng sử dụng máy tính. Chúng phân tích giao diện web thông qua cây trợ năng có cấu trúc của hệ điều hành để xác định các thành phần tương tác, chuyển sang phân tích trực tiếp ảnh chụp màn hình và nhấp theo tọa độ điểm ảnh khi điều hướng các giao diện không tiêu chuẩn. Để quản lý giới hạn phần cứng và chi phí lưu trú, các VM Firecracker chủ động lưu ảnh chụp trạng thái thực thi vào đĩa và ngủ đông khi không hoạt động, khôi phục ngay toàn bộ trạng thái vận hành khi nhận được tín hiệu đánh thức mới.
Khả năng duy trì hoạt động của hệ thống trong nhiều tuần phụ thuộc vào các khuôn khổ quy trình công việc bền vững thay vì hàng đợi tác vụ thông thường. Hàng đợi tác vụ tiêu chuẩn xử lý sự cố nút bằng cách khởi động lại nhiệm vụ từ bước đầu tiên, gây ra các tác động phụ trùng lặp nghiêm trọng trong những hoạt động phức tạp gồm nhiều bước. Bằng cách sử dụng các bộ máy quy trình công việc bền vững như Temporal, trạng thái thực thi, bộ nhớ biến và ngữ cảnh vận hành của tác nhân liên tục được lưu tại các điểm kiểm tra. Nếu một nút hạ tầng bên dưới gặp sự cố, quy trình công việc bền vững tiếp tục thực thi chính xác tại điểm xảy ra sự cố mà không lặp lại các lần gọi công cụ đã hoàn thành trước đó.
Tác nhân phụ và kỹ thuật ngữ cảnh: Đạt được ngữ cảnh gần như vô hạn
Điểm nghẽn chính chi phối khả năng của Mô hình Ngôn ngữ Lớn trong thời gian vận hành kéo dài là sự suy giảm ngữ cảnh. Khi cửa sổ ngữ cảnh của LLM đầy dần với lời nhắc hệ thống, lược đồ công cụ, nội dung đọc từ tệp và nhật ký thực thi, hiệu năng hệ thống suy giảm. Chi phí tiêu thụ đơn vị mã hóa tăng phi tuyến, độ trễ vận hành tăng và khả năng mô hình duy trì độ chính xác suy luận cao đối với chỉ dẫn ban đầu suy giảm đáng kể.
Để giảm tình trạng phình to ngữ cảnh, các bộ khung vận hành tác nhân hiện đại sử dụng cơ chế khám phá công cụ động, thường được gọi là “công cụ tìm kiếm công cụ”. Thay vì nạp toàn bộ lược đồ JSON cho hàng chục công cụ tích hợp — chẳng hạn như máy chủ Giao thức Ngữ cảnh Mô hình [MCP], bộ công cụ phát triển phần mềm tùy chỉnh hoặc API cơ sở dữ liệu bên ngoài — vào cửa sổ ngữ cảnh đang hoạt động, lời nhắc chính chỉ chứa tên công cụ ở mức khái quát. Đặc tả công cụ chi tiết được lưu trên hệ thống tệp từ xa. Tác nhân chủ động tìm kiếm, đọc và nạp các lược đồ công cụ cụ thể vào bộ nhớ làm việc chỉ khi phát sinh yêu cầu vận hành rõ ràng.
Để duy trì chất lượng suy luận cao trong các nhiệm vụ phức tạp, tác nhân điều phối chính ủy nhiệm các hoạt động tiêu tốn nhiều đơn vị mã hóa cho những tác nhân phụ chuyên biệt. Khi một nhiệm vụ đòi hỏi thực thi hàng trăm tập lệnh trình bao, thu thập nội dung từ nhiều trang web hoặc tạo video trình diễn, tác nhân điều phối khởi tạo một tác nhân phụ được cô lập với cửa sổ ngữ cảnh mới. Tác nhân phụ thực thi chương trình con tốn nhiều công sức trong quy trình công việc bền vững riêng và chỉ trả về một bản tóm tắt ngắn gọn, chắt lọc theo định dạng văn bản đánh dấu cho luồng chính. Mẫu ủy nhiệm này tạo ra khả năng vận hành với ngữ cảnh gần như vô hạn, ngăn cửa sổ ngữ cảnh của luồng điều phối chính bị cạn dung lượng.
Kỹ thuật xây dựng bộ khung vận hành còn tối ưu hóa hiệu quả hệ thống thông qua cấu trúc lưu đệm lời nhắc và nén ngữ cảnh trong nền. Các mô hình duy trì lời nhắc hệ thống tĩnh, chỉ mục khám phá công cụ động và bộ nhớ cốt lõi bền vững ở đầu mảng ngữ cảnh để tối đa hóa tỷ lệ truy xuất thành công từ bộ nhớ đệm do API của mô hình nền tảng cung cấp. Để duy trì tính hợp lệ của bộ nhớ đệm khi điều chỉnh lời nhắc hệ thống hoặc thử nghiệm A/B, các bộ khung vận hành sử dụng cơ chế băm từng phần có tính xác định nhằm bảo đảm các thành phần lời nhắc hệ thống giữ nguyên thứ tự cố định, bất biến. Hơn nữa, ứng dụng máy khách triển khai việc làm nóng trước bộ nhớ đệm lời nhắc trên máy chủ ngay khi người dùng đặt con trỏ vào hoặc bắt đầu nhập trong UI trò chuyện, loại bỏ độ trễ trước khi người dùng gửi tin nhắn.
Trong những khoảng tạm lắng của hoạt động, khi bộ nhớ đệm lời nhắc của mô hình vẫn còn được làm nóng — thường trong khoảng từ 10 đến 60 phút — hệ thống thực thi các quy trình nén có mất thông tin trong nền để nén nhật ký hội thoại trước đó thành bản tóm tắt có cấu trúc. Bộ nhớ bền vững được tổ chức thành ba lớp riêng biệt:
- Thông tin cốt lõi về người dùng: Các ưu tiên của người dùng có mức ưu tiên cao và những ràng buộc hệ thống được đưa vào mọi lượt vận hành.
- Lịch sử nhật ký có ngày tháng: Các bản ghi theo trình tự thời gian, có thể tìm kiếm về những tương tác hệ thống trước đây, được lưu trong các tệp văn bản đánh dấu từ xa.
- Ghi chú nháp tạm thời: Bộ nhớ làm việc tạm thời phục vụ vận hành, được thiết kế để tự động hết hiệu lực sau khi nhiệm vụ hoàn thành.
An toàn, rà soát tự động và bánh đà mô hình
Việc triển khai tác nhân tự chủ trong doanh nghiệp tạo ra những lỗ hổng bảo mật đáng kể, đặc biệt liên quan đến sự mệt mỏi khi xử lý lệnh thực thi và việc chèn chỉ dẫn độc hại vào lời nhắc. Yêu cầu người vận hành phê duyệt thủ công hàng trăm lệnh trình bao liên tiếp với tốc độ cao dẫn đến kiệt sức trong vận hành, khiến sự giám sát của con người mất hiệu quả. Để giải quyết vấn đề này, các kiến trúc tác nhân có độ tin cậy cao triển khai mô hình bảo vệ thứ cấp được gọi là hệ thống rà soát tự động.
Cơ chế bảo vệ rà soát tự động hoạt động như một tiến trình AI độc lập, có tính chuyên biệt cao, kiểm tra từng lệnh trình bao được đề xuất, lần thực thi tập lệnh và tương tác trực quan với màn hình máy tính trước khi thực thi. Thử nghiệm thực nghiệm cho thấy các mô hình đánh giá thứ cấp tự động vượt trội hơn người vận hành mệt mỏi trong việc phát hiện lệnh độc hại, lỗi cú pháp và sự lệch hướng vận hành. Đối với các hoạt động rủi ro cao, không thể đảo ngược — chẳng hạn như gửi thư điện tử ra bên ngoài hoặc thực hiện giao dịch tài chính qua các dịch vụ như Stripe Link hay X Money — hệ thống tạm dừng thực thi để yêu cầu xác nhận rõ ràng từ con người.
Các đầu vào bên ngoài không đáng tin cậy, bao gồm thư điện tử đến, nội dung web của bên thứ ba và điểm gọi lại qua web, gây ra rủi ro nghiêm trọng về chèn chỉ dẫn độc hại vào lời nhắc nếu được đưa trực tiếp vào vòng lặp suy luận chính của tác nhân. Các hệ thống an toàn làm sạch đầu vào không đáng tin cậy bằng cách đưa chúng qua các lớp phân tích trung gian, ngăn những chỉ dẫn ghi đè độc hại thực thi công cụ hệ thống chưa được xác minh hoặc xâm phạm thông tin xác thực.
Độ tin cậy của hệ thống liên tục được cải thiện thông qua bánh đà kỹ thuật gồm hai vòng lặp. Khi một tác nhân thất bại trong nhiệm vụ, diễn tiến thất bại được ghi vào bộ chuẩn đánh giá tự động. Trong vòng lặp bên trong có tốc độ nhanh, kỹ sư hệ thống ngay lập tức cập nhật chỉ dẫn của bộ khung vận hành, tinh chỉnh công cụ động hoặc điều chỉnh lời nhắc hệ thống, sử dụng bộ đánh giá để xác minh bản sửa lỗi. Trong vòng lặp bên ngoài có tốc độ chậm, dữ liệu thất bại tổng hợp và các diễn tiến thành công được biên soạn thành tập dữ liệu tinh chỉnh. Các mô hình nền tảng cơ sở trải qua Tinh chỉnh Có Giám sát [SFT] và Học Tăng cường [RL] theo chu kỳ phát hành từ 1 đến 6 tháng để cải thiện ngay trong mô hình khả năng tuân thủ chỉ dẫn, lựa chọn công cụ và điều hướng trực quan trên màn hình máy tính.
Các đội ngũ kỹ thuật xây dựng những kiến trúc này tuân theo một nguyên tắc vận hành cốt lõi: “xóa bỏ sản phẩm”. Những lớp trừu tượng giao diện người dùng tùy chỉnh phức tạp được xây dựng hôm nay nên được giữ ở mức tối thiểu, vì các bước nhảy nhanh chóng về năng lực của mô hình nền tảng trong khoảng từ 6 đến 12 tháng sẽ lần lượt giải quyết ngay trong mô hình những vấn đề phức tạp của bộ khung vận hành.
Hạn chế của hệ thống, những đánh đổi về kiến trúc và các câu hỏi còn bỏ ngỏ
Mặc dù hạ tầng đã tiến bộ nhanh chóng, các kiến trúc tác nhân luôn hoạt động vẫn đối mặt với những đánh đổi kỹ thuật chưa được giải quyết liên quan đến tính chủ động và quản lý thông báo. Việc vận hành một đồng nghiệp kỹ thuật số hiện diện thường trực đòi hỏi các quy tắc kinh nghiệm chi tiết để xác định khi nào tác nhân nên thực hiện nhiệm vụ một cách im lặng và khi nào nên ngắt lời người dùng bằng các cập nhật trạng thái. Sự chủ động quá mức dẫn đến tình trạng mệt mỏi vì thông báo và gây khó chịu cho người dùng, trong khi sự chủ động quá dè dặt khiến hệ thống trở thành một tiện ích phản ứng thông thường. Việc xác định các ngưỡng cảnh báo tối ưu vẫn là một thách thức chưa được giải quyết trong các triển khai tại doanh nghiệp.
Một thách thức thứ hai là nghịch lý đánh giá trong thời gian dài. Việc đánh giá một tác nhân được thiết kế để chạy liên tục trong các khoảng thực thi kéo dài nhiều tuần vốn đã khó khăn khi các mô hình ngôn ngữ nền tảng được cập nhật phiên bản hoặc thay thế hoàn toàn theo chu kỳ từ 30 đến 90 ngày. Việc thực hiện các đánh giá so sánh ngoại tuyến trên những chuỗi nhiệm vụ kéo dài cả tháng trở nên thiếu thực tiễn nếu các mô hình nền tảng bên dưới được cập nhật hoặc ngừng hỗ trợ trước khi quá trình đánh giá hoàn tất, gây khó khăn cho việc theo dõi hiệu suất cơ sở.
Cuối cùng, việc tóm tắt ngữ cảnh gây ra mất mát thông tin không thể tránh khỏi. Vì tất cả các thuật toán rút gọn đều dựa trên phương pháp nén có mất mát, việc cô đọng hàng trăm nghìn đơn vị mã hóa văn bản chứa lịch sử nhật ký chi tiết, đầu ra từ thiết bị đầu cuối và nội dung tệp thành các bản tóm tắt ngắn gọn theo định dạng đánh dấu có nguy cơ loại bỏ vĩnh viễn những chi tiết tinh tế trong các trường hợp ngoại lệ. Nếu một tác nhân hoạt động trong thời gian dài cần các tham số vận hành chính xác đã được thiết lập từ nhiều tuần trước, việc rút gọn có mất mát có thể dẫn đến thất bại nhiệm vụ mà không có cảnh báo hoặc ảo giác về ngữ cảnh trong giai đoạn thực thi cuối.
Việc giải quyết những đánh đổi này đòi hỏi cân bằng chi phí tiêu thụ đơn vị mã hóa văn bản với độ chính xác của suy luận, tối ưu hóa độ trễ suy luận và thiết lập các ranh giới bảo mật vững chắc cho tương tác giữa nhiều tác nhân trên các nền tảng phần mềm dưới dạng dịch vụ.
Các con số chính
- 200,000 đơn vị mã hóa văn bản: Mốc chuẩn về cửa sổ ngữ cảnh của bộ nhớ làm việc tiêu chuẩn cho các mô hình ngôn ngữ lớn hiện đại, thể hiện quy mô mà tại đó các thuật toán rút gọn ngữ cảnh mạnh trở nên bắt buộc.
- 6 đến 12 tháng: Khoảng thời gian vận hành mà trong đó những bước nhảy vọt về năng lực của mô hình nền tảng khiến logic khung vận hành tùy chỉnh phức tạp, các lớp trừu tượng trung gian và các lớp bao giao diện người dùng chuyên biệt trở nên lỗi thời.
- 10 đến 60 phút: Khoảng thời gian điển hình mà các nhà cung cấp mô hình nền tảng duy trì bộ nhớ đệm câu lệnh ở trạng thái sẵn sàng, xác định khoảng thời gian tối ưu để thực hiện việc rút gọn ngữ cảnh trong nền với chi phí hiệu quả.
- Giờ/Ngày đến nhiều tuần/nhiều tháng: Sự chuyển dịch về cấu trúc trong thời hạn thực thi mục tiêu, mở rộng từ các phiên tương tác ngắn với thiết bị đầu cuối sang các quy trình làm việc tự chủ trong nền kéo dài.
Những yếu tố có thể thay đổi bức tranh này
- Chuyển từ rút gọn có mất mát sang kiến trúc bộ nhớ dựa trên đồ thị: Sự chuyển dịch rộng khắp trong ngành từ việc tóm tắt ngữ cảnh tiêu chuẩn theo định dạng đánh dấu sang đồ thị tri thức không mất mát sẽ cải thiện đáng kể khả năng truy hồi dài hạn và độ chính xác của ngữ cảnh trong các đợt thực thi kéo dài nhiều tháng.
- Chuẩn hóa các mốc chuẩn đánh giá tác nhân trong thời gian dài: Việc phát triển các khung đánh giá ngoại tuyến có tính dự báo và được nén về thời gian sẽ cho phép các nhóm kỹ thuật đánh giá chính xác các quy trình làm việc của tác nhân kéo dài nhiều tuần chỉ trong vài giờ, thay vì chờ các chu kỳ thực thi theo thời gian thực.
- Triển khai rộng rãi việc sử dụng máy tính không cần giao diện hiển thị tại doanh nghiệp: Việc áp dụng phổ biến khả năng điều hướng trực quan trực tiếp thông qua cây trợ năng và tương tác điểm ảnh trên phần mềm doanh nghiệp sẽ loại bỏ nhu cầu tích hợp giao diện lập trình ứng dụng truyền thống và triển khai Giao thức Ngữ cảnh Mô hình chuyên dụng.
- Tích hợp giọng nói và lời nói nguyên bản ở cấp phần cứng: Sự phổ biến của các dạng thiết bị phần cứng giọng nói hiện diện thường trực, có độ trễ thấp và được thiết kế riêng cho xử lý lời nói theo thời gian thực sẽ chuyển phương thức điều khiển tác nhân chủ yếu từ các ứng dụng khách gọn nhẹ dùng tin nhắn văn bản sang các vòng tương tác âm thanh liên tục.
Để tìm hiểu sâu hơn về hạ tầng tác nhân tự chủ hoạt động liên tục và đánh giá các cách triển khai khung vận hành mô hình hiện đại, hãy truy cập các tài nguyên nghiên cứu nguồn mở có trên trang web DeepValues Research hoặc trải nghiệm nền tảng trực tiếp trong ứng dụng DeepValues.
Tài liệu tham khảo
Stanford CS146S: How always-on agents work, presentation by Lee Robinson on the leerob YouTube channel.
Xem
Liên kết nguồn
Xem & nghe
- SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall YouTube · EN
- SpaceX讓AI替員工開會:全天候智能體連跑3週 YouTube · 中文
- SpaceX Engineer: Always-On AI Agents Hit a 200K Token Wall Podcast · EN
- SpaceX讓AI替員工開會:全天候智能體連跑3週 Podcast · 中文