Web Agents là gì? Kiến trúc, Công cụ Trình duyệt & Trường hợp Sử dụng
Lead Scraping Automation Engineer
TL;DR:
- Một đại lý web biến một mục tiêu thành các hành động trình duyệt và dữ liệu. Nó lập kế hoạch một chuỗi giới hạn, gọi các công cụ đã được đánh máy, quan sát từng kết quả và xác thực sản phẩm cuối cùng.
- Các công cụ trình duyệt cho một đại lý web một lớp thực thi. Tìm kiếm, chụp trang, điều hướng, nhấp chuột, đánh máy và trích xuất giúp hệ thống vượt ra ngoài một chatbot chỉ tạo ra văn bản.
- Những đại lý web hữu ích kết hợp sự phán đoán của mô hình với các điều khiển xác định. Các sơ đồ, danh sách cho phép, bộ xác thực, ngân sách và cổng xác nhận giữ cho kế hoạch mở trong một quy trình làm việc có thể kiểm toán.
- Đầu ra có cấu trúc là một phần của nhiệm vụ, không phải là một suy nghĩ muộn. Một đại lý web nên trả về các bản ghi đáp ứng một sơ đồ được tuyên bố và bao gồm đủ bằng chứng để một người hoặc hệ thống hạ nguồn có thể kiểm tra chúng.
- Hành động có hậu quả cần một quyết định của con người. Mua hàng, thay đổi tài khoản, nộp biểu mẫu, tin nhắn và bất kỳ hành động nào liên quan đến dữ liệu nhạy cảm nên tạm dừng để được phê duyệt rõ ràng.
- Miễn phí để bắt đầu. Các tài khoản Scrapeless mới bao gồm thời gian chạy Trình duyệt Scraping miễn phí — đăng ký tại app.scrapeless.com.
Giới thiệu: web là một môi trường, không phải tài liệu
Một đại lý web coi các trang web như những môi trường mà nó có thể thu thập bằng chứng và hoàn thành các nhiệm vụ giới hạn. Một chatbot có thể giải thích cách so sánh ba sản phẩm; một đại lý web có thể mở các trang sản phẩm công khai, trích xuất cùng một trường từ mỗi trang, chuẩn hóa giá trị và trả về một bảng so sánh.
Khả năng thêm vào đó thay đổi vấn đề kỹ thuật. Mô hình chỉ là người lập kế hoạch. Hệ thống hoàn chỉnh cũng cần một trình duyệt hoặc bề mặt tìm kiếm, các công cụ đã được đánh máy, trạng thái, xác thực đầu ra, chính sách an toàn và một bản ghi về những gì đã xảy ra.
Hướng dẫn này định nghĩa các đại lý web, phân tách chúng khỏi chatbot và tự động hóa cố định, lập bản đồ kiến trúc công cụ trình duyệt và chỉ ra cách Máy chủ MCP Scrapeless và Trình duyệt Scraping Scrapeless phù hợp vào quy trình làm việc nghiên cứu web công khai.
Đại lý Web là gì?
Một đại lý web là một hệ thống AI có thể giải thích một mục tiêu, lựa chọn các công cụ giao diện web, hành động trên các trang trực tiếp, quan sát kết quả và sản xuất một sản phẩm đã được kiểm tra. Tính năng xác định không phải là giao diện trò chuyện. Đây là vòng lặp được kiểm soát giữa lập kế hoạch và hành động bên ngoài.
Đại lý thường chứa sáu lớp chức năng:
- Mục tiêu và chính sách. Yêu cầu của người dùng được dịch ra thành một nhiệm vụ, các miền cho phép, các hành động bị cấm, định dạng đầu ra và quy tắc hoàn thành.
- Người lập kế hoạch. Một mô hình chọn cuộc gọi công cụ tiếp theo dựa trên mục tiêu và trạng thái hiện tại.
- Lớp công cụ. Tìm kiếm, truy xuất HTTP, điều hướng trình duyệt, tương tác, đọc trang và thao tác tệp phơi bày các hành động xác định thông qua các sơ đồ.
- Trạng thái. Chạy lưu trữ các URL đã truy cập, các sự thật đã trích xuất, các câu hỏi mở, đầu ra của công cụ và công việc còn lại.
- Bộ xác thực. Các quy tắc kiểm tra các trường cần thiết, trích dẫn, các trường hợp trùng lặp, tổng số hoặc các tiêu chí chấp nhận cụ thể cho nhiệm vụ khác.
- Ranh giới kiểm soát. Ngân sách, danh sách cho phép, thông tin xác thực và cổng phê duyệt giới hạn những gì đại lý có thể làm.
Thông số Thông số công cụ của Giao thức Ngữ cảnh Mô hình mô tả các công cụ như các chức năng được kiểm soát bởi mô hình với các sơ đồ có tên. Hợp đồng đó quan trọng vì mô hình chọn một hành động, trong khi ứng dụng kiểm soát việc triển khai, quyền hạn và kết quả có thể quan sát.
Đại lý Web so với Chatbot, RPA và Script Trình duyệt Cố định
Các đại lý web khác biệt với các mô hình tự động hóa lân cận ở cách chọn hành động và phản ứng với bằng chứng đang thay đổi.
| Hệ thống | Chọn hành động tiếp theo | Đọc trạng thái web trực tiếp | Xử lý biến thể | Phù hợp nhất |
|---|---|---|---|---|
| Chatbot | Tạo văn bản từ lời nhắc và ngữ cảnh | Chỉ khi một công cụ được gắn kèm | Bị giới hạn bởi ngữ cảnh đã cung cấp | Giải thích, soạn thảo, Hỏi & Đáp |
| Script trình duyệt cố định | Theo một con đường lập trình | Có | Thông qua các nhánh rõ ràng do nhà phát triển viết | Quy trình ổn định, lặp lại |
| Quy trình RPA | Theo một quy trình kinh doanh đã thiết kế | Có | Thông qua các quy tắc và bộ chọn được cấu hình | Quy trình văn phòng hậu trường với các màn hình đã biết |
| Đại lý web | Chọn các công cụ từ mục tiêu và quan sát | Có | Lập kế hoạch lại trong một chính sách giới hạn | Nghiên cứu và các nhiệm vụ web đa bước với các con đường biến đổi |
Một script cố định vẫn là lựa chọn tốt hơn khi con đường đã biết và hợp đồng trang ổn định. Một đại lý web có thêm độ phức tạp khi nhiệm vụ có các bước điều kiện: lựa chọn giữa các kết quả tìm kiếm, khám phá trang nào chứa một trường, so sánh các bố cục không đồng nhất, hoặc quyết định xem bằng chứng thu thập có đáp ứng yêu cầu hay không.
Mẫu thực tiễn là dạng kết hợp. Sử dụng sự phán đoán của mô hình để lựa chọn và diễn giải, sau đó sử dụng mã xác định cho xác thực URL, số học, kiểm tra lược đồ, loại bỏ trùng lặp và thi hành quyền. hướng dẫn kiến trúc tìm kiếm và sử dụng công cụ agent đưa ra sự phân tách tương tự: agent điều phối, trong khi các công cụ cung cấp các chức năng riêng lẻ với các đầu vào được xác định.
Cách hoạt động của Vòng lặp Agent Web
Vòng lặp agent web chuyển đổi một mục tiêu mở thành một chuỗi có thể được kiểm tra và dừng lại.
1. Định nghĩa đường kết thúc
Agent cần một bài kiểm tra chấp nhận trước khi mở một trang. “Nghiên cứu ghế văn phòng” là mơ hồ. “Trả về năm bản ghi sản phẩm công khai với tiêu đề, giá niêm yết, vật liệu, URL nguồn và ghi chú cho bất kỳ trường nào bị thiếu” là có thể kiểm tra.
2. Xây dựng một kế hoạch giới hạn
Người lập kế hoạch lựa chọn tập hợp hành động nhỏ nhất có khả năng tạo ra các bản ghi yêu cầu. Nó có thể tìm kiếm các trang ứng viên, mở các kết quả liên quan nhất và chọn một đọc HTTP trực tiếp hoặc một phiên trình duyệt dựa trên hành vi của trang.
3. Hành động thông qua các công cụ đã định kiểu
Mỗi hành động là một cuộc gọi có cấu trúc thay vì gợi ý bằng câu văn. Một công cụ tìm kiếm chấp nhận một truy vấn và địa phương. Một công cụ điều hướng trình duyệt chấp nhận một URL. Một công cụ trích xuất trả về văn bản, HTML, một ảnh chụp hoặc một bản ghi đã được công nhận.
4. Quan sát và cập nhật trạng thái
Agent ghi lại những gì công cụ đã trả về, trường nào vẫn còn trống, và liệu hành động đã lên kế hoạch tiếp theo có còn hợp lý hay không. Một trang đồng ý, một sản phẩm bị thiếu, hoặc một lưới được kết xuất từ phía khách hàng nên thay đổi kế hoạch mà không thay đổi chính sách.
5. Chọn một nhánh phục hồi
Phục hồi là một quyết định mới, không phải lặp lại mù quáng. Agent có thể chọn một nguồn công khai khác, chuyển từ việc lấy văn bản sang trình duyệt đã được kết xuất, thu hẹp bộ chọn, hoặc dừng lại và báo cáo rằng một trường yêu cầu không khả dụng.
6. Xác thực và hoàn thành
Bộ xác thực kiểm tra lược đồ cuối cùng, URL, bản sao, xử lý null và bằng chứng. Agent chỉ hoàn thành khi bài kiểm tra chấp nhận vượt qua hoặc chạy đến một điều kiện dừng đã được công nhận.
Các Công Cụ Trình Duyệt Là Lớp Thực Thi
Các công cụ trình duyệt cho phép một agent web hoạt động trên trạng thái trực tiếp, đã được kết xuất mà người dùng thấy. Các trang hiện đại có thể lắp ráp nội dung sau phản hồi HTML ban đầu, yêu cầu điều hướng qua nhiều chế độ xem, hoặc tiết lộ dữ liệu chỉ sau một hành động giao diện người dùng.
Một bề mặt công cụ trình duyệt hữu ích bao gồm bốn công việc:
- Điều khiển phiên. Tạo và đóng một phiên trình duyệt cô lập với một vùng giới hạn và thời gian sống đã định.
- Điều hướng. Mở một URL, di chuyển qua lịch sử, và chờ đợi một điều kiện trang đã biết.
- Quan sát. Đọc văn bản, HTML, ảnh chụp khả năng tiếp cận, ảnh chụp màn hình, và trạng thái hiển thị.
- Tương tác. Nhấp, gõ, nhấn phím, và cuộn khi công việc yêu cầu.
Máy chủ Scrapeless MCP không có lỗi tiết lộ tìm kiếm, chụp trang không trạng thái, và các công cụ phiên trình duyệt bền vững thông qua một kết nối MCP. Bề mặt chính thức hiện tại của Scrapeless chứa 21 công cụ, vì vậy một agent có khả năng MCP có thể lựa chọn giữa việc đọc trang trực tiếp và trình duyệt có trạng thái mà không cần thay đổi giao thức. Năm trường hợp sử dụng Scrapeless MCP cho thấy cùng một bề mặt được áp dụng cho các nhiệm vụ nghiên cứu công khai trên nhiều loại trang.
Trình duyệt vẫn là một công cụ, không phải là động cơ chính sách. Danh sách cho phép miền, quy tắc dữ liệu, cổng xác nhận, và xác thực đầu ra thuộc về ứng dụng chủ mà trang không thể thay đổi.
Nhận khóa API của bạn trên gói miễn phí: app.scrapeless.com
Trạng thái, Bằng chứng, và Đầu ra Có cấu trúc
Trạng thái biến một chuỗi các cuộc gọi công cụ thành một cuộc chạy nghiên cứu có trách nhiệm. Nếu không có trạng thái, agent không thể cho biết liệu nó đã truy cập một URL hay chưa, liệu hai bản ghi có mô tả cùng một món hàng hay không, hoặc yêu cầu nào xuất phát từ trang nào.
Một trạng thái chạy tổng hợp có thể chứa:
| Trường trạng thái | Mục đích |
|---|---|
goal |
Sản phẩm giao hàng yêu cầu và bài kiểm tra chấp nhận |
policy |
Các miền cho phép, phạm vi đọc/ghi, ngân sách, và quy tắc phê duyệt |
visited_urls |
Loại bỏ trùng lặp và nguồn gốc |
observations |
Đầu ra công cụ liên quan đến quyết định tiếp theo |
records |
Các đối tượng đầu ra đã chuẩn hóa |
open_fields |
Giá trị yêu cầu bị thiếu hoặc câu hỏi chưa được giải quyết |
decision_log |
Tại sao agent chọn hoặc từ chối một hành động |
Đầu ra có cấu trúc nên được xác thực trước khi nó rời khỏi chạy. Nếu bản ghi yêu cầu là {name, price, url}, bộ xác thực nên từ chối một đối tượng với một URL bị thiếu, không ép buộc các giá trị tiền tệ, và giữ giá không khả dụng là null thay vì phát minh ra một giá.
Đây là nơi mà các tác nhân web trở nên hữu ích cho các hệ thống hạ nguồn. Một báo cáo có thể chịu đựng văn bản. Một bài nhập cơ sở dữ liệu, cảnh báo, hoặc bộ đánh giá cần các trường ổn định và các giá trị null rõ ràng.
Một Nhiệm Vụ Nghiên Cứu Web Công Khai, Từng Bước
Một nhiệm vụ web công khai có giới hạn cho thấy nơi mà phán quyết của mô hình kết thúc và các kiểm soát xác định bắt đầu. Hãy xem xét yêu cầu này:
Tìm ba không gian làm việc chung được niêm yết công khai ở một thành phố đã nêu. Trả lại tên địa điểm, khu phố, khả năng sử dụng vé ngày, URL nguồn, và một ghi chú chứng cứ ngắn gọn. Không gửi biểu mẫu hoặc mở tài khoản.
Dấu vết thực hiện có thể trông như thế này:
| Giai đoạn | Quyết định của tác nhân | Hành động công cụ | Kiểm tra xác định |
|---|---|---|---|
| Phạm vi | Chuyển đổi yêu cầu thành năm trường bắt buộc | Không có | Xác nhận chỉ trang công khai; cấm biểu mẫu |
| Khám phá | Tìm kiếm các trang địa điểm ứng cử viên | Truy vấn tìm kiếm | Chấp nhận chỉ https URL và miền cho phép |
| Kiểm tra | Ưu tiên các trang địa điểm bên thứ nhất | Bắt trang | Xác nhận tên trang là địa điểm và thành phố |
| Hiển thị | Sử dụng trình duyệt khi phần vé ngày được khách hàng tạo | Tạo phiên, điều hướng, đọc trang | Xác nhận URL cuối cùng và tiêu đề hiển thị |
| Trích xuất | Xây dựng một hồ sơ cho mỗi địa điểm | Đọc văn bản hoặc HTML | Xác nhận các trường cần thiết và chuẩn hóa null |
| So sánh | Giữ ba địa điểm khác biệt với chứng cứ có thể sử dụng | Không có | Loại bỏ các URL và tên chuẩn trùng lặp |
| Hoàn thành | Trả lại bảng và ghi chú chứng cứ | Không có | Xác nhận ba hồ sơ hợp lệ và không có hành động bị cấm |
Tác nhân có thể thay đổi kế hoạch của mình khi một trang thiếu trường vé ngày, nhưng không thể thay đổi ranh giới an toàn của yêu cầu. Nó có thể chọn một trang địa điểm công khai khác. Nó không thể gửi một biểu mẫu liên hệ để có được câu trả lời bị thiếu.
Ranh Giới An Toàn cho Các Tác Nhân Web
An toàn của tác nhân web phụ thuộc vào việc tách biệt nội dung trang không được tin cậy khỏi hướng dẫn và quyền hợp lệ. Một trang có thể chứa văn bản được thiết kế để chuyển hướng một tác nhân, yêu cầu bí mật, hoặc kích hoạt một hành động không liên quan. Trang là bằng chứng; nó không bao giờ là thẩm quyền đối với chính sách của máy chủ.
Sử dụng những kiểm soát này trong sản xuất:
- Cấp cho bộ công cụ tối thiểu. Một tác nhân nghiên cứu không cần các công cụ mua sắm, nhắn tin, hoặc quản lý tài khoản.
- Tách biệt các hành động đọc và ghi. Duyệt chỉ đọc có thể chạy trong một phạm vi giới hạn; ghi bên ngoài tạm dừng để xác nhận.
- Danh sách cho phép miền và giao thức. Từ chối các đích địa phương, riêng tư, không phải HTTP, hoặc không được phê duyệt ở tầng ứng dụng và mạng.
- Giữ thông tin xác thực ra khỏi ngữ cảnh trang. Lưu trữ bí mật trong triển khai công cụ và chỉ tiết lộ hoạt động mà nhiệm vụ cần.
- Xem hướng dẫn trang như dữ liệu. Người lập kế hoạch không nên làm theo các hướng dẫn được phát hiện bên trong nội dung thu thập được trừ khi nhiệm vụ của người dùng gọi rõ ràng việc đó và chính sách cho phép hành động.
- Ghi lại các quyết định và kết quả công cụ. Một người xem xét cần URL, hành động, kết quả, và quyết định chính sách cho các bước quan trọng.
- Xác thực trước các tác động phụ. Máy chủ kiểm tra người nhận, số lượng, điểm đến, và tải trước bất kỳ hành động ghi nào.
Hồ sơ rủi ro AI sinh tạo NIST khung quản lý rủi ro qua toàn bộ vòng đời hệ thống, trong khi hướng dẫn tiêm lời nhắc OWASP bao phủ các hướng dẫn trực tiếp và gián tiếp có thể vượt qua từ nội dung thu thập được vào một quy trình điều khiển mô hình.
Nơi Các Tác Nhân Web Phù Hợp Nhất
Các tác nhân web phù hợp với các nhiệm vụ mà được điều khiển bởi mục tiêu, dựa trên chứng cứ, và đủ biến đổi đến nỗi một con đường cố định sẽ tốn kém để duy trì.
Các trường hợp sử dụng mạnh mẽ bao gồm:
- nghiên cứu thị trường công khai và sản phẩm trên các trang có bố cục khác nhau;
- nghiên cứu tài liệu sống với các URL nguồn và kiểm tra phiên bản;
- đảm bảo chất lượng trang web theo một hiến chương thử nghiệm bằng văn bản;
- giám sát có cấu trúc về tính có sẵn công khai, giá cả, hoặc các trang chính sách;
- nghiên cứu thông tin đầu mối nhiều trang giới hạn vào thông tin doanh nghiệp công khai;
- thu thập chứng cứ cho một nhà phân tích con người người sẽ đưa ra quyết định cuối cùng.
Các trường hợp không phù hợp bao gồm các giao dịch không thể đảo ngược, thay đổi tài khoản không giám sát, quyết định có rủi ro cao dựa trên một trang, và nhiệm vụ yêu cầu quyền truy cập vào dữ liệu riêng tư hoặc hạn chế. Những quy trình làm việc đó cần xác thực mạnh mẽ hơn, ủy quyền, xem xét của con người, và kiểm soát theo miền cụ thể hơn những gì một tác nhân web chung nên mang theo.
Kết luận: xây dựng mặt phẳng kiểm soát xung quanh trình duyệt
Một tác nhân web là một người lập kế hoạch được kết nối với các công cụ sống, trạng thái, xác thực, và chính sách. Mô hình chọn các hành động; các công cụ đã gõ thực hiện chúng; trình duyệt tiết lộ trạng thái đã thực hiện; các kiểm tra xác định quyết định xem sản phẩm có hoàn tất hay không.
Sẵn Sàng Xây Dựng Một Đại Lý Web Với Công Cụ Trình Duyệt Trực Tiếp?
Tham gia cộng đồng của chúng tôi để nhận một gói miễn phí và kết nối với các nhà phát triển xây dựng quy trình công việc đại lý web có giới hạn: Discord · Telegram.
Đăng ký tại app.scrapeless.com để nhận công cụ Trình Duyệt Gạch Dữ Liệu miễn phí và cung cấp cho đại lý của bạn khả năng tìm kiếm trực tiếp, ghi lại trang và công cụ phiên duyệt không cần vận hành hạ tầng trình duyệt cục bộ.
Câu Hỏi Thường Gặp
Q: Đại lý web là gì theo cách đơn giản?
Đại lý web là một hệ thống AI có thể lập kế hoạch và thực hiện một nhiệm vụ có giới hạn trên các trang web trực tiếp thông qua các công cụ. Nó quan sát từng kết quả, cập nhật trạng thái của mình và trả lại một kết quả đã kiểm tra thay vì chỉ tạo ra một câu trả lời từ ngữ cảnh hiện có.
Q: Đại lý web khác gì so với một script tự động hóa trình duyệt?
Một script tự động hóa trình duyệt theo một lộ trình đã được viết sẵn, trong khi một đại lý web có thể chọn giữa các hành động được phép dựa trên bằng chứng từ trang. Các script cố định thì tốt hơn cho các luồng ổn định; đại lý thì hữu ích khi phát hiện và các quyết định có điều kiện là một phần của nhiệm vụ.
Q: Đại lý web có cần trình duyệt không?
Một đại lý web cần một trình duyệt khi nội dung hoặc hành động cần thiết chỉ tồn tại trong trạng thái trang đã được kết xuất. Các công cụ tìm kiếm và ghi lại trang trực tiếp thì rẻ hơn cho các đọc đơn giản, vì vậy người lập kế hoạch nên chọn công cụ nhẹ nhất đáp ứng bài kiểm tra chấp nhận.
Q: Vai trò của MCP trong một đại lý web là gì?
MCP cung cấp cho máy chủ một cách tiêu chuẩn để phát hiện và gọi các công cụ dạng. Giao thức này kết nối đại lý với các khả năng như tìm kiếm, ghi lại trang và điều khiển trình duyệt trong khi máy chủ vẫn giữ quyền cho phép và logic phê duyệt.
Q: Làm thế nào để giữ cho một đại lý web không thực hiện các hành động không an toàn?
Giữ cho đại lý chỉ đọc theo mặc định, chỉ mở ra các công cụ cần thiết, cho phép danh sách các đích đến, cách ly thông tin xác thực, xác thực mọi hành động ghi ra bên ngoài, và yêu cầu sự phê duyệt của con người cho các hành động có hậu quả. Nội dung trang được lấy lại phải vẫn là dữ liệu không đáng tin cậy.
Tại Scrapless, chúng tôi chỉ truy cập dữ liệu có sẵn công khai trong khi tuân thủ nghiêm ngặt các luật, quy định và chính sách bảo mật trang web hiện hành. Nội dung trong blog này chỉ nhằm mục đích trình diễn và không liên quan đến bất kỳ hoạt động bất hợp pháp hoặc vi phạm nào. Chúng tôi không đảm bảo và từ chối mọi trách nhiệm đối với việc sử dụng thông tin từ blog này hoặc các liên kết của bên thứ ba. Trước khi tham gia vào bất kỳ hoạt động cạo nào, hãy tham khảo ý kiến cố vấn pháp lý của bạn và xem xét các điều khoản dịch vụ của trang web mục tiêu hoặc có được các quyền cần thiết.
