JA4 Fingerprint là gì?

Scrapeless Agent Browser cung cấp các phiên trình duyệt đám mây để render các trang động và điều khiển luồng công việc trên trình duyệt.

JA4 Fingerprint đo lường gì?

JA4 fingerprint là một tóm tắt có cấu trúc của các đặc trưng TLS ClientHello được chọn, do FoxIO định nghĩa. Nó kết hợp một tiền tố dễ đọc với các thành phần được băm để các nhà phân tích có thể so sánh cả mẫu client tổng thể và các phần của mẫu đó.

JA4 là một phương pháp trong họ JA4+ rộng hơn. Giá trị TLS-client không được nhầm lẫn với fingerprint HTTP, máy chủ, hay các fingerprint mạng khác trong họ đó. Hãy nêu rõ phương pháp cụ thể khi lưu trữ hoặc thảo luận kết quả; chỉ “JA4+” thì quá rộng để xác định các trường được đo.

Đặc tả dự án JA4+ mô tả họ này và mục đích sử dụng cho phân tích mạng. Một fingerprint là một tín hiệu gom nhóm. Nó không cung cấp bằng chứng về hoạt động của con người, quyền sở hữu tài khoản, hoặc quyền thực hiện một hành động trong ứng dụng.

Các phần của JA4 được xây dựng như thế nào?

JA4 xây dựng các phần của nó từ bản tóm tắt giao thức và khả năng, một hash danh sách cipher đã chuẩn hóa, và một hash phần mở rộng và thuật toán chữ ký đã chuẩn hóa. Định nghĩa kỹ thuật chỉ rõ các quy tắc chuẩn hóa, loại trừ và mã hóa.

Tiền tố dễ đọc mô tả hạng mục truyền tải, phiên bản TLS được thuật toán biểu diễn, sự hiện diện của SNI, số lượng cipher và extension được chào, và tóm tắt ALPN. SNI và ALPN là các tính năng của giao thức, vì vậy cách chúng được biểu diễn nên được hiểu thông qua thuật toán thay vì đoán từ một nhãn tiện lợi.

Thành phần cipher sắp xếp các định danh cipher được đưa vào trước khi băm. Thành phần extension sắp xếp các định danh extension được đưa vào và kết hợp các thuật toán chữ ký theo thứ tự quan sát. SNI và ALPN được xử lý đặc biệt trong hash extension vì thông tin về chúng đã xuất hiện ở nơi khác trong cấu trúc.

Định nghĩa kỹ thuật JA4 TLS-client là nguồn có thẩm quyền cho các chi tiết đó. Một bộ thu thập nên tuân theo đặc tả đó một cách nhất quán. Sắp xếp bừa tất cả các trường đầu vào sẽ tạo ra một phương pháp khác, ngay cả khi kết quả trông có vẻ giống nhau.

JA4 sử dụng đầu ra SHA-256 đã cắt ngắn cho các thành phần được băm của nó và loại trừ các giá trị GREASE theo các quy tắc của đặc tả. Việc cắt ngắn là lựa chọn biểu diễn gọn. Tiền tố dễ đọc cùng với các hash gọn vẫn là một bản tóm tắt mất mát của một bắt tay phong phú hơn.

Tại sao chuẩn hóa lại quan trọng?

Chuẩn hóa quan trọng vì một client có thể thay đổi thứ tự các khả năng được chào mà không thay đổi tập khả năng cơ bản. Một fingerprint bảo toàn mọi biến thiên thứ tự như vậy có thể chia các client tương tự thành nhiều nhóm tách biệt.

JA4 sắp xếp các danh sách được chọn để giảm nguồn biến thiên đó. Điều này giúp việc so sánh hữu ích trong các trường hợp thứ tự thay đổi, đồng thời vẫn giữ lại các khác biệt khác. Nó không có nghĩa là JA4 giữ nguyên trong mọi kết nối từ cùng một ứng dụng.

Hành vi TLS GREASE thêm các giá trị dành riêng để kiểm tra khả năng mở rộng. Một phương pháp thu thập cần phân biệt các giá trị đó với các khả năng ổn định. Cách JA4 xử lý GREASE thuộc về các quy tắc chuẩn hóa của nó, không phải là một tuyên bố riêng rằng thay đổi giá trị giao thức là dấu hiệu lạm dụng.

Cập nhật client, thay đổi khả năng, thay đổi cấu hình và một đường kết nối khác nhau đều có thể ảnh hưởng đến phép đo. Nếu một fingerprint thay đổi sau khi cập nhật, hãy kiểm tra các quan sát thô trước khi quy thay đổi đó cho một operator mới. Chuẩn hóa giảm một số khác biệt; nó không xóa hết mọi biến thiên có ý nghĩa.

JA4 khác JA3 như thế nào?

JA4 khác JA3 ở cách xử lý đầu vào và biểu diễn. JA3 tạo ra một MD5 digest từ các trường có thứ tự được chọn. JA4 phơi lộ một tiền tố có cấu trúc và các thành phần đã chuẩn hóa được băm riêng. Các giá trị không thể thay thế cho nhau.

Gọi JA4 là một cách tiếp cận mới hơn không làm cho dữ liệu JA3 hiện có trở nên vô nghĩa. Các cuộc điều tra lịch sử có thể phụ thuộc vào các giá trị JA3 đã được ghi lại. Một quá trình chuyển đổi có thể thu thập cả hai khi phù hợp, đồng thời giữ nguyên nhãn thuật toán và tránh so sánh các giá trị không tương đồng.

Một băm JA3 nói chung không thể được chuyển đổi thành JA4 vì băm này không chứa dữ liệu ClientHello cơ bản. Nếu bạn cần cả hai phương pháp, hãy lấy bản ghi quan sát thô phù hợp và tính từng cái theo quy trình đã được định nghĩa riêng.

JA4, JA4H và Fingerprint JavaScript

JA4, JA4H và fingerprint JavaScript mô tả các hành vi quan sát được khác nhau. JA4 mô tả các đặc điểm của bắt tay TLS phía client. JA4H thuộc về fingerprint phía client HTTP. Fingerprint JavaScript mô tả các thuộc tính trình duyệt và quá trình thực thi mà mã trên trang có thể quan sát.

Một nền tảng bảo mật có thể tương quan tất cả chúng, nhưng một công cụ chẩn đoán nên báo cáo những phép đo mà nó thực sự thu thập. Một bài kiểm tra trình duyệt đọc kích thước màn hình không có nghĩa là nó đã đo một TLS ClientHello. Một bản ghi proxy ghi lại một phiên bắt tay không có nghĩa là nó đã kiểm tra trang đã được hiển thị.

Sự phân biệt này cũng giải thích vì sao thay đổi User-Agent không kiểm soát toàn bộ danh tính kết nối. Các header HTTP được tạo ra sau khi bắt tay trên kết nối TLS. Một client có thể khai báo một họ trình duyệt trong header trong khi phần triển khai mạng của nó lại tạo ra một mẫu khác.

Ngay cả một tập hợp tín hiệu nhất quán cũng không thể xác lập chắc chắn ý định của người dùng. Cùng một bản dựng trình duyệt có thể được dùng cho một người đọc trang, một bài kiểm tra được phê duyệt hoặc một khối lượng công việc tự động không mong muốn. Chính sách ứng dụng và ủy quyền vẫn cần bằng chứng riêng của chúng.

Bạn có thể lấy phép đo JA4 đáng tin cậy từ đâu?

Một phép đo JA4 đáng tin cậy đến từ một thành phần có thể quan sát ClientHello liên quan và áp dụng thuật toán đã được chỉ định. Thành phần đó có thể là một dịch vụ biên, một cảm biến mạng hoặc một điểm cuối chẩn đoán do bạn kiểm soát.

Xác định chặng được đo. Một cổng kết thúc TLS tạo một kết nối riêng tới máy chủ gốc, vì vậy máy chủ gốc có thể quan sát client TLS của cổng thay vì trình duyệt ban đầu. Một đường hầm truyền thẳng có thể giữ nguyên phiên bắt tay của client gốc. Định tuyến và kết thúc là các vấn đề riêng biệt.

Mô hình bắt tay TLS cung cấp ngữ cảnh giao thức cho những quan sát này. Nó cũng giải thích vì sao một ứng dụng chạy phía sau hạ tầng kết thúc có thể cần siêu dữ liệu đáng tin cậy từ hạ tầng đó thay vì cố gắng dựng lại phiên bắt tay từ các header yêu cầu thông thường.

Lưu lại điểm quan sát, phiên bản bộ sưu tập, thời gian và môi trường client liên quan cùng với kết quả. Nếu hạ tầng chuyển một fingerprint trong header, hãy đảm bảo rằng các bên gọi không đáng tin cậy không thể cung cấp hoặc ghi đè header đó. Một fingerprint được khai báo khác với một fingerprint được đo.

Một cuộc điều tra JA4 có kiểm soát

Một cuộc điều tra JA4 có kiểm soát so sánh các quan sát kết nối với kết quả ứng dụng trong khi thay đổi một biến được xác định rõ ràng. Nó nên giải quyết một câu hỏi cụ thể, chẳng hạn như liệu một bản cập nhật client có làm thay đổi các khả năng được cung cấp hay không.

1. Chọn một điểm cuối quan sát được ủy quyền. Xác nhận rằng nó nhìn thấy kết nối bạn định đo.
2. Ghi lại trình duyệt và tuyến đường. Bao gồm các phiên bản liên quan và liệu TLS có được kết thúc bởi một trung gian hay không.
3. Giữ lại dữ liệu giải thích. Khi phù hợp, giữ lại chi tiết các trường đã chuẩn hóa để có thể điều tra một thay đổi trong thành phần.
4. So sánh các thành phần một cách có chủ đích. Một tiền tố ổn định với phần băm thay đổi có ý nghĩa hẹp hơn so với một quan sát thay đổi hoàn toàn.
5. Kiểm tra nội dung được trả về. Xác minh rằng kết quả ứng dụng thỏa mãn tác vụ được cho phép. Một giá trị JA4 quen thuộc không chứng nhận thành công việc trích xuất.

Đối với việc thu thập dựa trên trình duyệt, tài liệu Agent Browser mô tả phạm vi trình duyệt được quản lý. Sản phẩm Scrapeless Agent Browser cung cấp một runtime trình duyệt, trong khi logic kiểm thử của bạn xác định liệu trang và các trường mong muốn đã đến hay chưa. Tránh giả định các kiểm soát không được ghi chép để gán một giá trị JA4 cụ thể.

Quy trình dấu vân tay trình duyệt Node.js liên quan là ngữ cảnh hữu ích cho tự động hóa dựa trên trình duyệt. So sánh bảng giá Scrapeless với khối lượng công việc và chất lượng nội dung bạn đo được thay vì coi việc trùng fingerprint là tiêu chí chấp nhận cuối cùng.

Kết luận

JA4 cung cấp cho nhà phân tích một góc nhìn có cấu trúc về các đặc tính được chọn của TLS-client và giảm bớt một số biến thiên liên quan đến thứ tự. Hãy sử dụng các thành phần của nó để giải thích quan sát, giữ lại ngữ cảnh phép đo và phân biệt nó với fingerprint HTTP và JavaScript. Fingerprint hỗ trợ cuộc điều tra; ủy quyền của ứng dụng và phản hồi có thể sử dụng vẫn là các quyết định riêng biệt.