Tệp văn bản ở gốc trang web, báo cho trình thu thập biết trang nào có thể truy cập.

Đặt robots.txt ở đâu?

Ở gốc tên miền: https://www.localtoolz.com/robots.txt

User-agent nghĩa là gì?

Chỉ định trình thu thập nào áp dụng quy tắc. Dùng * cho tất cả.

Cung cấp chỉ dẫn nhưng không kiểm soát truy cập thực sự. Dùng xác thực máy chủ.

Tạo tệp robots.txt cho trang web của bạn. Kiểm soát cách công cụ tìm kiếm lập chỉ mục trang.

