Tạo Robots.txt
Tạo tệp robots.txt cho công cụ tìm kiếm
Quy tắc cho trình thu thập dữ liệu
Hãy chọn một mẫu làm điểm xuất phát, sau đó chỉnh quyền truy cập của trình thu thập dữ liệu và các ngoại lệ về đường dẫn.
Nhóm quy tắc
Nhóm 1
Disallow · đường dẫn bị chặn
Allow · ngoại lệ
Tệp robots.txt của bạn
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Đã cập nhật bản xem trước. Hãy xem lại các quy tắc trước khi công bố.
Cài đặt lên trang web của bạn
- Sao chép hoặc tải xuống nội dung đã tạo.
- Lưu vào một tệp văn bản UTF-8 có tên robots.txt.
- Tải lên thư mục gốc của đúng máy chủ, giao thức và cổng tương ứng.
- Truy cập yoursite.com/robots.txt và xác nhận nội dung.
- Xem báo cáo robots.txt trong Search Console sau khi công bố.
Trước khi công bố
- robots.txt kiểm soát việc thu thập dữ liệu. Một URL bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm.
- Để dùng noindex, hãy cho phép trình thu thập dữ liệu tải trang và đọc thẻ meta hoặc tiêu đề phản hồi của trang.
- Hãy bảo vệ các trang riêng tư và trang staging bằng xác thực; robots.txt có thể được đọc công khai.
- Hãy để CSS và JavaScript cần thiết để hiển thị trang của bạn luôn có thể thu thập.
- Hãy đối chiếu từng mẫu với cấu trúc URL của chính bạn.
- Hãy dùng user-agent cụ thể khi các trình thu thập dữ liệu khác nhau cần quy tắc khác nhau.
- Đường dẫn phân biệt chữ hoa chữ thường; * là ký tự đại diện và $ đánh dấu phần cuối của URL.
Disallow · đường dẫn bị chặn
Allow · ngoại lệ
Giới thiệu Tạo Robots.txt
Đây là công cụ tạo Robots.txt, một công cụ trực tuyến miễn phí giúp bạn tạo tệp robots.txt đúng định dạng cho website. Tệp robots.txt là thành phần cơ bản của SEO kỹ thuật, cho trình thu thập dữ liệu của công cụ tìm kiếm biết trang hoặc thư mục nào được phép hoặc không được phép truy cập. Quy tắc cho trình thu thập dữ liệu có thể giảm số yêu cầu đến các đường dẫn được chọn. URL bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm, và các khu vực riêng tư cần xác thực chứ không phải robots.txt.
Website có thể dùng tệp robots.txt ở thư mục gốc của máy chủ khi cần quy tắc thu thập dữ liệu. Website cũng có thể cho phép thu thập dữ liệu mà không cần tệp này. Công cụ này cung cấp các mẫu phổ biến, nhiều nhóm user-agent cùng các trường sitemap và độ trễ tùy chọn; hãy đối chiếu chúng với các đường dẫn riêng của website bạn.
Dù bạn vận hành blog, cửa hàng thương mại điện tử, website doanh nghiệp hay ứng dụng SaaS, công cụ tạo robots.txt cho phép bạn cấu hình quy tắc thu thập dữ liệu trực quan, xem trước tệp được tạo theo thời gian thực và sao chép chỉ bằng một cú nhấp. Không cần viết mã để chỉnh sửa quy tắc. Mức hỗ trợ chỉ thị khác nhau tùy trình thu thập dữ liệu: Google hỗ trợ User-agent, Allow, Disallow và Sitemap, còn trường độ trễ tùy chọn và Host cũ có thể bị bỏ qua.
Tính năng chính
- Mẫu nhanh cho website cơ bản, thiết lập hạn chế, blog WordPress và cửa hàng thương mại điện tử
- Nhiều quy tắc thu thập dữ liệu, hỗ trợ các user-agent khác nhau (Googlebot, Bingbot, Yandex và nhiều hơn nữa)
- Cấu hình đường dẫn Allow và Disallow, không giới hạn số mục cho mỗi quy tắc
- Trường tham chiếu URL sitemap giúp công cụ tìm kiếm khám phá tốt hơn
- Thiết lập Crawl-delay cho các bot tuân theo (Bing và Yandex có, Google bỏ qua)
- Dòng Host cũ tùy chọn cho các thiết lập Yandex cũ (Yandex không còn dùng từ năm 2018; hãy dùng chuyển hướng 301 để chuẩn hóa tên miền)
- Xem trước tệp robots.txt được tạo theo thời gian thực
- Sao chép vào bộ nhớ tạm chỉ bằng một cú nhấp để triển khai nhanh
- Có kèm hướng dẫn cài đặt từng bước
- Tương thích với trình thu thập dữ liệu của Google, Bing, Yandex, Baidu và DuckDuckGo
Cách dùng
- Chọn mẫu: Chọn một mẫu nhanh (Basic, Restrictive, WordPress Blog hoặc E-commerce) để điền sẵn các quy tắc phổ biến, hoặc bắt đầu từ đầu.
- Cấu hình quy tắc thu thập dữ liệu: Đặt user-agent, thêm đường dẫn Disallow cho các thư mục bạn muốn chặn và đường dẫn Allow cho các ngoại lệ.
- Đặt tùy chọn chung: Nhập URL sitemap của bạn và, nếu cần, độ trễ thu thập dữ liệu trong mục Global Settings.
- Xem trước đầu ra: Xem lại tệp robots.txt được tạo trong bảng xem trước thời gian thực ở bên phải.
- Sao chép và triển khai: Nhấp nút Copy để sao chép nội dung tệp, sau đó lưu thành "robots.txt" trong thư mục gốc của website.
- Kiểm tra và xác thực: Sau khi tải lên, hãy xem báo cáo robots.txt trong Google Search Console (Settings) để xác nhận Google đã tải và phân tích tệp của bạn.
Trường hợp sử dụng
- Tối ưu ngân sách thu thập dữ liệu: Chặn các trang giá trị thấp như bảng quản trị, kết quả tìm kiếm và kho lưu thẻ để trình thu thập dữ liệu tập trung vào nội dung quan trọng.
- Ngăn nội dung trùng lặp: Disallow truy cập các trang phân trang, chế độ xem đã lọc và URL nhiều tham số tạo ra nội dung trùng lặp.
- Quản lý tải máy chủ: Đặt độ trễ thu thập dữ liệu để làm chậm các bot tuân theo, như Bingbot và YandexBot (Googlebot bỏ qua Crawl-delay).
- Bảo vệ site staging: Dùng xác thực để hạn chế truy cập vào môi trường phát triển hoặc staging. Chỉ riêng robots.txt không ngăn URL của chúng bị lập chỉ mục.
- Tối ưu WordPress: Chặn wp-admin và kết quả tìm kiếm nội bộ, đồng thời giữ admin-ajax.php, giao diện và thư mục tải lên có thể thu thập để trang hiển thị đúng và ảnh có thể được lập chỉ mục.
- Tinh chỉnh thương mại điện tử: Ngăn thu thập giỏ hàng, thanh toán, tài khoản và các điểm cuối API, đồng thời cho phép trang sản phẩm và danh mục.
Câu hỏi thường gặp
Công cụ này có miễn phí không?
Có, công cụ tạo Robots.txt hoàn toàn miễn phí, không cần đăng ký và không giới hạn lượt dùng. Hãy tạo và sao chép bao nhiêu tệp tùy nhu cầu.
Dữ liệu của tôi có an toàn không?
Mọi cấu hình diễn ra trong trình duyệt của bạn. Không có dữ liệu nào được gửi đến máy chủ. Nội dung robots.txt được tạo hoàn toàn ở phía máy khách.
Tôi nên đặt tệp robots.txt ở đâu?
Tệp robots.txt phải được đặt trong thư mục gốc của website. Ví dụ, tệp cần truy cập được tại https://yourdomain.com/robots.txt để công cụ tìm kiếm tìm thấy.
Robots.txt có thể chặn trang khỏi việc bị lập chỉ mục không?
URL bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm. Để ngăn lập chỉ mục bằng noindex, hãy để trình thu thập dữ liệu tải trang và đọc thẻ meta hoặc tiêu đề phản hồi X-Robots-Tag. Xác thực có thể bảo vệ các trang riêng tư.
Có nên chặn các tệp CSS và JavaScript không?
Không. Google cần truy cập tệp CSS và JavaScript để hiển thị trang của bạn đúng cách. Chặn chúng có thể gây hại cho SEO vì Google không thể đánh giá đúng bố cục và nội dung trang của bạn.
Robots.txt có phải là biện pháp bảo mật không?
Không. Tệp robots.txt có thể truy cập công khai và chỉ là gợi ý cho các trình thu thập dữ liệu tuân thủ quy tắc. Đừng bao giờ dựa vào nó để bảo vệ thông tin nhạy cảm. Hãy dùng xác thực phía máy chủ và kiểm soát truy cập.
Mẹo và thực hành tốt nhất
- Luôn thêm sitemap: Thêm chỉ thị Sitemap giúp công cụ tìm kiếm khám phá nhanh hơn mọi trang quan trọng của bạn.
- Kiểm tra sau khi triển khai: Dùng báo cáo robots.txt trong Google Search Console và công cụ URL Inspection để xác nhận các trang quan trọng không bị chặn nhầm.
- Cụ thể với đường dẫn: Dùng đường dẫn thư mục chính xác thay vì mẫu rộng để tránh vô tình chặn nội dung có giá trị.
- Dùng user-agent có mục tiêu: Nếu cần quy tắc khác nhau cho Google và Bing, hãy tạo các khối quy tắc riêng với tên user-agent cụ thể.
- Xem lại thường xuyên: Cập nhật robots.txt mỗi khi bạn thêm chuyên mục mới, đổi cấu trúc URL hoặc di chuyển website.
- Tránh dùng ký tự đại diện bất cẩn: Ký tự đại diện * và dấu kết thúc URL $ rất mạnh nhưng có thể vô tình chặn các trang quan trọng nếu dùng sai.