Pembuat Robots.txt
Buat file robots.txt untuk mesin pencari
Aturan crawler
Pilih templat awal, lalu sesuaikan akses crawler dan pengecualian path.
Grup aturan
Grup 1
Disallow · path yang diblokir
Allow · pengecualian
robots.txt Anda
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Pratinjau diperbarui. Tinjau aturan Anda sebelum dipublikasikan.
Pasang di situs web Anda
- Salin atau unduh konten yang dihasilkan.
- Simpan dalam file teks UTF-8 bernama robots.txt.
- Unggah ke root dari host, protokol, dan port yang sesuai.
- Buka yoursite.com/robots.txt dan pastikan isinya.
- Tinjau laporan robots.txt di Search Console setelah dipublikasikan.
Sebelum dipublikasikan
- robots.txt mengatur perayapan. URL yang diblokir mungkin tetap muncul di hasil pencarian.
- Untuk memakai noindex, izinkan crawler mengambil halaman dan membaca tag meta atau header responsnya.
- Lindungi halaman privat dan staging dengan autentikasi; robots.txt dapat dibaca publik.
- Biarkan CSS dan JavaScript yang diperlukan untuk merender halaman Anda tetap dapat dirayapi.
- Periksa setiap templat terhadap struktur URL Anda sendiri.
- Gunakan user-agent yang spesifik jika crawler berbeda memerlukan aturan berbeda.
- Path peka huruf besar/kecil; * adalah wildcard dan $ menandai akhir URL.
Disallow · path yang diblokir
Allow · pengecualian
Tentang Pembuat Robots.txt
Alat Pembuat Robots.txt adalah alat online gratis yang membantu Anda membuat file robots.txt dengan format yang benar untuk situs web Anda. File robots.txt adalah komponen mendasar dari SEO teknis yang memberi tahu crawler mesin pencari halaman atau direktori mana yang boleh atau tidak boleh diakses. Aturan crawler dapat mengurangi permintaan ke jalur tertentu. URL yang diblokir masih bisa muncul di hasil pencarian, dan area privat memerlukan autentikasi, bukan robots.txt.
Sebuah situs web dapat memakai file robots.txt di root host-nya ketika aturan crawler diperlukan. Situs juga dapat mengizinkan crawling tanpa file ini. Pembuat ini menyediakan template umum, beberapa grup user-agent, serta kolom sitemap dan jeda opsional; periksa semuanya terhadap jalur situs Anda sendiri.
Baik Anda mengelola blog, toko e-commerce, situs perusahaan, maupun aplikasi SaaS, pembuat robots.txt ini memungkinkan Anda mengatur aturan crawler secara visual, melihat pratinjau file yang dihasilkan secara real-time, dan menyalinnya dengan sekali klik. Tidak perlu coding untuk mengedit aturannya. Dukungan direktif berbeda di tiap crawler: Google mendukung User-agent, Allow, Disallow, dan Sitemap, sedangkan jeda opsional dan baris Host lama mungkin diabaikan.
Fitur utama
- Template cepat untuk situs web dasar, pengaturan ketat, blog WordPress, dan toko e-commerce
- Banyak aturan crawler dengan dukungan berbagai user-agent (Googlebot, Bingbot, Yandex, dan lainnya)
- Pengaturan jalur Allow dan Disallow dengan jumlah entri tanpa batas per aturan
- Kolom referensi URL sitemap untuk penemuan yang lebih baik oleh mesin pencari
- Pengaturan Crawl-delay untuk bot yang mematuhinya (Bing dan Yandex mematuhi; Google mengabaikannya)
- Baris Host lama yang opsional untuk setelan Yandex lama (tidak lagi dipakai Yandex sejak 2018; gunakan pengalihan 301 untuk kanonisasi domain)
- Pratinjau real-time file robots.txt yang dihasilkan
- Salin ke papan klip dengan sekali klik untuk penerapan cepat
- Dilengkapi petunjuk pemasangan langkah demi langkah
- Kompatibel dengan crawler Google, Bing, Yandex, Baidu, dan DuckDuckGo
Cara menggunakan
- Pilih template: Pilih template cepat (Dasar, Ketat, Blog WordPress, atau E-commerce) untuk mengisi aturan umum secara otomatis, atau mulai dari nol.
- Atur aturan crawler: Tentukan user-agent, tambahkan jalur Disallow untuk direktori yang ingin Anda blokir, dan tambahkan jalur Allow untuk pengecualian.
- Atur opsi global: Masukkan URL sitemap Anda dan, bila perlu, jeda crawl di bagian Pengaturan Global.
- Lihat pratinjau output: Tinjau file robots.txt yang dihasilkan di panel pratinjau real-time di sebelah kanan.
- Salin dan terapkan: Klik tombol Salin untuk menyalin isi file, lalu simpan sebagai "robots.txt" di direktori root situs web Anda.
- Uji dan validasi: Setelah diunggah, periksa laporan robots.txt di Google Search Console (Setelan) untuk memastikan Google mengambil dan mengurai file Anda.
Kasus penggunaan
- Optimasi crawl budget: Blokir halaman bernilai rendah seperti panel admin, hasil pencarian, dan arsip tag agar perhatian crawler tertuju pada konten penting.
- Pencegahan konten duplikat: Larang akses ke halaman paginasi, tampilan terfilter, dan URL yang sarat parameter yang menciptakan konten duplikat.
- Pengelolaan beban server: Atur jeda crawl untuk memperlambat bot yang mematuhinya, seperti Bingbot dan YandexBot (Googlebot mengabaikan Crawl-delay).
- Perlindungan situs staging: Gunakan autentikasi untuk membatasi akses ke lingkungan pengembangan atau staging. robots.txt saja tidak mencegah URL-nya terindeks.
- Optimasi WordPress: Blokir wp-admin dan hasil pencarian internal sambil tetap mengizinkan crawling admin-ajax.php, tema, dan uploads agar halaman dapat dirender dan gambar dapat diindeks.
- Penyesuaian e-commerce: Cegah crawling keranjang, checkout, akun, dan endpoint API sambil mengizinkan halaman produk dan kategori.
Pertanyaan yang sering diajukan
Apakah alat ini gratis?
Ya, Pembuat Robots.txt ini sepenuhnya gratis tanpa pendaftaran atau batas penggunaan. Buat dan salin sebanyak file yang Anda butuhkan.
Apakah data saya aman?
Semua konfigurasi berlangsung di browser Anda. Tidak ada data yang dikirim ke server mana pun. Isi robots.txt dihasilkan sepenuhnya di sisi klien.
Di mana saya harus menempatkan file robots.txt?
File robots.txt harus ditempatkan di direktori root situs web Anda. Misalnya, file itu harus dapat diakses di https://yourdomain.com/robots.txt agar ditemukan oleh mesin pencari.
Apakah robots.txt bisa mencegah halaman diindeks?
URL yang diblokir masih bisa muncul di hasil pencarian. Untuk mencegah pengindeksan dengan noindex, biarkan crawler mengambil halaman dan membaca meta tag atau header respons X-Robots-Tag. Autentikasi dapat melindungi halaman privat.
Haruskah saya memblokir file CSS dan JavaScript?
Tidak. Google memerlukan akses ke file CSS dan JavaScript untuk merender halaman Anda dengan benar. Memblokirnya dapat merugikan SEO Anda karena Google tidak dapat mengevaluasi tata letak dan konten halaman Anda dengan semestinya.
Apakah robots.txt merupakan langkah keamanan?
Tidak. File robots.txt dapat diakses publik dan hanya berfungsi sebagai saran bagi crawler yang patuh aturan. Jangan pernah mengandalkannya untuk melindungi informasi sensitif. Gunakan autentikasi dan kontrol akses di sisi server.
Tips & praktik terbaik
- Selalu sertakan sitemap Anda: Menambahkan direktif Sitemap membantu mesin pencari menemukan semua halaman penting Anda lebih cepat.
- Uji setelah diterapkan: Gunakan laporan robots.txt di Google Search Console dan alat Inspeksi URL untuk memastikan halaman penting tidak terblokir secara tidak sengaja.
- Spesifik dalam jalur: Gunakan jalur direktori yang tepat, bukan pola yang luas, agar konten berharga tidak terblokir secara tidak sengaja.
- Gunakan user-agent yang tertarget: Jika Anda memerlukan aturan berbeda untuk Google dan Bing, buat blok aturan terpisah dengan nama user-agent tertentu.
- Tinjau secara berkala: Perbarui robots.txt Anda setiap kali menambah bagian baru, mengubah struktur URL, atau memigrasikan situs web Anda.
- Hindari wildcard secara ceroboh: Wildcard * dan penanda akhir URL $ sangat ampuh tetapi dapat tanpa sengaja memblokir halaman penting jika dipakai dengan keliru.