Generator Robots.txt
Generator robots.txt online gratis. Buat dan sesuaikan file robots.txt untuk mengontrol perayapan mesin pencari, mengelola akses crawler, dan mengoptimalkan SEO situs Anda.
Apa itu robots.txt?
Robots.txt adalah file teks yang ditempatkan di root situs web Anda yang memberi tahu perayap web (seperti Googlebot) halaman atau direktori mana yang dapat atau tidak dapat mereka akses. Ini adalah bagian dari Robots Exclusion Protocol (REP).
Di mana saya harus menempatkan robots.txt?
Tempatkan robots.txt di root domain Anda: https://www.example.com/robots.txt. Mesin pencari mencarinya di lokasi yang persis ini.
Apa arti User-agent?
User-agent menentukan perayap mana yang berlaku untuk aturan tersebut. Gunakan * untuk menerapkan ke semua perayap, atau tentukan bot tertentu seperti Googlebot, Bingbot, atau Baiduspider.
Apa perbedaan antara Allow dan Disallow?
Allow mengizinkan perayap mengakses jalur tertentu, sementara Disallow mencegah akses. Disallow memiliki prioritas ketika kedua aturan ada untuk jalur yang sama.
Dapatkah robots.txt memblokir akses ke halaman?
Robots.txt memberikan arahan tetapi tidak memaksakan kontrol akses. Perayap yang patuh akan menghormati aturan, tetapi bot jahat mungkin mengabaikannya. Gunakan autentikasi sisi server atau perlindungan kata sandi untuk keamanan nyata.
Bagaimana cara menentukan sitemap di robots.txt?
Tambahkan arahan Sitemap: Sitemap: https://www.example.com/sitemap.xml. Ini membantu mesin pencari menemukan semua halaman penting Anda.
Apa itu Crawl-delay?
Crawl-delay memberi tahu perayap untuk menunggu jumlah detik yang ditentukan antara permintaan. Contoh: Crawl-delay: 10 berarti menunggu 10 detik. Catatan: Google tidak mendukung arahan ini.
Haruskah saya memblokir halaman admin dengan robots.txt?
Ya, memblokir area admin (/admin/, /wp-admin/) mencegah perayapan yang tidak perlu dan mengurangi beban server. Namun, halaman yang diblokir tidak akan muncul di hasil pencarian bahkan jika ditautkan dari tempat lain.
Dapatkah saya memiliki beberapa bagian User-agent?
Ya, Anda dapat memiliki set aturan terpisah untuk perayap yang berbeda. Setiap blok User-agent harus memiliki aturan Allow/Disallow sendiri.
Apakah robots.txt meningkatkan SEO?
Secara tidak langsung, ya. Dengan mengontrol apa yang dirayapi mesin pencari, Anda dapat memfokuskan perhatian mereka pada halaman penting, mencegah masalah konten duplikat, dan mengurangi beban server.
Apa yang terjadi jika robots.txt hilang?
Jika robots.txt tidak ada, perayap menganggap mereka dapat mengakses semua halaman. Ini biasanya baik untuk situs kecil tetapi dapat menyebabkan pengindeksan halaman yang tidak diinginkan di situs yang lebih besar.
Bagaimana cara menguji file robots.txt saya?
Gunakan penguji robots.txt Google Search Console, atau validator bawaan kami untuk memeriksa sintaks dan melihat bagaimana perayap yang berbeda akan menafsirkan aturan Anda.
Dapatkah saya memblokir jenis file tertentu?
Ya, gunakan Disallow dengan ekstensi file: Disallow: /*.pdf$ memblokir semua file PDF. Gunakan $ untuk mencocokkan akhir URL.
Apakah robots.txt case-sensitive?
Ya, robots.txt case-sensitive. /Admin/ dan /admin/ diperlakukan sebagai jalur yang berbeda. Selalu gunakan huruf kecil untuk konsistensi.
Cara Menggunakan Generator Robots.txt
Buat robots.txt yang valid dengan editor visual: tambahkan aturan per perayap, izinkan atau blokir jalur, dan nyatakan sitemap Anda. Semuanya dibuat secara lokal di browser.
- Mulai dari grup bawaan yang User-Agent-nya * — aturan ini berlaku untuk semua perayap yang menghormati robots.txt.
- Klik Add Path untuk menambahkan aturan, alihkan antara Allow dan Disallow, lalu masukkan jalur seperti /path/.
- Tambahkan grup lain dengan User-Agent tertentu, misalnya Googlebot, untuk memberi perayap itu aturan yang lebih ketat atau lebih longgar.
- Masukkan URL sitemap Anda, misalnya https://www.localtoolz.com/sitemap.xml, di kolom Sitemap.
- Atur jeda perayapan bila perlu (0 berarti tanpa batas bagi kebanyakan perayap), lalu salin robots.txt yang dihasilkan ke akar situs Anda.
Jalur bersifat peka huruf besar-kecil dan dipakai sebagai prefiks: Disallow: /admin/ memblokir semua yang ada di bawah /admin/, sedangkan Disallow: / saja memblokir seluruh situs — periksa ulang sebelum dipasang.
Alat Terkait
- Generator Sitemap Generator sitemap XML online gratis. Tambah URL, atur prioritas dan frekuensi, buat sitemap SEO secara instan.
- Kalkulator Chmod Kalkulator chmod online gratis untuk memvisualisasikan dan menghitung izin file Linux dengan kotak centang. Konversi instan antara notasi numerik (755, 644) dan simbolik (rwxr-xr-x). Mendukung izin khusus seperti setuid, setgid, sticky bit.
- Tabel ASCII Referensi pengkodean karakter ASCII lengkap dengan kode desimal, heksadesimal, oktal, biner, entitas HTML, dan deskripsi karakter. Cari dan filter secara instan.
- Penampil HAR Buka file HAR online. Tabel permintaan dengan warna status, pengurutan, penyaringan, header, pratinjau isi respons, dan air terjun waktu — diurai lokal, tanpa unggahan.
- Validator IBAN Validasi Nomor Rekening Bank Internasional (IBAN) secara instan. Periksa format, panjang, dan checksum untuk 80+ negara dengan hasil real-time.
- Penguji Permintaan HTTP Uji API REST langsung di browser Anda. Kirim permintaan GET, POST, PUT, DELETE dengan header, body, dan parameter kustom. Lihat status, header, dan body JSON respons secara instan.
- Generator Port Acak Hasilkan nomor port jaringan acak dari rentang standar IANA — well-known (1-1023), terdaftar (1024-49151), dan dinamis (49152-65535). Mendukung nilai unik, pengurutan, dan pembuatan massal. 100% berbasis browser, tanpa server.
- Generator .htaccess Buat aturan .htaccess Apache untuk redirect, rewrite, header keamanan, caching, dan lainnya.