Penjana Robots.txt
Penjana robots.txt dalam talian percuma. Cipta dan sesuaikan fail robots.txt untuk mengawal perayapan enjin carian, menguruskan akses perayap, dan mengoptimumkan SEO laman web anda.
Apakah robots.txt?
Robots.txt ialah fail teks yang diletakkan di root laman web anda yang memberitahu perayap web (seperti Googlebot) halaman atau direktori mana yang boleh atau tidak boleh mereka akses. Ia adalah sebahagian daripada Robots Exclusion Protocol (REP).
Di mana saya perlu letak robots.txt?
Letakkan robots.txt di root domain anda: https://www.example.com/robots.txt. Enjin carian mencarinya di lokasi yang tepat ini.
Apakah maksud User-agent?
User-agent menentukan perayap mana yang terpakai untuk peraturan tersebut. Gunakan * untuk menggunakan kepada semua perayap, atau tentukan bot tertentu seperti Googlebot, Bingbot, atau Baiduspider.
Apakah perbezaan antara Allow dan Disallow?
Allow membenarkan perayap mengakses laluan tertentu, manakala Disallow menghalang akses. Disallow mempunyai keutamaan apabila kedua-dua peraturan wujud untuk laluan yang sama.
Bolehkah robots.txt menyekat akses ke halaman?
Robots.txt memberikan arahan tetapi tidak menguatkuasakan kawalan akses. Perayap yang patuh akan menghormati peraturan, tetapi bot berniat jahat mungkin mengabaikannya. Gunakan pengesahan sisi pelayan atau perlindungan kata laluan untuk keselamatan sebenar.
Bagaimana saya menentukan sitemap dalam robots.txt?
Tambah arahan Sitemap: Sitemap: https://www.example.com/sitemap.xml. Ini membantu enjin carian menemui semua halaman penting anda.
Apakah Crawl-delay?
Crawl-delay memberitahu perayap untuk menunggu bilangan saat yang ditentukan antara permintaan. Contoh: Crawl-delay: 10 bermaksud menunggu 10 saat. Nota: Google tidak menyokong arahan ini.
Perlukah saya menyekat halaman admin dengan robots.txt?
Ya, menyekat kawasan admin (/admin/, /wp-admin/) mencegah perayapan yang tidak perlu dan mengurangkan beban pelayan. Walau bagaimanapun, halaman yang disekat tidak akan muncul dalam hasil carian walaupun dipautkan dari tempat lain.
Bolehkah saya mempunyai beberapa bahagian User-agent?
Ya, anda boleh mempunyai set peraturan berasingan untuk perayap yang berbeza. Setiap blok User-agent harus mempunyai peraturan Allow/Disallow sendiri.
Adakah robots.txt meningkatkan SEO?
Secara tidak langsung, ya. Dengan mengawal apa yang dirayapi oleh enjin carian, anda boleh memusatkan perhatian mereka pada halaman penting, mencegah masalah kandungan pendua, dan mengurangkan beban pelayan.
Apa yang berlaku jika robots.txt hilang?
Jika robots.txt tidak wujud, perayap menganggap mereka boleh mengakses semua halaman. Ini biasanya baik untuk laman web kecil tetapi boleh menyebabkan pengindeksan halaman yang tidak diingini di laman web yang lebih besar.
Bagaimana saya menguji fail robots.txt saya?
Gunakan penguji robots.txt Google Search Console, atau pengesah terbina dalam kami untuk menyemak sintaks dan melihat bagaimana perayap yang berbeza akan mentafsirkan peraturan anda.
Bolehkah saya menyekat jenis fail tertentu?
Ya, gunakan Disallow dengan sambungan fail: Disallow: /*.pdf$ menyekat semua fail PDF. Gunakan $ untuk memadankan akhir URL.
Adakah robots.txt sensitif huruf besar-kecil?
Ya, robots.txt sensitif huruf besar-kecil. /Admin/ dan /admin/ diperlakukan sebagai laluan yang berbeza. Sentiasa gunakan huruf kecil untuk konsistensi.
Cara Menggunakan Penjana Robots.txt
Bina robots.txt yang sah dengan editor visual: tambah peraturan bagi setiap perangkai, benarkan atau sekat laluan, dan nyatakan sitemap anda. Semuanya dijana secara setempat dalam pelayar.
- Mulakan dengan kumpulan lalai yang User-Agent-nya * — peraturan ini terpakai bagi semua perangkai yang mematuhi robots.txt.
- Klik Add Path untuk menambah peraturan, tukar antara Allow dan Disallow, kemudian masukkan laluan seperti /path/.
- Tambah kumpulan lain dengan User-Agent tertentu, contohnya Googlebot, untuk memberi perangkai itu peraturan lebih ketat atau lebih longgar.
- Masukkan URL sitemap anda, contohnya https://www.localtoolz.com/sitemap.xml, dalam medan Sitemap.
- Tetapkan kelewatan merangkak jika perlu (0 bermakna tiada had bagi kebanyakan perangkai), kemudian salin robots.txt yang dijana ke akar tapak anda.
Laluan peka huruf besar-kecil dan berfungsi sebagai awalan: Disallow: /admin/ menyekat semua di bawah /admin/, manakala Disallow: / sahaja menyekat keseluruhan tapak — semak semula sebelum dipasang.
Alat Berkaitan
- Penjana Sitemap Penjana sitemap XML dalam talian percuma. Tambah URL, tetapkan keutamaan dan kekerapan, buat sitemap SEO serta-merta.
- Kalkulator Chmod Kalkulator chmod dalam talian percuma untuk mengvisualisasikan dan mengira keizinan fail Linux dengan kotak tanda. Tukar serta-merta antara notasi angka (755, 644) dan simbolik (rwxr-xr-x). Menyokong keizinan khas seperti setuid, setgid, sticky bit.
- Jadual ASCII Rujukan pengkodan aksara ASCII lengkap dengan kod perpuluhan, heksadesimal, oktal, binari, entiti HTML dan penerangan aksara. Cari dan tapis serta-merta.
- Penonton HAR Buka fail HAR dalam talian. Jadual permintaan dengan warna status, isihan, tapisan, pengepala, pratonton isi respons dan air terjun masa — dihurai setempat, tiada muat naik.
- Pengesah IBAN Sahkan Nombor Akaun Bank Antarabangsa (IBAN) serta-merta. Semak format, panjang, dan checksum untuk 80+ negara dengan keputusan masa nyata.
- Penguji Permintaan HTTP Uji API REST terus dalam pelayar anda. Hantar permintaan GET, POST, PUT, DELETE dengan pengepala, badan dan parameter tersuai. Lihat status, pengepala dan badan JSON respons serta-merta.
- Penjana Port Rawak Jana nombor port rangkaian rawak daripada julat standard IANA — terkenal (1-1023), berdaftar (1024-49151), dan dinamik (49152-65535). Menyokong nilai unik, pengisihan dan penjanaan pukal. 100% berasaskan pelayar, tanpa pelayan.
- Penjana .htaccess Jana peraturan .htaccess Apache untuk pengalihan, penulisan semula, header keselamatan, cache dan banyak lagi.