Robots.txt Oluşturucu
Ücretsiz çevrimiçi robots.txt oluşturucu. Arama motoru taramasını kontrol etmek, tarayıcı erişimini yönetmek ve sitenizin SEO'sunu optimize etmek için robots.txt dosyaları oluşturun ve özelleştirin.
Robots.txt nedir?
Robots.txt, web sitenizin kök dizinine yerleştirilen ve web tarayıcılarına (Googlebot gibi) hangi sayfalara veya dizinlere erişip erişemeyeceklerini bildiren bir metin dosyasıdır. Robots Exclusion Protocol (REP)'in bir parçasıdır.
Robots.txt'yi nereye yerleştirmeliyim?
Robots.txt'yi alan adınızın kök dizinine yerleştirin: https://www.example.com/robots.txt. Arama motorları tam olarak bu konuma bakar.
User-agent ne demek?
User-agent, kuralın hangi tarayıcıya uygulandığını belirtir. Tüm tarayıcılara uygulamak için * kullanın veya Googlebot, Bingbot veya Baiduspider gibi belirli botları belirtin.
Allow ve Disallow arasındaki fark nedir?
Allow, tarayıcıların belirli yollara erişmesine izin verirken, Disallow erişimi engeller. Aynı yol için her iki kural da varsa Disallow önceliklidir.
Robots.txt sayfalara erişimi engelleyebilir mi?
Robots.txt yönergeler sağlar ancak erişim kontrolü uygulamaz. Uyumlu tarayıcılar kurallara uyacaktır, ancak kötü amaçlı botlar bunları görmezden gelebilir. Gerçek güvenlik için sunucu tarafı kimlik doğrulama veya parola koruması kullanın.
Robots.txt'de sitemap nasıl belirtilir?
Bir Sitemap yönergesi ekleyin: Sitemap: https://www.example.com/sitemap.xml. Bu, arama motorlarının tüm önemli sayfalarınızı keşfetmesine yardımcı olur.
Crawl-delay nedir?
Crawl-delay, tarayıcılara istekler arasında belirtilen saniye sayısı kadar beklemelerini söyler. Örnek: Crawl-delay: 10, 10 saniye beklemek anlamına gelir. Not: Google bu yönergeyi desteklemez.
Yönetici sayfalarını robots.txt ile engellemeli miyim?
Evet, yönetici alanlarını (/admin/, /wp-admin/) engellemek gereksiz taramayı önler ve sunucu yükünü azaltır. Ancak, engellenen sayfalar başka yerlerden bağlantılı olsa bile arama sonuçlarında görünmez.
Birden fazla User-agent bölümüm olabilir mi?
Evet, farklı tarayıcılar için ayrı kural setlerine sahip olabilirsiniz. Her User-agent bloğunun kendi Allow/Disallow kurallarına sahip olması gerekir.
Robots.txt SEO'yu iyileştirir mi?
Dolaylı olarak, evet. Arama motorlarının neyi taradığını kontrol ederek, dikkatlerini önemli sayfalara odaklayabilir, yinelenen içerik sorunlarını önleyebilir ve sunucu yükünü azaltabilirsiniz.
Robots.txt eksikse ne olur?
Robots.txt yoksa, tarayıcılar tüm sayfalara erişebileceklerini varsayar. Bu genellikle küçük siteler için sorun değildir ancak daha büyük sitelerde istenmeyen sayfaların dizine eklenmesine yol açabilir.
Robots.txt dosyamı nasıl test edebilirim?
Google Search Console'ın robots.txt test aracını veya sözdizimini kontrol etmek ve farklı tarayıcıların kurallarınızı nasıl yorumlayacağını görmek için yerleşik doğrulayıcımızı kullanın.
Belirli dosya türlerini engelleyebilir miyim?
Evet, dosya uzantılarıyla Disallow kullanın: Disallow: /*.pdf$ tüm PDF dosyalarını engeller. URL'lerin sonunu eşleştirmek için $ kullanın.
Robots.txt büyük/küçük harfe duyarlı mı?
Evet, robots.txt büyük/küçük harfe duyarlıdır. /Admin/ ve /admin/ farklı yollar olarak kabul edilir. Tutarlılık için her zaman küçük harf kullanın.
Robots.txt Oluşturucu Nasıl Kullanılır
Görsel düzenleyiciyle geçerli bir robots.txt oluşturun: her crawler için kural ekleyin, yollara izin verin veya onları engelleyin ve site haritanızı belirtin. Her şey tarayıcınızda yerel olarak üretilir.
- User-Agent'ı * olan varsayılan grupla başlayın — bu kurallar robots.txt'ye uyan tüm crawler'lar için geçerlidir.
- Kural eklemek için Add Path'e tıklayın, Allow ile Disallow arasında geçiş yapın ve /path/ gibi bir yol girin.
- Belirli bir User-Agent için başka bir grup ekleyin; örneğin Googlebot'a daha katı ya da daha gevşek kurallar verebilirsiniz.
- Sitemap alanına site haritanızın URL'sini girin, örneğin https://www.localtoolz.com/sitemap.xml.
- Gerekirse crawl gecikmesini ayarlayın (çoğu crawler için 0 sınırsız demektir), ardından üretilen robots.txt'yi sitenizin kök dizinine kopyalayın.
Yollar büyük/küçük harfe duyarlıdır ve önek gibi çalışır: Disallow: /admin/ altındaki her şeyi engeller, tek başına Disallow: / ise tüm siteyi engeller — yayınlamadan önce iki kez kontrol edin.
İlgili Araçlar
- Sitemap Oluşturucu Ücretsiz çevrimiçi XML sitemap oluşturucu. URL ekleyin, öncelik ve sıklık ayarlayın, SEO uyumlu sitemap anında oluşturun.
- Chmod Hesaplayıcı Onay kutularıyla Linux dosya izinlerini görselleştirmek ve hesaplamak için ücretsiz çevrimiçi chmod hesaplayıcı. Sayısal (755, 644) ve sembolik gösterim (rwxr-xr-x) arasında anında dönüştürün. setuid, setgid, sticky bit gibi özel izinleri destekler.
- ASCII Tablosu Ondalık, onaltılık, sekizlik, ikili kodlar, HTML varlıkları ve karakter açıklamaları ile eksiksiz ASCII karakter kodlama referansı. Anında arama ve filtreleme.
- HAR Görüntüleyici .har dosyalarını çevrimiçi açın. Durum renkleri, sıralama ve filtre içeren istek tablosu, başlıklar, yanıt gövdesi önizlemesi ve zamanlama şelalesi — yerelde işlenir, yüklenmez.
- IBAN Doğrulayıcı Uluslararası Banka Hesap Numaralarını (IBAN) anında doğrulayın. 80+ ülke için format, uzunluk ve sağlama toplamını gerçek zamanlı kontrol edin.
- HTTP İstek Test Aracı REST API'leri doğrudan tarayıcınızda test edin. Özel başlıklar, gövde ve parametrelerle GET, POST, PUT, DELETE istekleri gönderin. Yanıt durumunu, başlıklarını ve JSON gövdesini anında görün.
- Rastgele Port Oluşturucu IANA standart aralıklarından rastgele ağ port numaraları oluşturun — bilinen (1-1023), kayıtlı (1024-49151) ve dinamik (49152-65535). Benzersiz değerleri, sıralama ve toplu üretimi destekler. %100 tarayıcı tabanlı, sunucu gerektirmez.
- .htaccess oluşturucu Apache .htaccess kuralları oluşturun: yönlendirmeler, yeniden yazmalar, güvenlik başlıkları, önbellekleme ve daha fazlası.