Generátor Robots.txt
Bezplatný online generátor robots.txt. Vytvářejte a přizpůsobujte soubory robots.txt pro řízení procházení vyhledávači, správu přístupu prohledávačů a optimalizaci SEO vašeho webu.
Co je robots.txt?
Robots.txt je textový soubor umístěný v kořeni vašeho webu, který říká webovým prohledávačům (jako Googlebot), na které stránky nebo adresáře mohou nebo nemají přistupovat. Je součástí Robots Exclusion Protocol (REP).
Kam mám umístit robots.txt?
Umístěte robots.txt do kořene vaší domény: https://www.example.com/robots.txt. Vyhledávače jej hledají přesně na tomto místě.
Co znamená User-agent?
User-agent určuje, pro který prohledávač se pravidlo vztahuje. Použijte * pro použití na všechny prohledávače, nebo zadejte konkrétní boty jako Googlebot, Bingbot nebo Baiduspider.
Jaký je rozdíl mezi Allow a Disallow?
Allow umožňuje prohledávačům přístup na konkrétní cesty, zatímco Disallow přístup zabraňuje. Disallow má přednost, když existují obě pravidla pro stejnou cestu.
Může robots.txt blokovat přístup na stránky?
Robots.txt poskytuje směrnice, ale nevynucuje kontrolu přístupu. Vyhledávače dodržující pravidla je budou respektovat, ale škodliví boti je mohou ignorovat. Pro skutečnou bezpečnost použijte autentizaci na straně serveru nebo ochranu heslem.
Jak zadám sitemap v robots.txt?
Přidejte směrnici Sitemap: Sitemap: https://www.example.com/sitemap.xml. To pomáhá vyhledávačům objevit všechny vaše důležité stránky.
Co je Crawl-delay?
Crawl-delay říká prohledávačům, aby čekali zadaný počet sekund mezi požadavky. Příklad: Crawl-delay: 10 znamená čekat 10 sekund. Poznámka: Google tuto směrnici nepodporuje.
Měl bych blokovat administrátorské stránky pomocí robots.txt?
Ano, blokování administrátorských oblastí (/admin/, /wp-admin/) zabraňuje zbytečnému prohledávání a snižuje zatížení serveru. Blokované stránky se však nezobrazí ve výsledcích vyhledávání, i když na ně jsou odkazy z jiných míst.
Mohu mít více sekcí User-agent?
Ano, můžete mít samostatné sady pravidel pro různé prohledávače. Každý blok User-agent by měl mít svá vlastní pravidla Allow/Disallow.
Zlepšuje robots.txt SEO?
Nepřímo, ano. Kontrolou toho, co vyhledávače prohledávají, můžete zaměřit jejich pozornost na důležité stránky, zabránit problémům s duplicitním obsahem a snížit zatížení serveru.
Co se stane, když robots.txt chybí?
Pokud robots.txt neexistuje, prohledávače předpokládají, že mohou přistupovat na všechny stránky. To je obvykle v pořádku pro malé weby, ale může to vést k indexaci nežádoucích stránek na větších webech.
Jak otestuji svůj soubor robots.txt?
Použijte testovač robots.txt Google Search Console nebo náš vestavěný validátor pro kontrolu syntaxe a zobrazení, jak různé prohledávače interpretují vaše pravidla.
Mohu blokovat konkrétní typy souborů?
Ano, použijte Disallow s příponami souborů: Disallow: /*.pdf$ blokuje všechny soubory PDF. Použijte $ pro shodu s koncem URL.
Je robots.txt citlivý na velká a malá písmena?
Ano, robots.txt je citlivý na velká a malá písmena. /Admin/ a /admin/ jsou považovány za různé cesty. Pro konzistenci vždy používejte malá písmena.
Jak používat Generátor Robots.txt
Sestavte platný robots.txt ve vizuálním editoru: přidávejte pravidla pro jednotlivé crawlery, povolujte nebo blokujte cesty a uveďte svůj sitemap. Vše se generuje lokálně v prohlížeči.
- Začněte výchozí skupinou, jejíž User-Agent je * — tato pravidla platí pro každý crawler, který respektuje robots.txt.
- Klikněte na Add Path, čímž přidáte pravidlo, přepínejte mezi Allow a Disallow a zadejte cestu typu /path/.
- Přidejte další skupinu s konkrétním User-Agent, například Googlebot, a nastavte tomu crawleru přísnější nebo mírnější pravidla.
- Do pole Sitemap zadejte URL své mapy webu, například https://www.localtoolz.com/sitemap.xml.
- V případě potřeby nastavte zpoždění procházení (0 u většiny crawlerů znamená bez limitu) a pak zkopírujte vygenerovaný robots.txt do kořenového adresáře webu.
Cesty rozlišují velká a malá písmena a fungují jako prefixy: Disallow: /admin/ blokuje vše pod /admin/, zatímco samotné Disallow: / blokuje celý web — před nasazením pečlivě zkontrolujte.
Související nástroje
- Generátor Sitemap Bezplatný online generátor XML sitemap. Přidávejte URL, nastavujte priority a frekvence, vytvářejte SEO sitemapy okamžitě.
- Kalkulačka Chmod Bezplatný online kalkulačka chmod pro vizualizaci a výpočet oprávnění souborů Linux pomocí zaškrtávacích polí. Okamžitá konverze mezi číselnou (755, 644) a symbolickou notací (rwxr-xr-x). Podporuje speciální oprávnění jako setuid, setgid, sticky bit.
- ASCII Tabulka Kompletní reference kódování znaků ASCII s desítkovými, hexadecimálními, osmičkovými, binárními kódy, HTML entitami a popisy znaků. Okamžité vyhledávání a filtrování.
- Prohlížeč HAR Otevírejte soubory HAR online. Tabulka požadavků s barvami stavů, řazením a filtrem, hlavičky, náhled těla a vodopád časování — lokální zpracování, bez odesílání.
- Validátor IBAN Okamžitá validace mezinárodních bankovních čísel účtů (IBAN). Zkontrolujte formát, délku a kontrolní součet pro 80+ zemí s výsledky v reálném čase.
- Tester HTTP požadavků Testujte REST API přímo v prohlížeči. Odesílejte požadavky GET, POST, PUT, DELETE s vlastními hlavičkami, tělem a parametry. Okamžitě vidíte stav, hlavičky a JSON tělo odpovědi.
- Generátor Náhodných Portů Generujte náhodná čísla síťových portů ze standardních rozsahů IANA — známé (1-1023), registrované (1024-49151) a dynamické (49152-65535). Podporuje jedinečné hodnoty, řazení a hromadné generování. 100% v prohlížeči, bez serveru.
- Generátor .htaccess Generujte pravidla Apache .htaccess pro přesměrování, přepisy, bezpečnostní hlavičky, mezipaměť a další.