Generátor Robots.txt
Bezplatný online generátor robots.txt. Vytvářejte a přizpůsobujte soubory robots.txt pro řízení procházení vyhledávači, správu přístupu prohledávačů a optimalizaci SEO vašeho webu.
Co je robots.txt?
Robots.txt je textový soubor umístěný v kořeni vašeho webu, který říká webovým prohledávačům (jako Googlebot), na které stránky nebo adresáře mohou nebo nemají přistupovat. Je součástí Robots Exclusion Protocol (REP).
Kam mám umístit robots.txt?
Umístěte robots.txt do kořene vaší domény: https://www.example.com/robots.txt. Vyhledávače jej hledají přesně na tomto místě.
Co znamená User-agent?
User-agent určuje, pro který prohledávač se pravidlo vztahuje. Použijte * pro použití na všechny prohledávače, nebo zadejte konkrétní boty jako Googlebot, Bingbot nebo Baiduspider.
Jaký je rozdíl mezi Allow a Disallow?
Allow umožňuje prohledávačům přístup na konkrétní cesty, zatímco Disallow přístup zabraňuje. Disallow má přednost, když existují obě pravidla pro stejnou cestu.
Může robots.txt blokovat přístup na stránky?
Robots.txt poskytuje směrnice, ale nevynucuje kontrolu přístupu. Vyhledávače dodržující pravidla je budou respektovat, ale škodliví boti je mohou ignorovat. Pro skutečnou bezpečnost použijte autentizaci na straně serveru nebo ochranu heslem.
Jak zadám sitemap v robots.txt?
Přidejte směrnici Sitemap: Sitemap: https://www.example.com/sitemap.xml. To pomáhá vyhledávačům objevit všechny vaše důležité stránky.
Co je Crawl-delay?
Crawl-delay říká prohledávačům, aby čekali zadaný počet sekund mezi požadavky. Příklad: Crawl-delay: 10 znamená čekat 10 sekund. Poznámka: Google tuto směrnici nepodporuje.
Měl bych blokovat administrátorské stránky pomocí robots.txt?
Ano, blokování administrátorských oblastí (/admin/, /wp-admin/) zabraňuje zbytečnému prohledávání a snižuje zatížení serveru. Blokované stránky se však nezobrazí ve výsledcích vyhledávání, i když na ně jsou odkazy z jiných míst.
Mohu mít více sekcí User-agent?
Ano, můžete mít samostatné sady pravidel pro různé prohledávače. Každý blok User-agent by měl mít svá vlastní pravidla Allow/Disallow.
Zlepšuje robots.txt SEO?
Nepřímo, ano. Kontrolou toho, co vyhledávače prohledávají, můžete zaměřit jejich pozornost na důležité stránky, zabránit problémům s duplicitním obsahem a snížit zatížení serveru.
Co se stane, když robots.txt chybí?
Pokud robots.txt neexistuje, prohledávače předpokládají, že mohou přistupovat na všechny stránky. To je obvykle v pořádku pro malé weby, ale může to vést k indexaci nežádoucích stránek na větších webech.
Jak otestuji svůj soubor robots.txt?
Použijte testovač robots.txt Google Search Console nebo náš vestavěný validátor pro kontrolu syntaxe a zobrazení, jak různé prohledávače interpretují vaše pravidla.
Mohu blokovat konkrétní typy souborů?
Ano, použijte Disallow s příponami souborů: Disallow: /*.pdf$ blokuje všechny soubory PDF. Použijte $ pro shodu s koncem URL.
Je robots.txt citlivý na velká a malá písmena?
Ano, robots.txt je citlivý na velká a malá písmena. /Admin/ a /admin/ jsou považovány za různé cesty. Pro konzistenci vždy používejte malá písmena.