Robots.txt Generátor
Ingyenes online robots.txt generátor. Hozzon létre és szabjon testre robots.txt fájlokat a keresőmotorok mászásának szabályozására, a mászók hozzáférésének kezelésére és weboldala SEO optimalizálására.
Mi az a robots.txt?
A robots.txt egy szöveges fájl, amelyet a weboldal gyökerében helyeznek el, és amely megmondja a webes mászóknak (mint a Googlebot), hogy mely oldalakat vagy könyvtárakat érhetik el vagy nem. A Robots Exclusion Protocol (REP) része.
Hova tegyem a robots.txt-t?
Helyezze a robots.txt-t a domain gyökerébe: https://www.example.com/robots.txt. A keresőmotorok pontosan ezen a helyen keresik.
Mit jelent a User-agent?
A User-agent megadja, hogy melyik mászóra vonatkozik a szabály. Használja a * jelet az összes mászóra való alkalmazáshoz, vagy adjon meg konkrét botokat, mint a Googlebot, Bingbot vagy Baiduspider.
Mi a különbség az Allow és a Disallow között?
Az Allow engedélyezi a mászóknak a konkrét útvonalak elérését, míg a Disallow megakadályozza a hozzáférést. A Disallow elsőbbséget élvez, amikor mindkét szabály létezik ugyanarra az útvonalra.
A robots.txt blokkolhatja az oldalakhoz való hozzáférést?
A robots.txt irányelveket biztosít, de nem kényszeríti ki a hozzáférés-vezérlést. A megfelelő mászók tiszteletben tartják a szabályokat, de a rosszindulatú botok figyelmen kívül hagyhatják azokat. Valódi biztonsághoz használjon szerver oldali hitelesítést vagy jelszóvédelmet.
Hogyan adjak meg sitemap-ot a robots.txt-ben?
Adjon hozzá egy Sitemap irányelvet: Sitemap: https://www.example.com/sitemap.xml. Ez segít a keresőmotoroknak felfedezni az összes fontos oldalát.
Mi az a Crawl-delay?
A Crawl-delay megmondja a mászóknak, hogy várjanak egy megadott számú másodpercet a kérések között. Példa: A Crawl-delay: 10 azt jelenti, hogy várjon 10 másodpercet. Megjegyzés: A Google nem támogatja ezt az irányelvet.
Blokkoljam az admin oldalakat robots.txt-vel?
Igen, az admin területek (/admin/, /wp-admin/) blokkolása megakadályozza a felesleges mászást és csökkenti a szerver terhelését. A blokkolt oldalak azonban nem jelennek meg a keresési eredményekben, még akkor sem, ha máshonnan linkelnek rájuk.
Több User-agent szekcióm is lehet?
Igen, külön szabálykészleteket lehet különböző mászók számára. Minden User-agent blokknak saját Allow/Disallow szabályokkal kell rendelkeznie.
Javítja a robots.txt a SEO-t?
Közvetve, igen. Azzal, hogy szabályozza, mit másznak a keresőmotorok, a figyelmüket a fontos oldalakra összpontosíthatja, megakadályozhatja a duplikált tartalom problémákat és csökkentheti a szerver terhelését.
Mi történik, ha a robots.txt hiányzik?
Ha a robots.txt nem létezik, a mászók feltételezik, hogy minden oldalhoz hozzáférhetnek. Ez általában rendben van kis weboldalaknál, de nagyobb weboldalaknál nem kívánt oldalak indexeléséhez vezethet.
Hogyan tesztelhetem a robots.txt fájlomat?
Használja a Google Search Console robots.txt tesztelőjét, vagy beépített érvényesítőnket a szintaxis ellenőrzéséhez és annak megtekintéséhez, hogy a különböző mászók hogyan értelmezik a szabályait.
Blokkolhatok konkrét fájltípusokat?
Igen, használja a Disallow-t fájlkiterjesztésekkel: Disallow: /*.pdf$ blokkolja az összes PDF fájlt. Használja a $ jelet az URL-ek végének egyezéséhez.
A robots.txt kisbetű-nagybetű érzékeny?
Igen, a robots.txt kisbetű-nagybetű érzékeny. Az /Admin/ és az /admin/ különböző útvonalakként kezelendő. A konzisztencia érdekében mindig használjon kisbetűket.
A(z) Robots.txt Generátor használata
Építs érvényes robots.txt-t vizuális szerkesztővel: szabályokat adhatsz hozzá crawlerszinten, engedélyezhetsz vagy tiltasz útvonalakat, és megadhatod a sitemapet. Minden lokálisan készül a böngészőben.
- Kezdd az alapértelmezett csoporttal, aminek a User-Agentja a * — ezek a szabályok minden robots.txt-t betartó crawlerre érvényesek.
- Kattints az Add Path gombra szabály hozzáadásához, válts az Allow és a Disallow között, majd adj meg egy /path/ jellegű útvonalat.
- Adj hozzá egy másik csoportot konkrét User-Agent-tal, például Googlebottal, hogy annak a crawlernek szigorúbb vagy engedékenyebb szabályokat adj.
- Add meg a sitemap URL-jét, például https://www.localtoolz.com/sitemap.xml, a Sitemap mezőben.
- Szükség esetén állíts be mászási késleltetést (a legtöbb crawlernél a 0 azt jelenti, hogy nincs korlát), majd másold a generált robots.txt-t a webhely gyökerébe.
Az útvonalak kisbetű-nagybetű érzékenyek és előtagként működnek: a Disallow: /admin/ a /admin/ alatti mindent tilt, míg egyedül a Disallow: / az egész webhelyet tiltja — élesítés előtt ellenőrizd kétszer.
Kapcsolódó eszközök
- Sitemap Generátor Ingyenes online XML sitemap generátor. Adjon hozzá URL-eket, állítson be prioritásokat és gyakoriságokat, készítsen SEO sitemapokat azonnal.
- Chmod-számológép Ingyenes online chmod-számológép a Linux fájljogosultságok vizualizálásához és számításához jelölőnégyzetekkel. Azonnali átváltás numerikus (755, 644) és szimbolikus jelölés (rwxr-xr-x) között. Támogatja a különleges jogosultságokat mint setuid, setgid, sticky bit.
- ASCII Táblázat Teljes ASCII karakterkódolási referencia tizes, tizenhatos, nyolcas, kettes számrendszerbeli kódokkal, HTML entitásokkal és karakterleírásokkal. Azonnali keresés és szűrés.
- HAR-megjelenítő .har fájlok megnyitása online. Kéréstábla állapotszínekkel, rendezéssel, szűréssel, fejlécek, választörzs-előnézet és időzítési vízesés — helyi feldolgozás, feltöltés nélkül.
- IBAN validátor Nemzetközi bankszámlaszámok (IBAN) azonnali érvényesítése. Formátum, hossz és ellenőrző összeg vizsgálata 80+ országhoz valós időben.
- HTTP Kérés Tesztelő Tesztelje a REST API-kat közvetlenül a böngészőben. Küldjön GET, POST, PUT, DELETE kéréseket egyedi fejlécekkel, törzzsel és paraméterekkel. Azonnal láthatja a válasz állapotát, fejléceit és JSON törzsét.
- Véletlen Port Generátor Generáljon véletlenszerű hálózati portszámokat az IANA szabványos tartományaiból — ismert (1-1023), regisztrált (1024-49151) és dinamikus (49152-65535). Támogatja az egyedi értékeket, rendezést és tömeges generálást. 100% böngésző alapú, szerver nélkül.
- .htaccess generátor Apache .htaccess szabályok generálása átirányításokhoz, újraírásokhoz, biztonsági fejlécekhez, gyorsítótárazáshoz és egyebekhez.