Robots.txt產生器
免費線上robots.txt產生器。建立和自訂robots.txt檔案，控制搜尋引擎爬取，管理爬蟲存取，透過視覺化編輯器優化網站SEO。
什麼是robots.txt？
Robots.txt是放置在網站根目錄下的文字檔案，用於指示網路爬蟲（如Googlebot）可以或不可以存取哪些頁面或目錄。它是機器人排除協議（REP）的一部分。
robots.txt應該放在哪裡？
將robots.txt放在域名的根目錄：https://www.example.com/robots.txt。搜尋引擎會在這個確切位置查找它。
User-agent是什麼意思？
User-agent指定規則適用於哪個爬蟲。使用*表示所有爬蟲，或指定特定的機器人如Googlebot、Bingbot或Baiduspider。
Allow和Disallow有什麼區別？
Allow允許爬蟲存取特定路徑，而Disallow阻止存取。當同一路徑存在兩條規則時，Disallow優先。
robots.txt能阻止存取頁面嗎？
Robots.txt提供指令但不強制執行存取控制。合規的爬蟲會遵守規則，但惡意機器人可能會忽略它們。使用伺服器端認證或密碼保護實現真正的安全。
如何在robots.txt中指定站點地圖？
新增Sitemap指令：Sitemap: https://www.example.com/sitemap.xml。這有助於搜尋引擎發現您所有重要的頁面。
什麼是Crawl-delay？
Crawl-delay告訴爬蟲在請求之間等待指定的秒數。例如：Crawl-delay: 10表示等待10秒。注意：Google不支援此指令。
應該用robots.txt阻止管理頁面嗎？
是的，阻止管理區域（/admin/、/wp-admin/）可以防止不必要的爬取並減少伺服器負載。但是，被阻止的頁面即使從其他地方連結也不會出現在搜尋結果中。
可以有多個User-agent部分嗎？
可以，您可以為不同的爬蟲設定獨立的規則集。每個User-agent塊應該有自己的Allow/Disallow規則。
robots.txt能改善SEO嗎？
間接來說，是的。透過控制搜尋引擎爬取的內容，您可以將它們的注意力集中在重要頁面上，防止重複內容問題，並減少伺服器負載。
如果robots.txt缺失會怎樣？
如果robots.txt不存在，爬蟲假設可以存取所有頁面。對於小型網站通常沒問題，但對於大型網站可能會導致不需要的頁面被索引。
如何測試我的robots.txt檔案？
使用Google Search Console的robots.txt測試工具，或我們內建的驗證器檢查語法，檢視不同爬蟲如何解釋您的規則。
可以阻止特定檔案類型嗎？
可以，使用帶檔案副檔名的Disallow：Disallow: /*.pdf$阻止所有PDF檔案。使用$匹配URL的結尾。
robots.txt區分大小寫嗎？
是的，robots.txt區分大小寫。/Admin/和/admin/被視為不同的路徑。為保持一致性，請始終使用小寫。
如何使用Robots.txt產生器
用視覺化編輯器產生規範的 robots.txt：依爬蟲新增規則、允許或禁止路徑，並宣告網站地圖。所有內容均在瀏覽器本機產生。
- 從預設規則組開始，其 User-Agent 為 *，適用於所有遵守 robots.txt 的爬蟲。
- 點擊 Add Path 追加一條規則，在 Allow 和 Disallow 之間切換，並輸入類似 /path/ 的路徑。
- 再新增一個組，為特定 User-Agent（例如 Googlebot）設定更嚴格或更寬鬆的規則。
- 在 Sitemap 欄位中填入你的網站地圖網址，例如 https://www.localtoolz.com/sitemap.xml。
- 需要時設定檢索延遲（多數爬蟲填 0 即不限制），然後把產生的 robots.txt 複製到網站根目錄。
路徑區分大小寫且按前綴比對：Disallow: /admin/ 會封鎖 /admin/ 下所有頁面，而單獨的 Disallow: / 會封鎖全站——上線前務必檢查。
相關工具
- 網站地圖產生器 免費線上XML網站地圖產生器。新增URL、設定優先級和更新頻率，在瀏覽器中即時建立SEO友好的網站地圖。
- Chmod 計算器 免費線上chmod計算器，透過核取方塊視覺化Linux檔案權限並計算chmod值。即時轉換數字(755, 644)和符號(rwxr-xr-x)表示法，支援setuid、setgid、sticky bit等特殊權限。
- ASCII碼表 完整的ASCII字元編碼參考表，包含十進位、十六進位、八進位、二進位編碼、HTML實體和字元描述。支援即時搜尋和篩選。
- HAR 檢視器 線上開啟 HAR 檔案。請求表格帶狀態碼配色、排序與篩選、請求/回應標頭、回應內容預覽與耗時瀑布圖——本機解析，絕不上傳。
- IBAN驗證器 即時驗證國際銀行帳號(IBAN)。檢查80多個國家的格式、長度和校驗和，即時顯示結果。
- HTTP 請求測試 在瀏覽器中直接測試 REST API。發送 GET、POST、PUT、DELETE 請求，自訂請求標頭、請求體和查詢參數，即時查看回應狀態、標頭和 JSON 內容。
- 隨機端口產生器 從 IANA 標準範圍產生隨機網路端口號——知名端口 (1-1023)、註冊端口 (1024-49151) 和動態端口 (49152-65535)。支援唯一值、排序和批次產生。100% 瀏覽器端運行，無需伺服器。
- .htaccess產生器 產生Apache .htaccess規則，包括重新導向、重寫、安全標頭、快取、壓縮等。