Robots.txt 產生器
為您的網站產生有效的 robots.txt 檔案,包含 Allow、Disallow、Sitemap 和 Crawl-delay 指令。
Advertisement
產生的 robots.txt
填寫表單並點擊產生,在此處查看您的 robots.txt。
Robots.txt 產生器
Robots.txt 產生器建立一個有效的 robots.txt 檔案,告訴搜尋引擎爬蟲哪些頁面應該抓取、哪些應該跳過。使用它可以控制機器人對您網站的存取、保護私有目錄並將爬蟲引導至您的網站地圖。