← 所有代码文件
允许所有爬虫并指向你的站点地图。
User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
开箱即用的 robots.txt——查看内容、复制,或以正确的文件名下载。免费,100% 在浏览器中运行。
robots.txt