如何配置 robots.txt 文件?
在 static 目录创建 robots.txt 文件,定义允许和禁止爬取的路径,设置爬虫延迟,引用站点地图地址。
这个回答对您有帮助吗?
您的反馈将帮助我们改进内容质量
最后更新:2026-04-11 22:00