# 17C吃瓜网 — 站群 robots.txt # 相对路径,随机域名通用(禁止写死绝对域名与 Host 指令) # 全站允许抓取 | Sitemap: /sitemap.xml | RSS: /rss.xml | Feed: /feed.xml User-agent: * Allow: / User-agent: Baiduspider Allow: / Crawl-delay: 1 User-agent: Baiduspider-image Allow: / User-agent: Baiduspider-video Allow: / User-agent: Sogou web spider Allow: / Crawl-delay: 1 User-agent: Sogou News Spider Allow: / User-agent: 360Spider Allow: / User-agent: Bytespider Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Bingbot Allow: / User-agent: Yandex Allow: / User-agent: DuckDuckBot Allow: / # 站点地图(根相对路径,适配任意绑定域名) Sitemap: /sitemap.xml # 订阅源(相对路径双入口,与 /rss.xml 内容一致) # /rss.xml # /feed.xml # /feed