User-agent: *
Allow: /

# 优先抓取重要页面
Allow: /auth/
Allow: /user/

# 限制爬虫频率，避免服务器负载过高  
Crawl-delay: 1

# 站点地图位置
Sitemap: https://w.jiesuo.link/sitemap.xml

# 禁止访问敏感目录
Disallow: /api/
Disallow: /admin/
Disallow: /*.json$
Disallow: /*?*

# 搜索引擎特定配置
User-agent: Googlebot
Crawl-delay: 0

User-agent: Bingbot  
Crawl-delay: 1

User-agent: Baiduspider
Crawl-delay: 2