# 全站允许所有搜索引擎爬虫访问
User-agent: *
Allow: /

# 禁止所有爬虫访问的目录
Disallow: /admin/
Disallow: /private/
Disallow: /includes/
Disallow: /cgi-bin/
Disallow: /tmp/

# 禁止访问特定文件类型
Disallow: /*.php$
Disallow: /*.sql$
Disallow: /*.log$

# 设置爬虫抓取延迟（每次请求之间的间隔）
Crawl-delay: 10

# Sitemap 文件位置
Sitemap: https://openstrat.ai/sitemap.xml