# robots.txt — octopusify.org
# Generated: 2026-05-05
# Last updated: 2026-07-06
# Full AI-crawler-readable content reference: https://octopusify.org/llms.txt (index) and /llms-full.txt (full text)

# ── Default: allow all crawlers ─────────────────────────────────────────────
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /.env
Crawl-delay: 1

# ── Google ───────────────────────────────────────────────────────────────────
User-agent: Googlebot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Googlebot-Image
Allow: /

# ── Google AI (AI Overviews / Gemini) ────────────────────────────────────────
User-agent: Google-Extended
Allow: /

# ── Bing / Microsoft Copilot ─────────────────────────────────────────────────
User-agent: Bingbot
Allow: /
Disallow: /api/
Disallow: /admin/

# ── OpenAI / ChatGPT ─────────────────────────────────────────────────────────
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# ── Anthropic / Claude ───────────────────────────────────────────────────────
User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

# ── Perplexity ───────────────────────────────────────────────────────────────
User-agent: PerplexityBot
Allow: /

# ── Meta AI ──────────────────────────────────────────────────────────────────
User-agent: Meta-ExternalAgent
Allow: /

User-agent: FacebookBot
Allow: /

# ── Apple ────────────────────────────────────────────────────────────────────
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# ── Common Crawl (feeds many LLM training/GEO pipelines) ─────────────────────
User-agent: CCBot
Allow: /

# ── ByteDance / TikTok ────────────────────────────────────────────────────────
User-agent: Bytespider
Allow: /

# ── Diffbot ───────────────────────────────────────────────────────────────────
User-agent: Diffbot
Allow: /

# ── You.com ───────────────────────────────────────────────────────────────────
User-agent: YouBot
Allow: /

# ── Common SEO crawlers ───────────────────────────────────────────────────────
User-agent: AhrefsBot
Allow: /

User-agent: SemrushBot
Allow: /

User-agent: DotBot
Allow: /

# ── Sitemap location ─────────────────────────────────────────────────────────
Sitemap: https://octopusify.org/sitemap.xml