# robots.txt — aithor.co
#
# Aithor busca ser citada por motores generativos, asi que los bots de IA
# tienen que poder entrar. La regla `User-agent: *` de abajo ya los alcanza,
# pero los agentes van declarados uno por uno a proposito: si alguien agrega
# mas adelante un bloqueo generico, el permiso explicito sobrevive y queda
# documentado que la apertura es intencional, no un descuido.
#
# Salvedades: robots.txt es voluntario (un bot puede ignorarlo), no garantiza
# la citacion, y controla el rastreo, no lo que el modelo ya sabe de antes.

# ── Recuperacion en vivo y citacion ──────────────────────────────────────────
# Son los que importan para aparecer dentro de una respuesta generada.

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Googlebot
Allow: /

# ── Entrenamiento ────────────────────────────────────────────────────────────
# Ayudan a que el modelo conozca la marca aunque no haya recuperacion en vivo.

User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: cohere-ai
Allow: /

# ── Resto ────────────────────────────────────────────────────────────────────
# Sin Disallow: no hay recursos bloqueados. Los crawlers necesitan el CSS y el
# JS para renderizar la pagina como la ve una persona.

User-agent: *
Allow: /

Sitemap: https://aithor.co/sitemap-index.xml

# ── Superficies para modelos ─────────────────────────────────────────────────
# No son directivas de robots.txt (ningun crawler las interpreta), van como
# comentario para que quede documentado donde esta cada cosa:
#   https://aithor.co/llms.txt        indice del sitio, convencion llmstxt.org
#   https://aithor.co/llms-full.txt   el texto completo en un solo archivo
#   https://aithor.co/aithor.json     ficha, modulos, cifras y contenidos en JSON
#   https://aithor.co/recursos/rss.xml  feed de los articulos