# ===================================================================
# robots.txt - Versione Ottimizzata e Completa (Luglio 2025)
# ===================================================================

# === Regole Generali per Tutti i Crawler ("Buoni") ===
User-agent: *

# Blocca le aree di amministrazione e i file core di WordPress
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php

# Blocca aree che generano contenuti duplicati o di basso valore
Disallow: /search/
Disallow: /?s=
Disallow: /feed/
Disallow: /trackback/

# Blocca cartelle di temi e plugin, ma NON i file media
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/

# Blocca cartelle di servizio che non dovrebbero mai essere pubbliche
Disallow: /backup/
Disallow: /staging/
Disallow: /dev/
Disallow: /test/

# Permetti esplicitamente l'accesso ai file caricati (immagini, PDF, etc.)
Allow: /wp-content/uploads/

# Permetti l'accesso ad admin-ajax.php, necessario per il rendering di alcuni siti
Allow: /wp-admin/admin-ajax.php


# === Regole Specifiche per Bloccare il Training delle AI ===
# Blocca i principali bot noti per la raccolta dati per l'addestramento di modelli AI
User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Claude-Web
Disallow: /


# === Posizione della Sitemap ===
# Aiuta i crawler a trovare tutte le tue pagine importanti.
Sitemap: https://chiesasantignazio.org/sitemap_index.xml