# =============================================
# robots.txt voor peptideresearch.nl
# Specifiek voor Yoast/WooCommerce structuur met sitemap_index.xml
# Laatst bijgewerkt: 26 november 2025
# =============================================

User-agent: *
Allow: /

# Blokkeer privé- en technische mappen (essentieel voor WP/Woo)
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-json/             # Behalve WC endpoints als nodig
Disallow: /cgi-bin/
Disallow: /tmp/

# WooCommerce-specifiek: Blokkeer duplicates en privé-pagina's
Disallow: /*?add-to-cart=*      # Voorkom cart-duplicates
Disallow: /*?remove_item=*
Disallow: /checkout/
Disallow: /cart/
Disallow: /winkelwagen/
Disallow: /my-account/
Disallow: /bedankt/             # Order confirmation pages
Disallow: /order-received/      # Woo-alternatief
Disallow: /*.php$               # Losse PHP-files
Disallow: /*.pdf$               # Downloads (tenzij gewenst)

# Toestaan van SEO-waardevolle delen (gebaseerd op je sitemap)
Allow: /product/               # Product-sitemap: Alle peptides toegankelijk
Allow: /category/              # Category-sitemap: Categorieën crawlbaar
Allow: /post/                  # Post-sitemap: Blog/kennisbank voor authority
Allow: /page/                  # Page-sitemap: Statische pagina's
Allow: /wp-content/uploads/    # Images voor alle sitemaps

# Sitemap-referenties (alle 4 sub-sitemaps uit index.xml voor volledige coverage)
Sitemap: https://peptideresearch.nl/post-sitemap.xml
Sitemap: https://peptideresearch.nl/page-sitemap.xml
Sitemap: https://peptideresearch.nl/product-sitemap.xml
Sitemap: https://peptideresearch.nl/category-sitemap.xml
Sitemap: https://peptideresearch.nl/sitemap_index.xml  # Hoofd-index voor backup

# Crawl-optimalisaties per bot
User-agent: Googlebot
Allow: /
Crawl-delay: 2                 # Vermijd overload op productpagina's

User-agent: Bingbot
Allow: /
Crawl-delay: 2

# Blokkeer AI-scrapers (aanbevolen voor research-content)
User-agent: GPTBot              # OpenAI
Disallow: /

User-agent: CCBot               # CommonCrawl/AI
Disallow: /

User-agent: anthropic-ai        # Claude
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Einde bestand