# robots.txt textielstad.nl / .com / .de
#
# LET OP BIJ HET BEWERKEN
# Zet geen lege regels en geen commentaarregels tussen "User-agent:" en de
# regels die erbij horen. Strikte parsers zien een lege regel als einde van
# de groep, en een commentaarregel wordt na het strippen van het commentaar
# ook als leeg gelezen. De regels vallen dan buiten elke groep en worden
# genegeerd. Precies dat was hier tot 19-09-2026 aan de hand: het hele blok
# met filteruitsluitingen stond zonder "User-agent: *" en deed dus niets.
#
# TOELICHTING PER ONDERDEEL
# 1. Magento-systeempaden: /app/ tot en met /vendor/, plus *.php en *SID=.
# 2. /search/ = interne zoekresultaten.
# 3. "Disallow: /*?" blokkeert alle URL's met parameters. Paginering is de
#    uitzondering: zowel ?p= (Magento-standaard) als ?page= (Amasty Shopby)
#    is toegestaan. Paginering met een tweede parameter erachter blijft
#    geblokkeerd, want dat is altijd een filtercombinatie.
# 4. De regels met "/*/" blokkeren filters die in het pad staan. De schuine
#    streep vooraan zorgt dat alleen een compleet padsegment matcht: zo
#    raakt /*/kleur- wel /stoffen/kleur-rood-geel en niet de echte categorie
#    /stoffen/welke-kleur-zoek-je/oker, en blokkeert /*/kledingstuk- niet
#    het blogartikel /blog/gaatje-in-je-favoriete-kledingstuk-herstellen.
#    Dit is tijdelijk, tot "Generate SEO URL" per attribuut op No staat.
# 5. color- en farbe- zijn de kleuraliassen van de .com en de .de.
# 6. AdsBot-Google volgt de regels hierboven niet automatisch. Die krijgt een
#    eigen groep met Allow, anders worden advertentiebestemmingen afgekeurd.
Sitemap: https://www.textielstad.nl/google_sitemap_1_index.xml
Sitemap: https://www.textielstad.com/google_sitemap_2_index.xml
Sitemap: https://www.textielstad.de/google_sitemap_3_index.xml
User-agent: *
Disallow: /*.php$
Disallow: /app/
Disallow: /bin/
Disallow: /catalog/
Disallow: /checkout/
Disallow: /customer/
Disallow: /dev/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /pub/
Disallow: /report/
Disallow: /review/
Disallow: /scripts/
Disallow: /sendfriend/
Disallow: /setup/
Disallow: /update/
Disallow: /var/
Disallow: /vendor/
Disallow: /*SID=
Disallow: /search/
Disallow: /*?
Allow: /*?p=
Disallow: /*?p=*&
Allow: /*?page=
Disallow: /*?page=*&
Disallow: /*/algemeen_
Disallow: /*/stof_
Disallow: /*/garen_
Disallow: /*/wol_
Disallow: /*/naald_
Disallow: /*/rits_
Disallow: /*/sluiting_
Disallow: /*/patroon_
Disallow: /*/boek_
Disallow: /*/band_
Disallow: /*/kleur_prym
Disallow: /*/kledingstuk-
Disallow: /*/grondstoffen-
Disallow: /*/kleur-
Disallow: /*/color-
Disallow: /*/farbe-
Disallow: /*am_is_new
User-agent: AdsBot-Google
Allow: /