User-agent: * Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ # AI / LLM crawlers are explicitly welcome — maar op dezelfde paden als iedereen. # # WAAROM DE UITSLUITINGEN HIERONDER HERHAALD STAAN. Een crawler volgt precies EEN groep: # de meest specifieke die op zijn naam matcht, en `*` geldt dan niet meer (RFC 9309). # Deze benoemde groepen droegen alleen `Allow: /`, dus /dashboard/ en /downloads/ waren # voor hen wel toegestaan terwijl elke andere crawler ze niet mag. /paneel/ is de interne # operationele pagina die op de webroot staat; zij hoort voor niemand een crawldoel te zijn, en # draagt bovendien zelf een `noindex, nofollow, noarchive` — robots.txt is een verzoek en geen # slot, de eigenlijke afscherming is de sleutel op /assets/wsoh-paneel.php, en zonder die sleutel # valt er niets te crawlen dat een cijfer is. # # /dashboard/ BLIJFT HIER STAAN HOEWEL DE PAGINA WEG IS, en dat is geen restant. Sinds # 2026-09-06 is dat pad een permanente doorverwijzing naar /paneel/; wie hem niet crawlt, komt # ook niet op het paneel uit. De uitsluiting weghalen zou crawlers juist naar de opvolger leiden. De uitnodiging blijft ongewijzigd: de artikelen zijn welkom. User-agent: GPTBot Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: OAI-SearchBot Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: ChatGPT-User Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: ClaudeBot Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: Claude-User Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: Claude-SearchBot Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: PerplexityBot Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: Perplexity-User Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: Google-Extended Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: Applebot-Extended Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: CCBot Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ User-agent: meta-externalagent Allow: / Disallow: /downloads/ Disallow: /dashboard/ Disallow: /paneel/ Disallow: /spellen/ Sitemap: https://writesidesofhistory.com/sitemap.xml Sitemap: https://writesidesofhistory.com/agents/sitemap-agents.xml # EEN CRAWLER DIE HIER LANGSKOMT, KRIJGT DE KORTSTE WEG NAAR DE INHOUD. # robots.txt is voor veel bots het allereerste bestand van deze site dat zij openen. Wie hier # alleen leest wat verboden is, gaat tweehonderd pagina's afzonderlijk halen; wie de drie # regels hieronder leest, heeft het hele archief in één verzoek en weet meteen wat hij ermee mag. # # Machine-readable archive (manifest, licence, every file): https://writesidesofhistory.com/agents/ # LLM-friendly site overview: https://writesidesofhistory.com/llms.txt # The complete archive as one markdown file: https://writesidesofhistory.com/llms-full.txt # Full-content RSS feed: https://writesidesofhistory.com/feed.xml