Crawler-Policy,
abgelöst.
@casoon/astro-crawler-policy erzeugte robots.txt und llms.txt aus typisierter Konfiguration. Das Repository ist archiviert. Presets und Bot-Registry leben in @casoon/astro-site-files weiter.
Bestehende Installationen funktionieren weiter, bekommen aber keine Fehlerbehebungen und keine neuen Bots mehr. Neue Projekte starten mit astro-site-files.
Projektstatus
Version 0.1.2
Letzte Veröffentlichung auf npm. Bot-Registry mit 13 Crawlern, Stand 2026-04-09.
Übernommen und archiviert
Presets und Registry wandern nach astro-site-files. Das README verweist auf den Nachfolger, das Repository ist schreibgeschützt.
astro-site-files 0.5.0
robots.txt, llms.txt, sitemap.xml, rss.xml, security.txt und humans.txt in einer Integration.
Was das Paket gemacht hat.
Die Integration schrieb in astro:build:done eine robots.txt aus einer typisierten Konfiguration, auf Wunsch zusätzlich eine llms.txt mit der KI-Policy der Site. Sie erzeugte Regeln und blockierte nichts auf Netzwerk-, WAF- oder Edge-Ebene. Diese Seite bleibt online, damit bestehende Nutzer den Stand und den Weg zum Nachfolger finden.
- 01Presets — seoOnly, citationFriendly (Standard), openToAi, blockTraining, lockdown
- 02Bot-Registry — 13 bekannte Crawler mit Gruppen- und Einzelregeln
- 03Content Signals —
Content-Signal-Zeile nach contentsignals.org - 04Audits — Warnungen bei Fehlkonfiguration während des Builds
Alt und neu nebeneinander.
| Kriterium | astro-crawler-policy | astro-site-files |
|---|---|---|
| Wartung | archiviert | aktiv |
| Letzte Version | 0.1.2 (April 2026) | 0.5.0 (September 2026) |
| Astro (Peer-Dependency) | ab 4 | ab 6, inkl. 7 |
| Bots im Registry | 13 (Stand 2026-04-09) | 25 (Stand 2026-05-27) |
| Presets | 5 | die gleichen 5, plus Gruppen für SEO-Scanner und Archive |
| llms.txt | Zusammenfassung der KI-Policy | Inhaltsübersicht nach llmstxt.org |
| Content-Signal-Zeile | ja | nein |
| Merge mit public/robots.txt | replace, prepend, append | nein |
| Overrides je Umgebung (env) | ja | über JavaScript in der Config |
| sitemap.xml, rss.xml, security.txt, humans.txt | nein | ja |
Stand: September 2026, laut README und npm beider Pakete. Beim Umstieg entfallen die Content-Signal-Zeile, die Merge-Strategie und die env-Option.
Umstieg in drei Schritten.
- 1Tauschen
Paket ersetzen
Altes Paket entfernen, Nachfolger installieren. Voraussetzung sind Node.js ab 22.12.0 und Astro ab 6.
npm rm @casoon/astro-crawler-policy npm i @casoon/astro-site-files - 2Umziehen
Config anpassen
Der Preset-Name bleibt gleich und wandert unter
robots. Die Sitemap-Zeile leitet astro-site-files aussiteab.robots: { preset: 'citationFriendly' } - 3Prüfen
Ausgabe vergleichen
Alte und neue robots.txt vergleichen: die
Content-Signal-Zeile fehlt, dafür sind mehr Bots gelistet. Wer bisher@astrojs/sitemapnutzt, deaktiviert eine der beiden Sitemaps.diff robots.old.txt dist/robots.txt
Dieselbe Absicht, neue Integration.
// astro.config.ts – @casoon/astro-crawler-policy
import { defineConfig } from 'astro/config';
import crawlerPolicy from '@casoon/astro-crawler-policy';
export default defineConfig({
site: 'https://example.com',
integrations: [
crawlerPolicy({
preset: 'citationFriendly',
sitemaps: ['/sitemap-index.xml'],
}),
],
});// astro.config.ts – @casoon/astro-site-files
import { defineConfig } from 'astro/config';
import siteFiles from '@casoon/astro-site-files';
export default defineConfig({
site: 'https://example.com',
integrations: [
siteFiles({
// same preset name, now under robots
robots: { preset: 'citationFriendly' },
// sitemap.xml is generated by default and
// referenced in robots.txt automatically
}),
],
});# Generated by @casoon/astro-crawler-policy
# preset: citationFriendly
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /Was Version 0.1.2 kann.
Fünf Presets
Jeder Preset setzt Gruppenregeln und Content Signals. Standard ist citationFriendly: Suchmaschinen und zitierende KI-Bots erlaubt, reine Trainings-Crawler gesperrt.
Regeln in Schichten
Preset, dann groups, dann bots. Die spezifischste Regel gewinnt. Eigene Crawler kommen über extraBots dazu.
Content Signals
search, ai-input und ai-train als Zeile in der Wildcard-Gruppe. Die Google Search Console kann sie als unbekannte Direktive melden.
Merge-Strategien
Eine vorhandene public/robots.txt wird ersetzt, vorangestellt oder angehängt.
Umgebungen
Über env bekommen Staging und Preview eigene Einstellungen, zum Beispiel lockdown. Erkannt wird die Umgebung über CONTEXT, DEPLOYMENT_ENVIRONMENT oder NODE_ENV.
Build-Audits
Hinweise wie MISSING_SITE_URL, UNKNOWN_BOT_ID oder UNLOCKED_NON_PRODUCTION_ENVIRONMENT erscheinen im Build-Log.
Warum ein Umstieg sinnvoll ist.
Registry eingefroren
Die Bot-Liste steht auf dem Stand vom 9. April 2026. Neue Crawler kommen nur noch in astro-site-files dazu.
Keine Fehlerbehebungen
Das Repository ist archiviert. Probleme mit neuen Astro-Versionen werden nicht mehr behoben.
Content-Signal ist kein Standard
Die Direktive folgt einem Vorschlag (IETF aipref). Viele Crawler werten sie nicht aus.
robots.txt ist freiwillig
Das gilt für beide Pakete. Crawler, die sich nicht daran halten, lassen sich nur auf Server- oder CDN-Ebene sperren.
Häufige Fragen.
Wird astro-crawler-policy noch gepflegt?
Nein. Das Repository ist archiviert, die letzte Version auf npm ist 0.1.2 vom April 2026. Neue Funktionen und Fehlerbehebungen gibt es nur noch im Nachfolger @casoon/astro-site-files.
Funktioniert eine bestehende Installation weiter?
Das Paket bleibt auf npm installierbar und erzeugt weiterhin robots.txt und llms.txt. Die Bot-Registry wird aber nicht mehr aktualisiert, und Probleme mit neuen Astro-Versionen werden nicht behoben.
Wie migriere ich zu astro-site-files?
Paket tauschen, dann crawlerPolicy({ preset }) durch siteFiles({ robots: { preset } }) ersetzen. Die Preset-Namen sind gleich. astro-site-files erzeugt zusätzlich eine eigene sitemap.xml und trägt sie in robots.txt ein.
Was fällt beim Umstieg weg?
Die Content-Signal-Zeile, die Merge-Strategie mit einer vorhandenen public/robots.txt und die env-Option. Umgebungsabhängige Einstellungen lassen sich in astro-site-files mit normalem JavaScript in der Astro-Config abbilden.
Was sind Content Signals?
Maschinenlesbare Angaben zu search, ai-input und ai-train nach contentsignals.org, einem Vorschlag im Rahmen von IETF aipref. Sie wirken nur bei Crawlern, die sie auswerten, und können in der Google Search Console als unbekannte Direktive auftauchen.
Neue Projekte starten mit astro-site-files.
Gleiche Presets, größere Bot-Registry, dazu Sitemap, RSS, security.txt und humans.txt.