Die robots.txt wird in WordPress dynamisch erzeugt. Die einfachste Möglichkeit diese anzupassen ist, eine statische robots.txt in das Root-Verzeichnis der WordPress-Installation anzulegen. Die andere, flexiblere Möglichkeit ist in der functions.php mit folgendem Filter zu arbeiten:
// robots.txt anpassen
function robots_mod( $output, $public )
{
if($public)
{
$output .= "Allow: /*.js$n";
$output .= "Allow: /*.css$n";
}
return $output;
}
add_filter('robots_txt', 'robots_mod', 10, 2);
Damit ist es möglich die Ausgabe der robots.txt mit einer eigenen Logik zu verknüpfen:
// robots.txt anpassen
function robots_mod( $output, $public )
{
if($_SERVER['HTTP_HOST']=='hide-from-search-engines.com') $output = "Disallow: /n";
return $output;
}
add_filter('robots_txt', 'robots_mod', 10, 2);
Performance-Tipp: Die robots.txt wird von Suchmaschinen zum Teil sehr oft aufgerufen. Falls das verwendete Caching-Plugin die robots.txt nicht abdeckt und man keine dynamische Anpassung benötigt, bietet es sich an die robots.txt als statische Text-Datei im Webroot-Verzeichs zu hinterlegen.
