Eine der Schlüsseltechnologien für eine effektive Suchmaschinenoptimierung (SEO) ist die sogenannte Robots.txt. Diese unkomplizierte, aber mächtige Datei kann Suchmaschinen-Robots sagen, welche Seiten sie crawlen sollen und welche nicht. Sie bietet auch den Sitemap-Verweis, um den Robots den Weg durch Ihre Website zu erleichtern.