Die meiste Ursache für die nicht auffindbare Seite ist ein HTTP-Fehlercode 404 (Not Found).
Mehr Informationen zu Gängigen HTTP-Fehlermeldungen, erfahren Sie hier:
Gängige HTTP-Fehlermeldungen.
Die mögliche Ursache ist in der Regel durch Suchmaschinen-Bots oder Besucher verursacht.
Dies geschieht durch den direkten Aufruf der entsprechenden Unterordner. Üblicherweise wird eine index-Datei als Startseite in einem Verzeichnis verwendet. Weicht der Seitenbetreiber hiervon ab und hat dies nicht in der .htaccess (mit der Direktive "DirectoryIndex") festgehalten, liefert der Webserver einen entsprechenden 404-Fehler aus.
Die Datei robots.txt wird von Suchmaschinen gelesen, da sich in dieser Hinweise und Anweisungen für den Suchmaschinen-Bot befinden (siehe hierzu http://de.wikipedia.org/wiki/Robots.txt).
Ist die Datei nicht vorhanden, wird auch hier eine 404-Meldung durch den Bot generiert.
Ist die Datei nicht vorhanden, wird auch hier eine 404-Meldung durch den Bot generiert.