Hallo Tyrone!
Dieser 404-Fehler wird in der Regel durch Suchmaschinen-Bots oder Besucher verursacht, welche direkt den entsprechenden Unterordner aufrufen.
Üblicherweise wird eine index-Datei als Startseite in einem Verzeichnis verwendet. Weicht der Seitenbetreiber hiervon ab und hat dies nicht in der .htaccess (mit der Direktive "DirectoryIndex") festgehalten, liefert der Webserver einen entsprechenden 404-Fehler aus.
Die Datei robots.txt wird von Suchmaschinen gelesen, da sich in dieser Hinweise und Anweisungen für den Suchmaschinen-Bot befinden (s. hierzu
http://de.wikipedia.org/wiki/Robots.txt. Ist die Datei nicht vorhanden, wird auch hier eine 404-Meldung durch den Bot generiert.