robots.txt

Eine Textdatei, die festlegt, welche Bereiche einer Website gecrawlt werden dürfen. Diese wird im Stammverzeichnis einer Website der Datei hinterlegt und die Bots der Suchmaschinen halten sich an die Anweisungen.

War dieser Beitrag hilfreich?

0 von 0 fanden dies hilfreich.

Schade! Bitte teilen Sie uns doch mit was Ihnen nicht weitergeholfen hat.

Es ist ein technisches Problem aufgetreten. Bitte wenden Sie sich telefonisch oder per E-Mail an uns.