Robots.txt
Crawler suchen manchmal nach /robots.txt
. Die sollten eine bekommen die die folgenden Dinge erlaubt:
- Index
- Details
- Images
... und für /user/*
sagt "hier ist nichts zu holen"
Crawler suchen manchmal nach /robots.txt
. Die sollten eine bekommen die die folgenden Dinge erlaubt:
... und für /user/*
sagt "hier ist nichts zu holen"