PDA

View Full Version : робот что это?


Vek
06.11.2005, 18:13
На моем сайте нашел фаил robot.txt что это?
Что нужно делать удалить или аставить его, у меня яндекс сайт не индексирует вобще может это из за него?

Это его содержимое!!
User-agent: Mediapartners-Google*

Disallow:

User-agent: *

Disallow: admin.php

Disallow: /admin/

Disallow: /images/

Disallow: /includes/

Disallow: /themes/

Disallow: /blocks/

Disallow: /modules/

Disallow: /language/

sid
06.11.2005, 18:14
кстать, мне самому всегда было интересно для чего этот файл!!!!

Vek
07.11.2005, 16:29
кто нибуть подскажите что это?

Soniks
07.11.2005, 17:06
почитайте вот это (http://hostinfo.ru/tree/hosting/web/site/building/robots-txt/)

sid
07.11.2005, 17:11
ясненько, спасибо соникс! буду терь знать :)

Vek
08.11.2005, 08:02
Прочитал, но не совсем все понял:
1. тоесть в моем случаи все закрыто для индексировании?
2. User-agent: Mediapartners-Google* (что это за строчка?) и нужна ли она?
3. Disallow: admin.php (это строчка чтобы админку не индексировал, но у меня в другом файле находится админка знасит просто поменять имя?)
4. Как я понял, чтобы пауки все индексировали кроме админки надо написать так:

User-agent: *

Disallow: мой_фаил_админки.php

ну вроде вопросов больше нет, Соник ответь пожалуйста

Soniks
08.11.2005, 22:16
Vek админку лучше не светить

Vek
09.11.2005, 06:46
непонял, тогда скажи как написать чтобы все показывалась кроме админки

Vek
10.11.2005, 13:37
ну помогите что писать, можно пример!!

Soniks
10.11.2005, 15:07
Vek админ и не будет индексироватся, если вы ни где не укажите ссылку на него! от куда тогда поисковик прознает по этот файл??

Vek
10.11.2005, 18:43
так что мне писать в файле?
(вот это?)
User-agent: *

Disallow: мой_фаил_админки.php
мне нужно чтобы все индексировалось кроме админки...
Соник если можешь напиши как писать?