робот что это?

[Vek]

На моем сайте нашел фаил robot.txt что это?
Что нужно делать удалить или аставить его, у меня яндекс сайт не индексирует вобще может это из за него?

Это его содержимое!!
User-agent: Mediapartners-Google*

Disallow:

User-agent: *

Disallow: admin.php

Disallow: /admin/

Disallow: /images/

Disallow: /includes/

Disallow: /themes/

Disallow: /blocks/

Disallow: /modules/

Disallow: /language/

[sid]

кстать, мне самому всегда было интересно для чего этот файл!!!!

[Vek]

кто нибуть подскажите что это?

[Soniks]

почитайте вот это (http://hostinfo.ru/tree/hosting/web/site/building/robots-txt/)

[sid]

ясненько, спасибо соникс! буду терь знать :)

[Vek]

Прочитал, но не совсем все понял:
1. тоесть в моем случаи все закрыто для индексировании?
2. User-agent: Mediapartners-Google* (что это за строчка?) и нужна ли она?
3. Disallow: admin.php (это строчка чтобы админку не индексировал, но у меня в другом файле находится админка знасит просто поменять имя?)
4. Как я понял, чтобы пауки все индексировали кроме админки надо написать так:

User-agent: *

Disallow: мой_фаил_админки.php

ну вроде вопросов больше нет, Соник ответь пожалуйста

[Soniks]

Vek админку лучше не светить

[Vek]

непонял, тогда скажи как написать чтобы все показывалась кроме админки

[Vek]

ну помогите что писать, можно пример!!

[Soniks]

Vek админ и не будет индексироватся, если вы ни где не укажите ссылку на него! от куда тогда поисковик прознает по этот файл??

[Vek]

так что мне писать в файле?
(вот это?)
User-agent: *

Disallow: мой_фаил_админки.php
мне нужно чтобы все индексировалось кроме админки...
Соник если можешь напиши как писать?