Здравствуйте!
Хостер (1gb.ru) прислал письмо, что "В соответствии с регламентом хостинга Ваш аккаунт не может
обслуживаться по вашему текущему плану, т.к. загрузка сервера,
вызываемая вашим сайтом, превышает нормы, описанные в
регламенте для вашего тарифного плана"
также сообщили что столь высокая нагрузка может быть вызвана поисковыми роботами, скажите пожалуйста как в robots.txt запретить полную индексацию всеми поисковыми машинами и если возможно, предложите другие способы снизить загрузку процессора сервера?

спасибо.