Как сделать правильный robots.txt?
Это обычный текстовый файл, который помещается в корень сайта, который служит набором указаний (директив для поискового робота). В этом файле вы указываете «Туда не ходи, а сюда ходи!»

Также, благодаря этому файлу Вы сможете улучшить индексацию вашего сайта, что возможно повлечет взлет позиций Вашего сайта.

Предлагаю Вашему вниманию аудио-обзор файла robots.txt, прослушав который Вы поймете зачем он архи важен для сайта, а также сможете сделать аналогичный, правильный файл и поместить его на свой сайт