Яндекс создал видеоролик о работе с robots.txt

После недавних событий, когда в поиске Яндекса стали появляться СМСки и другие важные документы, которые не должны были бы появляться в выдаче. Эти данные ранее не были запрещены для индексации через специальный файл robots.txt. Поэтому в Сети появилось специальное видео , которое подробно рассказывает о правильном использовании robots.txt, чтобы документы личного характера не попали в серп.

В ходе обсуждений, которые развернулись в комментариях к этому видео, было много высказываний и предположений, что робот проходит даже по тем страницам, которые запрещены к индексированию, он просто не выводит их в поиске.

Это другая причина того факта, что в Яндексе был некий сбой, который вывел проиндексированные и "закрытые" к показу данные в общую выдачу. Поэтому личные документы и другие страницы оказались в серпе ошибочно. Хотите себе надежный и недорогой автомобиль? subaru Одесса - идеальный вариант.

Напомним, что специалисты Яндекса полностью отрицают вероятность сбоя и утверждают, что, в момент прохождения поискового робота по сайтам, специального файла robots.txt не было найдено. Следовательно, они перекладывают вину на администраторов конкретных сайтов, которые заранее не позаботились о безопасности. Именно они и должны были закрыть подобные разделы сайта.

Опубликовано: СР, 17/08/2011 - 20:40