Robots.txt Robots.txt servem para controlar as atividades dos spiders (Google bot, Yahoo Slurp ou MSN Bot) durante suas buscas. Robots.txt é um arquivo no formato texto (.txt) que pode ser utilizado como como “filtro” para os spiders (aranhas) dos motores de busca da Internet, como, por exemplo, o Googlebot, Yahoo [ Leia mais ]
Continue


