Какво е инсталационния файл, специални символи и указания позволяват-Disallow, карта на сайта, домакин, потребителски агент
Управление на робота
Когато SEO оптимизация на сайта, различна от страниците на обичайните за пълнене на съдържание, е необходимо да се вземат предвид техническата част - т.е. как търсачката паяци се държат, когато тя е индексиране.
Това тяхното поведение е повече или по-малко ръководи от волята на сайта на домакин, има основен файл за това - robots.txt.
Какво е Robots.txt?
Основни инструкции роботи са: забраните индексирането и позволи индексирането на страницата (ите) на сайта.
Robots.txt - защита на себе си!
По този начин, създаването на файла - това е много проста: създаване на обикновен текстов документ, да го отворите с Notepad (или Notepad ++) и приспособима.
Правилната конфигурация на Robots.txt
Това е, преди всичко, в предписването на конкретни директиви. Основните от тях са:
Желателно е, че директивата се следва в същия начин, както в горния списък във файла.
Файл robots.txt за правилните настройки трябва да се разбере как да се използват така наречените специални символи. Ако сте запознати с факта, че изразът е, то е много лесно. Ако не - също.
Специални знаци само 2:
Звездичката (*) означава "всяка поредица от знаци" (включително и не знака). Например, като се посочва robots.txt следния ред:
Долар ($) обозначава края на линията. Ако конфигурирате Robots.txt ти пиша, например,
Можете да намерите записи без тези специални символи, като например:
Взаимодействие Разрешаване и забраняване
Струва си да се добави, че съвпадението на насоки позволява и забранява приоритет се дава на директиви позволяват. Например, когато такъв запис:
- раздел все още се индексира страницата / котка /.
- този запис отрича индекс на всички страници раздел / котката /, но ти позволява да се индексират /cat/page.html на страницата.
Между другото, ако не искаме да се забрани индексирането на сайта си, че все още е необходимо да се регистрирате
Забрани: # нищо, за да се забрани
Позволете: / # решителност всички
Ето един пример на файла robots.txt:
User-Agent: * # призова всички роботи
Позволете: /some-category/good-page.html # позволено да индексира страницата, но с добро page.html
User-Agent: Yandex # повтарят всичко за Yandex ...
Водещ: site.ru # ... с посочване на първичния огледалото
Просто така се извършва правилното robots.txt обстановка за всеки сайт. Повторете за Yandex - не се изисква - така се е развила в исторически план. Можете да го направите без него, но традицията е традиция ..
Необходимо е да се добави, че чрез инхибиране индекс всяка страница Robots.tht, ние сме склонни да искат да не бъде видян от. Но, като посочи конкретно то във файла, не можем да "скрие" от повече или по-малко опитни потребители (тези, които знаят за файла).
С цел да се погребе в пълна степен, най-добре е да използвате мета роботи тагове. която регистрира директно в кода на страницата. И в файла robots.txt, е желателно да се предвиди глобалните настройки - индексиране на цели секции на сайта и т.н.
Още статии по темата: