Значение текста ссылки и содержимого сайта. Робот
Большое значение при индексировании имеет текст внешних ссылок на сайт.
Текст ссылки (или по другому якорный или ссылочный текст) – это текст, стоящий между тегами «A» и «/A» ,
то есть тот текст, по которому можно “кликнуть” указателем мыши в браузере для перехода на новую страницу.
Этот текст должен отражать суть сайта, его тематику и направление. По этому критерию робот оценивает ценность
информации. Если текст ссылки содержит нужные ключевые слова, то поисковая система воспринимает это как
дополнительную и очень важную рекомендацию, подтверждение того, что сайт действительно содержит ценные сведения,
соответствующие теме поискового запроса.
Кроме ссылочного текста учитывается также общее информационное содержимое ссылающейся страницы.
Для того чтобы понять принцип, приведём небольшой пример. Предположим, мы продвигаем ресурс по продаже компьютеров.
В этом случае, ссылка с сайта по ремонту компьютеров будет значить гораздо больше, чем аналогичная ссылка с сайта о
дайвинге. Первая ссылка (в данном случае ремонт компьютеров) идет с тематически схожего ресурса, поэтому будет в
большей степени оценена поисковой системой. В свою очередь вторая - меньше, так как она идёт с ресурса о дайвинге
и никакого сходства с сайтом о компьютерах не имеет.
Но хотелось бы сказать вот о чём. Есть ещё файл robots.txt. предназначеный для указания всем поисковым роботам способ
индексирования. В этом файле должны быть описаны только те директории и файлы сервера, которые НЕ нужно индексировать.
Это файл должен содержать 0 или более записей, которые связаны с тем или иным роботом, и указывают для каждого робота
или для всех сразу что именно им НЕ НАДО индексировать. Нужно понимать также что файл robots.txt может стать слишком
большим файлом. Поскольку описывается каждый файл, который не следует индексировать, да еще для многих типов роботов
отдельно, при большом количестве не подлежащих индексированию файлов размер /robots.txt становится слишком большим.
В этом случае можно придпринять одну из следующих мер:
- указывать маски для директорий и файлов
- создавать структуру сервера с учетом упрощения описания исключений в /robots.txt
- указывать директорию, которую не следует индексировать, и, соответственно, не подлежащие индексированию файлы
располагать именно в ней
- указывать один способ индексирования для всех agent_id