Основные факторы, влияющие на релевантность сайта для поисковых систем

Сергей Людкевич, Евгений Есипов, "Промо.Текарт", 14.11.2003 Основные факторы, влияющие на релевантность сайта для поисковых систем 1. Примерный алгоритм определения релевантности документа запросу. Довольно часто, особенно от людей, недавно занявшихся поисковой оптимизацией, приходится слышать просьбу раскрыть "волшебную формулу", с помощью которой можно добиться хороших позиций в поисковых системах. Как частный случай можно привести также вопрос о плотности ключевых слов на странице (с точностью до сотых долей процента), необходимый для попадания на первые строчки выдачи. Сразу же хочу предупредить вас - таких формул и магических цифр нет. Не правы и те, кто считает алгоритмы поисковых систем абсолютно недоступными "простым смертным". Да, действительно, эти алгоритмы никогда не будут раскрыты во всех тонкостях, потому как слишком много желающих делать "идеальные" странички и занимать первые места в поисковиках, зачастую ухудшая тем самым качество поиска, т.е. выдаваемой пользователю информации. Однако, основные принципы работы алгоритмов ранжирования документов всё же известны, и прежде чем начать рассказывать о каждом из факторов, оказывающем влияние на релевантность документов запросам, мне хотелось бы ознакомить вас с обобщенной формулой, аппроксимирующей формулы ранжирования, используемые четверкой наиболее популярных в Рунете поисковых машин (Яндекс, Рамблер, Апорт и Google). Повторяю, что это не есть конкретная формула, используемая в поисковых машинах, это лишь сильно укрупненная формула, приближенно описывающая процесс определения релевантности документа запросу. Вот она: Rа(x)=(m*Tа(x)+p*Lа(x))* F(PRa), где: Rа(x) - итоговое соответствие документа а запросу x, Tа(x) - релевантность текста (кода) документа а запросу x, Lа(x) - релевантность текста ссылок с других документов на документ а запросу x, PRа - показатель авторитетности страницы а, константа относительно х, F(PRa) - монотонно неубывающая функция, причем F(0)=1, можно допустить, что F(PRa) = (1+q*PRа), m, p, q - некие коэффициенты. Конечно же, эта формула даёт очень общее представление об алгоритмах ранжирования документов в результатах поиска и даже может вызвать недоумённый вопрос - "почему же, если все поисковики пользуются подобным алгоритмом, результаты в них зачастую сильно различаются?". Как говорится, "дело в деталях". Любой из этих показателей является функцией от других, которые могут учитываться или нет поисковой системой, причём каждый из этих показателей имеет свой "вес", а точнее коэффициент, различный для каждого конкретного поисковика. Также влияние могут оказывать собственные ресурсы поисковых систем, прежде всего их каталоги. Обо всём этом мы и будем говорить далее, а сейчас хочу обратить внимание лишь на то, что итоговое положение сайта в результатах поиска зависит от 3-х основных составляющих: 1. Релевантность кода страницы запросу Tа(x)\; 2. Релевантность запросу ссылок на страницу с других страниц (или ссылочное ранжирование) Lа(x)\; 3. Показатель авторитетности страницы PRа - коэффициент, не зависящий от поискового запроса и оказывающий влияние на эффект от обеих предыдущих составляющих. Вот с этого "показателя авторитетности" мы и начнём более подробно рассматривать факторы, влияющие на релевантность документов запросам. 2. Факторы, не зависящие от запроса (статические). Если выразиться точнее - фактор, который в общем случае имеет название показатель авторитетности или ранг документа. В нашей формуле он обозначается как PRa. В рассматриваемых поисковых машинах он именуется по-разному, однако все они при его расчете используют алгоритмы, учитывающие гиперссылки между документами. Эти алгоритмы являются, по сути, модификациями алгоритма PageRank, придуманного в свое время двумя американскими аспирантами Сергеем Брином и Ларри Пейджем, основавшими в последствии поисковую машину Google. PageRank в Google С ростом объёма информации в интернете вообще и информации, индексируемой поисковыми системами в частности, перед разработчиками поисковиков встала серьёзная проблема - количество одинаково релевантных запросу документов было велико, и корректно ранжировать их в результатах поиска становилось всё сложнее. К тому же алгоритмы ранжирования, разработанные для контролируемых коллекций документов, оказались беззащитны перед простейшими способами воздействия на них, когда для обеспечения хорошего результата достаточно было просто скопировать структуру расположения ключевых слов из текста хорошо ранжируемого по этому запросу документа. Появилась необходимость разделять информацию на более и менее достоверную, учитывать "важность" или "авторитетность" ресурсов, предоставляющих её. Как это сделать? Лучше всего на основе данных о популярности страницы у пользователей, например посещаемости. Но тогда потребуется устанавливать какой-либо счётчик на каждую страницу. Такой вариант для глобального поиска не подходит. Тогда в качестве критерия была выбрана теоретическая посещаемость страницы. Была разработана модель, эмулирующая движение пользователя по документам сети путем перехода по ссылкам с документа на документ, подразумевающая, что пользователь с равной долей вероятности перейдет по любой из ссылок, содержащихся в документе, который он в данный момент просматривает. Следовательно, вероятность пользователя попасть на конкретный документ будет зависит от количества ссылок на него с других документов и от того, насколько вероятно нахождение пользователя на одном из ссылающихся документов и сколько исходящих ссылок содержит этот ссылающийся документ. Эта вероятность и была принята за показатель авторитетности или ранг страницы (PageRank): где PRa - PageRank рассматриваемой страницы, d - коэффициент затухания (означает вероятность того, что пользователь, зашедший на страницу, перейдет по одной из ссылок, содержащейся на этой странице, а не прекратит путешествие по сети, обычно устанавливается равным 0,85), PRi - PageRank i-й страницы, ссылающейся на страницу а, Ci - общее число ссылок на i-й странице. Одним из распространенных заблуждение является то, что можно вычислить PageRank по этой формуле для отдельно взятого документа, используя известные значения PageRank для ссылающихся на него документов. Так делать нельзя. Чтобы вычислить PageRank какого-либо документа надо составить систему N линейных уравнений данного вида для каждого из документа из поисковой базы, где N - количество документов в поисковой базе. Причем, для выполнения условия, что сумма значений PageRank для всех документов (т.е. вероятность того, что пользователь находится на любой из страниц) равна 1, к свободный члену (1 - d) в каждом уравнении добавляют множитель 1/N. Эта система будет содержать N неизвестных. Решив ее, получим значения PageRank для каждого документа, известного поисковой машине. В поисковой базе крупнейших поисковых машин содержится огромное количество документов. Несмотря на то, что матрица, соответствующая системе уравнений будет сильно разрежена, численное решение этой системы требует огромных вычислительных мощностей. Поэтому поисковая система должна постараться максимально упростить процесс расчета, вводя некоторые допущения. Вот эти конкретные особенности реализации классической формулы PageRank, увы, составляют коммерческую тайну поисковых машин. Нормированное значение PageRank для конкретного документа, загруженного в браузер, можно узнать, скачав и установив Google ToolBar - специальную панель инструментов для работы с этим поисковиком. ВИЦ в Яндексе В Яндексе аналогичная PageRank величина, обозначающая количественное представление "авторитетности" страницы и называемая "взвешенный индекс цитирования" - ВИЦ, была введена весной 2001 года. Как говорили сами представители Яндекса, ВИЦ высчитывается на основе классического алгоритма PageRank "с точностью до деталей реализации". До осени 2002 года ВИЦ можно было посмотреть с помощью Яндекс-Бара, специальной панели инструментов. В нем отражался ВИЦ главной страницы с точностью до сотых. Теперь в этом индикаторе отображается значение тИЦ, совсем другого показателя, использующегося для ранжирования ресурсов в каталоге Яндекса, и узнать значение ВИЦ не представляется возможным. ИЦ в Апорте Апорт в 1999 г. первым из отечественных поисковых систем стал использовать для ранжирования документов модификацию классического алгоритма PageRank. Показатель авторитетности документа имеет название "Индекс Цитирования" - ИЦ (также представители Апорта называют его в своих документах как Page Rank, так и взвешенный индекс цитирования). Самым кардинальным отличием от классического PageRank в Апорте является то, что пре расчёте ИЦ документа им учитывается всего одна, "лучшая" ссылка со всех страниц домена второго уровня. "Лучшей" считается та ссылка, которая передаёт наибольший вес документу. Индексом цитирования сайта (он же Site Rank), использующегося для ранжирования сайтов в каталоге Апорта, считается наибольший индекс цитирования из всех страниц сайта. Значение ИЦ можно узнать только для сайтов, зарегистрированных в каталоге, в соответствующей ему категории. Коэффициент популярности в Рамблере. С осени 2002 года поисковая машина стала рассчитывать для каждого документа коэффициент популярности. Вот что сказано на сайте Рамблера об этом коэффициенте: "Данный коэффициент, как и алгоритм PageRank, основан на учете гиперссылок между страницами сети, однако наша реализация дополнительно использует данные о реальной посещаемости страниц, полученные от счетчика Top100. Дело в том, что "классические" ссылочные алгоритмы фактически учитывают мнение только одной категории пользователей сети - web-мастеров. Действительно, если большому количеству web-мастеров нравится тот или иной ресурс, они размещают на него ссылки. Обычные пользователи, как правило, созданием страниц и сайтов не занимаются, и поэтому учесть их мнение оказывается невозможно. Счетчик Top100 как раз и предназначен для того, чтобы сделать коэффициент популярности более справедливым". Однако, судя по всему, в последнее время данные о посещаемости документов, полученные от счетчика Top100, оказывают все меньшее и меньшее влияние на коэффициент популярности, так как счетчик не в состоянии противостоять массовым накруткам, практикуемым владельцами некоторых сайтов. Соответственно, все большее значение приобретает составляющая, вычисляемая на основе учета гиперссылок между страницами сети. Необходимо, заметить, что некоторые документы и даже целые сайты в поисковых машинах могут по той или иной причине исключаться из процесса расчета ранга документа, на который они ссылаются. Так, например, в Яндексе для этих целей существует так называемый "непот-фильтр", который накладывается на ресурсы, находящиеся на бесплатных хостингах, но не описанные в Яндекс-каталоге, ресурсы со свободным размещением ссылок (например, гостевые книги, доски объявлений), сайты, размещающие на своих страницах ссылки, невидимые пользователю и т.п. Резюмируя вышесказанное, можно сказать, что для повышения ранга страницы необходимо работать над тем, чтобы как можно большее количество документов сети ссылалось на него. Делать это можно различными способами - с помощью обмена ссылками с другими сайтами, регистраций в каталогах и различных тематических ресурсах и т.д. Идеальный способ - сделать свой сайт настолько уникальным и интересным, чтобы владельцы других ресурсов сами считали необходимым поставить ссылку на него. Не следует также забывать, что при расчете ранга документа учитываются как внешние, так и внутренние ссылки. Поэтому грамотная перелинковка документов внутри сайта позволяет повысить ранг самых важных из них с точки зрения содержащейся информации. Наиболее важные в этом смысле документы обязательно должны иметь ссылку с главной страницы сайта, которая, как правило, имеет максимальный ранг среди всех страниц сайта вследствие того, что на нее указывает большинство внешних ссылок на сайт. 3. Факторы, зависящие от запроса (динамические). Внутренние динамические факторы. Внутренние динамические факторы (в нашей формуле они используются при вычислении составляющей Tа(x)) гораздо более легки в понимании, чем показатели авторитетности, хотя бы потому, что доступны для просмотра любому пользователю. Они легко могут быть изменены владельцем ресурса с целью достижения нужных позиций в результатах поиска. Именно поэтому в настоящее время соответствие кода страницы запросу является, пожалуй, наименее слабым фактором в алгоритмах ранжирования поисковых систем, и достичь хороших результатов в ранжировании по серьезным запросам, основываясь только на работе с внутренними факторами, практически невозможно. Я не случайно сказал именно "кода страницы" потому, что помимо собственно текста к внутренним факторам относятся также элементы форматирования текста и служебные тэги. Итак, по порядку. Непосредственно текст страницы оценивается поисковой системой по двум основным характеристикам: расположение искомого текста на странице и частота встречаемости слова из запроса в документе по сравнению с другими словами. Что касается расположения текста на странице, то больший вес имеют слова, расположенные ближе к началу документа и предложения. Ведь считается, что в начале чаще располагается важная информация. Также особенно ценится поисковиками "точное вхождение" искомой фразы в текст документа для запросов из нескольких слов, т.е. текст, идентичный запросу, с сохранением порядка слов в запросе. В этой связи хочется отметить вот ещё что. Несмотря на то, что поиск по стоп-словам, к которым относятся, в основном, предлоги, союзы, частицы и междометия, не производится, при ранжировании документов они всё же используются, что может очень серьёзно повлиять на выдачу. Сравните запросы из 2-х слов с союзом "и" между ними, например "бумага и картон" и "бумага картон". Тоже можно сказать и о морфологии запроса, предпочтительно, чтобы слова из запроса в тексте были в той же форме, что и в самом запросе. Особенно это касается Рамблера. Для Google это имеет принципиальное значение, так как русской морфологии он не поддерживает. Кстати, у Рамблера есть ещё одна интересная особенность - этот поисковик считает знаки пунктуации словами. Запятая между двумя словами становится третьим словом. Относительно частоты употребления слов в документе сказано немало. Часто от новичков приходится слышать вопрос об "идеальной" плотности ключевых слов с точностью до сотых процента. Существуют рекомендации об использовании ключевого слова на странице в пределах 3-7%. Однако, точные цифры не известны. Считается что, страница со слишком часто встречающимся словом запроса может посчитаться спамом, и ее позиция в результатах поиска может быть автоматически понижена. Это утверждение довольно спорно. Ведь если на странице всего 3 слова и запрос содержит эти же 3, то плотность составит 100% - однако такие страницы прекрасно находятся в поиске. Гораздо более вероятно, что существуют некие пороговые значения, после достижения которых дальнейшее увеличение частоты не влияет на релевантность документа. Представители Апорта, например, определенно говорили о наличии в их поисковой системе подобного порогового значения. Лично я при употреблении слов на странице руководствуюсь, прежде всего, понятием разумности - пользователю должно быть удобно читать текст - и ни разу не высчитывал эту величину для своих сайтов и сайтов конкурентов. Кстати, не следует забывать и о том, что поисковые машины накладывают ограничения на индексируемый объем документа. Так, Google индексирует только первые 101 килобайт, Рамблер - 200 килобат, Апорт - 128 килобайт. По Яндексу у меня такой информации, к сожалению, нет, но, я думаю, что и у него имеется ограничение на индексируемый объем документа примерно в пределах 100-200 килобайт. Элементы форматирования текста. К таковым относятся заголовки(<\;h1>\;, ..., <\;h6>\;), а также тэги <\;strong>\;, <\;em>\;, <\;b>\;, <\;i>\;. Если некоторая часть текста выделяется, значит, с точки зрения поисковой системы, в этой части содержится более важная информация, следовательно, документ посвящён этой теме и более релевантен запросу, если слова из него, содержатся в выделенном тексте. Поэтому использование этих тэгов в документе желательно, но в разумных количествах. Не стоит забывать, что они используются именно для выделения в пределах одного документа, и слишком частое их использование для различных слов уже не даст такого эффекта. Если весь текст страницы представить заголовком, <\;h1>\; например, то это будет равносильно не использованию этого тэга вообще. Добавлю, что Апортом тэги <\;i>\; и <\;em>\; игнорируются. Служебные тэги. Ранее мета-тэги keywords и description активно использовались многими поисковыми машинами. Но в связи с тем, что их содержимое не видно пользователю, они стали действенным инструментом для обмана поисковых систем, что привело к тому, что в настоящее время эти мета-тэги либо вообще не учитываются поисковыми системами, либо влияние их мизерно по сравнению с другими факторами. Рамблер и Google при ранжировании документов их игнорируют вообще. Однако, Google использует содержимое мета-тега description при построении сниппетов - фрагментов текста, содержащих слова из запроса, выдаваемых рядом со ссылкой на документ в результатах поиска. Апорт единственный использует мета-тег description, но, судя по всему, он имеет очень небольшой вес по сравнению с другими внутренними факторами. Из тега keywords берутся, по словам представителей Апорта, только 16 слов, причём учитывается только одно вхождение слова, даже если его нет в тексте страницы. На сайте Яндекса указано, что он учитывает первые 50 слов из тега keywords при условии что это слово присутствует в тексте страницы но, повторюсь, эффект от его использования крайне мал. Мета-тег description в расчёте релевантности страницы запросу в Яндексе не участвует, но до двухсот первых символов из него в некоторых случаях может выводиться в результатах поиска как первая часть аннотации к ссылке. Поэтому я бы рекомендовал использовать в теге description текст, описывающий краткое содержание документа - это может стать дополнительным аргументом для принятия пользователем решения перейти на ваш сайт по ссылке с результатов поиска. Пожалуй, наибольший эффект из страничных факторов даёт применение тэга title - заголовка страницы. Причём использовать в нём можно даже слова, которые не содержатся в тексте страницы - это тоже даёт эффект, хотя и меньший, но в некоторых случаях это оправдано. К тексту внутри этого тэга применимы те же понятия, что и для текста документа вообще: больший вес имеют слова, расположенные ближе к началу, очень эффективно точное вхождение искомой фразы. Судя по информации представленной на сайтах Яндекса и Апорта, эти поисковые машины не учитывают частоту вхождения слов из запроса в этом теге, а только факт их присутствия. Следует иметь в виду, что нецелесообразно делать очень длинные теги title, так как поисковые машины могут накладывать ограничение на длину индексируемой части этого тега. Старайтесь использовать не более 20-25 слов. Атрибут alt тега img. Необходимо упомянуть ещё об одном атрибуте, используемом некоторыми поисковыми системами при ранжировании. Это атрибут alt тэга img - текстовый комментарий к изображениям. Rambler учитывает не более 8 слов из него при ранжировании, возможно, приравнивая по значимости к тексту страницы. Этим свойством можно пользоваться при оптимизации страниц. Для Яндекса и Апорта же этот атрибут имеет значение только при поиске по картинкам, а при ранжировании документов в основном поиске не используется. Нами ставились некоторые эксперименты по продвижению через картинки сайтов и их результаты, мягко говоря, нас не удовлетворили - переходов на сайты по картинкам практически не наблюдалось. Google учитывает содержимое этого атрибута только для изображений, являющихся ссылками. Часто приходится слышать вопросы о том, учитывается ли при ранжировании содержимое атрибута title тега а. Так вот, на данный момент, ни одной из четырех рассматриваемых в этой статье поисковых машин при ранжировании содержимое этого атрибута не учитывается. Таким образом, общие рекомендации по оптимизации кода страницы можно свести к следующим мероприятиям: • Постарайтесь разместить наиболее важные ключевые фразы как можно ближе к началу текста страницы. Обязательно используйте точное следование ключевых слов в фразе друг за другом. По возможности, старайтесь использовать наиболее популярные словоформы. • Разбивайте текст на логические фрагменты, для которых используйте заголовки и подзаголовки, выделенные с помощью тегов <\;h1>\;, ..., <\;h6>\;, причем старайтесь по возможности, использовать в них наиболее важные ключевые фразы. • Выделяйте в тексте наиболее важные ключевые фразы тегами <\;strong>\;, <\;em>\;, <\;b>\;, <\;i>\;, если идеология представления информации на сайте позволяет это делать. • Разместите наиболее важные ключевые фразы в теге title. При этом он должен представлять собой вполне читабельный связный текст длиной не более 20-25 слов, а не просто набор ключевых фраз. • Разместите ключевые фразы в атрибуте alt тегов img. • Разместите не более 50 ключевых слов, встречающихся в тексте страницы, в теге keywords. • Поместите краткую привлекательную для пользователя аннотацию содержимого страницы в тег description. Однако, используя эти рекомендации, не забывайте, что текст документа должен быть удобен для чтения и восприятия пользователем. Не стоит чрезмерно пичкать его ключевыми фразами в надежде повысить их концентрацию. Эффект, который это может принести, несоизмеримо мал по сравнению с риском потерять пользователя, пришедшего на страницу, из-за того, что ему неудобно или неприятно воспринимать ее содержимое. Зачастую, бывает достаточно того, чтобы конкретная ключевая фраза хотя бы один раз встречалась в тексте документа. Дальнейшее повышение релевантности документа этому запросу можно проводить за счет воздействия на внешние факторы, влияющие на ранжирование. Внешние динамические факторы (ссылочное ранжирование). Ссылочное ранжирование, или поиск по лексике ссылок, является, пожалуй, самым интересным из критериев, оказывающих влияние на ранжирование документов в результатах поиска. Именно ссылочное ранжирование является причиной многих скандалов вокруг поисковых систем, связанных с выдачей поисковыми системами известных сайтов в ответ на запросы по оскорбительным, нецензурным или близким к таковым выражениям. Среди "пострадавших", например, сайты Microsoft, Александра Лукашенко и "Союза Правых Сил". Именно результаты действия ссылочного ранжирования вызывают у людей, далёких от оптимизации, стандартный вопрос: "почему мне выдаётся страница, на которой нет ни одного слова из запроса?" Итак, давайте разберёмся. Ссылочное ранжирование - влияние текста ссылок на документ на релевантность этого документа запросу. То есть если слова из запроса встречаются в тексте ссылки на документ с друго документа, то это повышает его релевантность данному запросу. При введении этого фактора ранжирования в алгоритм поисковой системы разработчики руководствовались тем соображением, что если кто-то ссылается на страницу каким-либо текстом, то значит с большой долей вероятности можно быть уверенным, что эта информация содержится на странице и чем больше таких ссылок, тем выше эта вероятность. А если страница, на которую ссылаются, популярна у многих пользователей, т.е. "авторитетна"? Тогда соответствие содержания страницы тексту ссылки должно быть ещё более вероятным - авторитетный сайт "плохого" не порекомендует. Значит, логично ввести зависимость от показателей "авторитетности" страницы. Рассмотрим переменную Lа(x) из первой формулы: где PRi - показатель авторитетности страницы i, константа относительно запроса х, f(PRi) - некая неубывающая функция от PRi, для простоты можно принять ее линейной, т.е. f(PRi) = k*PRi, где k - некий коэффициент, Lаi(x) - релевантность запросу x ссылок со страницы i на страницу а, если в тексте ссылки нет ни одного слова из запроса, то Lаi(x) = 0. Максимальное значение функция Lаi(x) принимает, если в тексте ссылки встречается точное вхождение поисковой фразы. Вернёмся к нашей первой формуле: Rа(x)=(m*Tа(x)+p*Lа(x))* F(PRa) Из неё видно, что на величину итогового соответствия кода страницы запросу Rа(x) оказывает влияние произведение величин Lа(x) и F(PRa). Таким образом, величина эффекта от ссылочного ранжирования на релевантность страницы запросу напрямую зависит от 3-х параметров: • релевантности текста ссылок запросу\; • "авторитетности" страницы\; • "авторитетности" ссылающейся страницы. Зачастую, при анализе позиций сайта в выдаче бывает трудно выделить влияние именно ссылочного ранжирования. Однако хорошо виден его эффект в "крайних" случаях, т.е. когда влияние остальных факторов крайне мало. Случай первый, примеры которого я приводил, начиная рассказывать о ссылочном ранжировании (случаи с сайтами Microsoft, Лукашенко, Союза Правых Сил). Тогда эти ресурсы появились на высоких позициях по определенным запросам в поиске за счёт нескольких текстовых ссылок с форумов, домашних страничек или гостевых книг. В данном случае подобного текста не было на страницах, влияние внутренние динамические факторы не могли оказать, т.е. Tа(x) = 0\; ранг ссылающихся страниц с релевантным запросу текстами ссылок был близок к нулю, т.е. значение Lа(x) довольно мало\; однако, за счет довольно высокого собственного ранга документа, на которую ведёт ссылка, а, следовательно, довольно высокого значения функции F(PRa), получившееся в итоге значение Rа(x) было достаточно для того, чтобы данный документ был лидером выдачи. Соответственно, несколько ссылок с искомым текстом, ведущие на страницу с большим собственным рангом, могут дать очень существенный эффект. Для борьбы с подобным эффектом поисковые машины вводят ограничение на функцию f(PRi): f(PRi) = 0, если PRi http://yaca.yandex.ru) Сразу хочу заметить, что влияние каталога на результаты поиска Яндекса очень велико, что делает попадание на первые страницы по наиболее конкурентным запросам практически невозможным, если в каталожном описании документа нет точного вхождения поисковой фразы. В Яндекс-Каталоге ресурсы описываются достаточно большим количеством характеристик: • название ресурса\; • его описание\; • тема, т.е. основная категория каталога, в которой он находится\; • регион\; • сектор экономики\; • степень достоверности (источник) информации\; • потенциальная аудитория (адресат информации)\; • жанр (художественная литература, научно-техническая литература)\; • цель ресурса (предложение товаров и услуг, интернет-представительство). Большинство этих характеристик служат лишь для организации навигации в каталоге. Каталог имеет фасетную структуру, т.е. описание сайта может располагаться одновременно в нескольких местах - прежде всего в своей категории, а также в уточняющих подкатегориях (регион, сектор экономики, степень достоверности информации, адресат информации, жанр и цель ресурса). На результаты же поиска влияние оказывают только название ресурса и его описание. Действуют они по схеме ссылочного ранжирования, только в качестве ранга (в данном случае - ВИЦ) ссылающейся страницы используется установленный для каталога коэффициент. Вполне возможно, что этот коэффициент может зависеть от рубрики каталога, от положения сайта в своей рубрике, или даже вручную выставляться документу модератором каталога. При расчете ВИЦ документа, судя по всему, факт наличия его в каталоге, не учитывается. Особое внимание я хочу обратить на тот факт, что хотя описание ресурса в каталоге Яндекса ссылкой не является, учитывается оно именно как ссылка при ссылочном ранжировании. Правда, гораздо меньше, чем ссылка-название: видимо, для описания существует некий понижающий коэффициент. В случае, если слова из поисковой фразы отсутствуют в тексте документа, но присутствует в названии или описании его в Яндекс-каталоге, в выдаче по этому запросу приводятся каталожное название и описание документа. Существуют два варианта регистрации в каталоге (http://www.yandex.ru/advertising/catalog.html): бесплатная и платная "ускоренная", стоимость которой составляет $149 для коммерческих и $49 для некоммерческих сайтов (без учета НДС). При ускоренной регистрации ваш сайт может быть внесён в каталог в течение 3-х дней, при бесплатной - может, никогда и не будет. Модераторы каталога самостоятельно отбирают ресурсы, и даже если заявка не подавалась, ресурс может оказаться в каталоге. Как утверждают представители Яндекса, ресурсы отбираются по принципу интересности и уникальности информации, а также по цитируемости другими сайтами. В случае бесплатного добавления данные из формы бесплатной заявки являются не более чем рекомендацией модераторам. В случае, если описание вашего ресурса, сделанное модераторами каталога, вас по каким-либо причинам не устраивает, то вы можете подать заявку на изменение описание. Эта услуга платная и стоит $40 для любого ресурса. Этот способ можно использовать для того, чтобы добиться появления в заголовке или описании нужных вам ключевых фраз, а следовательно, улучшить ранжирование ресурса в основном поиске по этим фразам. Однако пользоваться этой возможностью надо весьма осторожно, и при этом надо суметь аргументированно убедить модераторов каталога в том, что эти изменения действительно необходимы. Апорт-Каталог Во многом схож с каталогом Яндекса, но, пожалуй, в несколько меньшей степени оказывает влияние на результаты поиска. Действие каталожного листинга также происходит по схеме ссылочного ранжирования, однако помимо названия и описания, учитывается и список ключевых слов, задающийся при регистрации, но не отображаемый в каталоге. Ресурсы могут заноситься одновременно в несколько категорий каталога, при условии соответствия их содержанию. Ещё одной особенностью можно назвать тот факт, что в результатах поиска Апорта для главных страниц сайтов, присутствующих в каталоге, всегда выводится название и описание ресурса именно из каталога. Регистрационные данные для каталога подаются одновременно с регистрацией в поисковой системе (http://catalog.aport.ru/rus/reg/add.ple). При включении ресурса в каталог на указанный при регистрации почтовый адрес высылается уведомление. Rambler Top100 (http://top100.rambler.ru) Из всех собственных ресурсов поисковых систем, рассматриваемых нами, в рейтинг Top100 изначально попасть легче всего - регистрируетесь, размещаете код счётчика на странице - и вот вы в рейтинге. Правда, если регистрируется первый счётчик для данного домена, вполне возможно, что придётся пройти модераторскую проверку. Сам по себе рейтинг может дать неплохой трафик, но только при условии, что у страницы, для которой зарегистрирован счётчик, достаточно высокая посещаемость, позволяющая занять высокие места на первой странице популярной рубрики рейтинга. Ещё немного посетителей можно получить с поиска по самому Top100. Но нас интересует возможность попадания документа, зарегистрированного в Top100, в результаты поиска по основной базе. Это возможно благодаря так называемой "примеси". Примесь - это несколько позиций в результатах поиска Рамблера по определенному запросу, ссылки для которых выбираются из заголовков и описаний ресурса, данных при регистрации в рейтинге Rambler Top100, релевантных этому запросу (т.е. содержащих слова из запроса). Сайты из примеси в результатах поиска можно отличить по свежей дате индексации (чаще всего это текущая дата) и отсутствию ссылки "Восстановить текст". Причем, один и тот же документ может присутствовать в выдаче дважды, если текст самого документа релевантен запросу и если его заголовок или описание в Top100 релевантно запросу, и этот документ, благодаря этому, попал в примесь, и оба этих результата никак не связаны между собой. В работе с примесью есть очень приятный момент - изменения в описании вступают в силу уже на следующий день. Если быть точнее, то не всегда на следующий (это можно определить по дате индексации), но в любом случае несоизмеримо быстрее, чем обычно при индексации. Вы меняете описание вечером, а уже после полуночи ваш сайт может оказаться в основной выдаче Рамблера. Одно время примесь играла исключительно важную роль в ранжировании результатов поиска Рамблера, так как ей было отведено до 5 первых мест в результатах поиска. Так как на попадание в примесь довольно сильное влияние оказывала посещаемость ресурса, то это привело к тому, что многие владельцы стали "накручивать" посещаемость своих сайтов, ведь это, зачастую, это был очень эффективный путь попасть в первую пятерку результатов поиска по нужному запросу. Однако, с июня 2003 года жесткое закрепление за примесью первых пяти позиций было снято и она "размазалась" по всей выдаче, причем таким образом, что встретить на первой странице результатов поиска по довольно конкурентным запросам документ из примеси теперь очень сложно. Поэтому позиционирование ресурса в Рамблере через примесь практически потеряло свое прежнее значение. Каталог Google (http://www.google.com/dirhp) Построен на основе каталога ODP - Open Directory Project (http://dmoz.org) Это крупнейший модерируемый каталог в интернете и практически единственный путь для попадания в каталог Google. ODP интересен ещё и тем, что редакторами в нём являются волонтёры, т.е. люди, для которых это занятие является хобби. При желании редакторами в этом каталоге можете стать и вы. Ресурсы в каталоге Google сортируются по PageRank и имеют название и описание, причём название является текстовой ссылкой. По сравнению с влиянием каталогов Яндекса и Апорта, влияние каталога Google можно назвать менее значительным. Влияет лишь заголовок ресурса, который собственно и является обычной текстовой ссылкой, и влияние это целиком укладывается в схему ссылочного ранжирования. Ещё одним небольшим аргументом за регистрацию в каталоге служит наличие в результатах поиска под ссылкой на ресурс ссылки на категорию каталога и части каталожного описания, что, может положительно повлиять на решение пользователя перейти по этой ссылке. Я не привожу ссылки на форму добавления в каталог, потому что ресурсы добавляются именно в том разделе, в котором им предстоит находиться. Найдите подходящую для вас категорию и перейдите по ссылке "Submit a Site" внизу документа. В заключение темы о факторах, влияющих на ранжирование документов в поисковых системах, хочется добавить, что на практике для достижения хороших результатов при позиционировании по низкоконкурентным запросам бывает достаточно влияния хотя бы одного из них, например, релевантного текста даже при невысоких показателях "авторитетности" страницы. По самым же конкурентным запросам может потребоваться "массированное" применение всего "арсенала" оптимизатора в течение большого временного отрезка, и не факт, что результат будет достигнут. Поэтому изначально при работе над проектом необходимо определиться с направлениями, т.е. запросами, которым будет отдано приоритетное значение.

Сколько стоит поисковая оптимизация сайтов?

Рассуждая на заданную тему, следует, наверное,
подумать и о том - какой ресурс можно считать хорошо оптимизированным? Рамблер,
Яндекс, РБК, Лента.Ру, Майл.Ру, Озон? Тогда следует вспомнить о том, что в
указанные проекты были вложены десятки (если не сотни) миллионов долларов.
Трудно сказать, сколько именно было вложено в каждый из них, но, например про
Рамблер, несколько лет тому назад проскакивала в сети информация что какие-то
инвесторы вложили в развитие этого проекта что-то около 30 млн. долл. Допустим,
что общие вложения в данный проект составили 50-70 млн. долл. - точность для
нас сейчас не важна. С Яндексом ситуация скорее всего почти аналогична, у
остальных видимо меньше - но порядки цифр те же. Будем считать (для простоты)
что зарождение этих проектов началось около 15 лет назад (в 1990 г.). А теперь
просто разделим:

60 млн. долл. / 15 лет / 12 мес. = 333 тыс. долл. в месяц.

Вот такими должны быть ежемесячные вложения в Ваш ресурс, чтобы он через 15 лет
стал также известен, как и Рамблер. Готовы платить такие деньги? Наверное нет
если название Вашей компании не Microsoft.

Ну а теперь с небес на землю. Как правило,
компании занимающиеся оптимизацией предлагают свои услуги по цене (в среднем)
от 500 до 1000 долларов в месяц. Много? Мало? Давайте считать. Пускай контракт
на оптимизацию подписанный Вами заключен на год по цене 1000 долл. в месяц.
Таким образом, общая стоимость работ составит 12'000 долларов в год. Оптимизация
(продвижение интернет ресурса методами повышения его релевантности для
поисковых систем) по сути дела процесс нацеленный на увеличение посещаемости
ресурса за счет привлечения целевых посетителей (потенциальных клиентов) и в
конечном счете - на увеличение объемов продаж с ресурса. При этом под продажами
можно понимать как увеличение количества показываемой рекламы, так и реальную
продажу товаров - не важно, важно, что нацелено все это на увеличение прибыли.
Т.е. продвижение сайта такими (да и любыми впрочем) методами это не что иное,
как реклама, такая же, как и реклама в журналах, на радио и т.д.

Давайте оценим, во сколько обойдется реклама
чего либо на радио. В среднем стоимость 30 секундного ролика на FM станциях
варьируется в пределах от 30 до 100 долларов (в среднем - 65). Для того чтобы о
Вас узнали (слушатели одной выбранной Вами радиостанции) нормальным объемом
является прокатка 5 роликов в день в течении трех недель, с повтором (ведь все
забывается) подобной рекламной кампании раз в квартал. Нетрудно подсчитать, что
в течение года на радиорекламу придется выложить 27'300 долларов. И это
притом, что если Вы выберете самую массовую по охвату аудитории радиостанцию
"Европа-Плюс", то в городе Санкт-Петербурге (NB: И ТОЛЬКО В НЕМ!), за
эти деньги о Вашей продукции узнает никак не больше чем 500'000. человек.

Теперь оценим рекламу в журналах. Рекламная
полоса в каком-нибудь из журналов федерального уровня, рассчитанных на
состоятельную аудиторию (например, Cosmopolitan и т.п.) обойдется в 2,5-3 тыс.
долларов, чтобы о Вашей продукции не забывали необходимо повторять ее с
частотой скажем раз в два месяца, таким образом, за год: 15'000 долларов. При
этом каждый журнал читает в среднем не один, а 2-3 человека, что при тираже
(берем Cosmopolitan) в 700 тыс. экз. дают нам аудиторию в 1'750'000 человек.

Попробуем также посчитать стоимость наружной
рекламы. Возьмем стандартный рекламный шит размером 3х6 метров. Стоимость одной
стороны в Санкт-Петербурге в среднем 500 - 1000 долларов в месяц в зависимости
от месторасположения. Для эффективной рекламной кампании в том же Питере,
необходимо "повесить" хотя бы 30 сторон, лучше конечно 50 - в этом
случае реклама будет "видна". "Вешатся" надо на месяц и раз
в квартал повторять кампанию (иначе забудут). Следовательно для 50 сторон
годовые затраты составят: 150'000 долларов. Число рекламных контактов у
каждой стороны - пускай 2 млн. в месяц, т.е. на 50 сторон Вы получите более
миллиарда рекламных контактов в год. Неплохо да? Да! Вот только в городе
Санкт-Петербурге всего 5 млн. населения. Так что Ваша реклама все равно не
охватит большую аудиторию, просто она будет ОЧЕНЬ доходчиво доведена до
имеющейся. :-)

Сведем концы с концами:

Вид рекламы	Стоимость в год, долл.	Аудитория, чел.	География	Длительность работы	Эффективность
Оптимизация интернет ресурса	12'000	неограничена	неограничена	почти неограничена	аудитория явно заинтересованная в продукте/услуге
Радио	27'300	сотни тысяч	локальна	один год	целевая аудитория
Журнал	15'000	миллионы	очень широка	один год	целевая аудитория
Наружная реклама	150'000	миллионы	локальна	один год	не целевая аудитория

Компания IT Projects

Стоимость
полной интернет-поддержки зависит от объема задач, скорости обновления
сайта и может составлять $1000-3000 в месяц.

Компания "Ашманов и Партнеры"

Cтоимость
контракта на оптимизацию сайта начинается от 1000 у.е. в месяц.

Сколько времени занимает поисковая оптимизация сайтов?

Сколько необходимо затратить времени на оптимизацию интернет проекта? Как известно после добавления сайта в список индексации поисковой машины проходит некоторое количество времени пока у поискового робота "дойдут руки" до Вашего ресурса. Этот срок можно оценить приблизительно в 2-3 недели для российских поисковиков (Рамблер, Яндекс, Апорт и т.д.) и до 2-3 месяцев для поисковых роботов зарубежной формации, особенно если речь идет о таких занятых глобальных "киборгах" как Yahoo, Google, MSN… Такая "тормознутость" буржуев объясняется просто - у них работы больше! При этом эти сроки (будучи сами по себе ориентировочными) не гарантируют что робот, зайдя на сайт первый раз, проиндексирует сразу все содержащиеся там страницы. Например, для сайта в 300 страниц через три недели после добавления в поисковики Рамблером было проиндексировано 12 страниц, Яндексом - 2! Таким образом, для усредненного проекта в 20-50 страниц про полную индексацию можно говорить лишь к истечению второго месяца. И это для российских поисковых систем, а что тогда говорить про зарубежные поисковики?

Итак, первый вывод - нормальная полная индексация сайта поисковыми системами занимает в среднем 3 месяца.

Далее следует иметь в виду, что будь Вы даже гениальным оптимизатором, нет никакой гарантии, что Вам с первого раза удастся создать успешный набор страниц для каждого интересующего Вас поискового запроса. Которые с одной стороны, не являлись бы поисковым спамом, а с другой стороны все вышли бы на первые позиции в различных поисковых системах. Следовательно, необходимо быть готовым к тому, что после полного индексирования ресурса придется, оценив результаты проделанной работы, что-то подправить, что-то изменить и т.д. А после этого дождаться переиндексации. Повторная же индексация само собой будет проводиться поисковиками по "остаточному" принципу и, следовательно, займет значительно больше времени. Давая реалистичный прогноз можно предположить что это произойдет не ранее чем через полгода.

Вывод второй - доводка результатов первоначальной оптимизации занимает в среднем до 6 месяцев и даже более.

Наконец (а вернее "на начало") следует упомянуть о том, что собственно первоначальная подготовка сайта (анализ конкурентной среды, подбор ключевых слов, оптимизация текстов и пр.) также отнимает время, оценим еще в 1 месяц (хотя все зависит от размеров ресурса).

Вывод третий (который должен быть первым) - собственно процесс оптимизации ресурса занимает около 1 месяца.

Итого суммируя полученные результаты, получаем что процесс оптимизации ресурса для поисковых систем (если конечно оптимизация строится на "белых" методах) занимает около 10 месяцев и то в основном для российских поисковых систем, а для западных даже такой срок может быть увеличен иногда в разы. Поэтому если Вам озвучивают, что процесс оптимизации Вашего ресурса займет не менее полугода - то можно быть уверенным что это очень даже оптимистичный прогноз.

Рейтинг основных поисковых систем.

Кто-то знает, а кто-то ищет! Занимаясь поисковой оптимизацией всегда интересно понимать насколько актуальны Ваши труды. Для этого необходимо знать какова популярность поисковых систем в интернете (search engine popularity). На какие поисковые системы люди ходят, а какие игнорируют. Данная статья об этом.
Рейтинг глобальных поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.google.com/ - 46.2%
http://www.yahoo.com/ - 22.5%
http://search.msn.com/ - 12.6%
http://www.aol.com/ - 5.4%
http://www.myway.com/ - 2.2%
http://www.ask.com/ - 1.6%
http://search.netscape.com/ - 1.6%

Прочие поисковые системы (7.9%)
http://home.iwon.com/
http://www.dogpile.com/
http://www.earthlink.com/
http://www.alltheweb.com/
http://www.hotbot.com/
http://www.teoma.com/
http://www.altavista.com/
http://www.gigablast.com/
http://www.looksmart.com/
http://www.lycos.com/
http://dmoz.org/
http://www.about.com/
http://www.britannica.com/
http://www.excite.com/
http://www.webwombat.com.au/
http://www.webcrawler.com/
http://www.pepesearch.com/
http://www.aeiwi.com/
http://www.links2go.com/
http://www.searchking.com/
http://www.qango.com/
Рейтинг российских поисковых систем (по данным SpyLog).

Основные поисковые системы
http://www.yandex.ru/ - 54.8267%
http://www.rambler.ru/ - 21.7645%
http://www.google.com/ - 15.6207%
http://www.mail.ru/ - 4.5466%
http://www.aport.ru/ - 1.5788%

Прочие поисковые системы (1,6627%)
http://www.msn.com/
http://www.yahoo.com/
http://www.metabot.ru/
http://www.altavista.com/
http://www.meta.ua/
http://www.alltheweb.com/
http://www.bigmir.net/
http://www.ask.com/
http://www.cnet.ru/find/
http://www.aol.com/
http://www.lupa.ru/
http://www.overture.com/
http://www.toursearch.ru/
Рейтинг французских поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.wanadoo.fr/ - 37.7%
http://www.msn.com/ - 33.9%
http://www.free.fr/ - 33.1%
http://www.google.com/ - 32.3%
http://www.yahoo.com/ - 23.4%
http://www.lycos-europe.com/ - 22.0%
http://www.tiscali.fr/ - 21.2%
http://www.voila.fr/ - 20.8%
http://www.club-internet.fr/ - 14.0%
http://www.aol.com/ - 12.2%
Рейтинг немецких поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.t-online.de/ - 34.2%
http://www.google.com/ - 34.1%
http://www.msn.com/ - 29.5%
http://web.de/ - 19.7%
http://www.yahoo.com/ - 15.0%
http://www.freenet.de/ - 13.8%
http://www.aol.com/ - 13.4%
http://www.lycos-europe.com/ - 11.3%
http://www.arcor.de/ - 6.3%
http://www.tiscali.de/ - 5.1%
Рейтинг итальянских поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.virgilio.it/ - 28.8%
http://www.msn.com/ - 28.3%
http://www.libero.it/ - 26.0%
http://www.google.com/ - 22.8%
http://www.yahoo.com/ - 17.1%
http://www.tiscali.it/ - 15.0%
http://it.supereva.com/ - 10.0%
http://www.lycos-europe.com/ - 8.7%
http://www.kataweb.it/ - 6.5%
http://www.lycos.com/ - 4.2%
Рейтинг нидерландских поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.msn.com/ - 42.3%
http://www.startpagina.nl/ - 29.3%
http://www.google.com/ - 27.3%
http://www.planet.nl/ - 15.1%
http://www.ilse.nl/ - 14.5%
http://www.yahoo.com/ - 13.7%
http://www.wanadoo.nl/ - 12.4%
http://www.hetnet.nl/ - 11.5%
http://www.lycos-europe.com/ - 11.4%
http://www.tiscali.nl/ - 9.0%
Рейтинг испанских поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.msn.com/ - 35.6%
http://www.google.com/ - 30.2%
http://www.terra.es/ - 20.7%
http://www.yahoo.com/ - 20.5%
http://www.wanadoo.es/ - 17.9%
http://www.ya.com/ - 13.5%
http://www.lycos-europe.com/ - 10.6%
http://www.eresmas.com/ - 10.5%
http://www.hispavista.com/ - 6.3%
Рейтинг шведских поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.msn.com/ - 42.7%
http://www.google.com/ - 16.0%
http://www.passagen.se/ - 15.5%
http://www.spray.se/ - 14.5%
http://www.eniro.se/ - 21.1%
http://www.yahoo.com/ - 12.8%
http://www.lunarstorm.se/ - 12.3%
http://se.altavista.com/ - 10.0%
http://www.startsidan.telia.se/ - 7.5%
Рейтинг швейцарских поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.msn.com/ - 33.6%
http://www.google.com/ - 32.0%
http://www.bluewin.ch/ - 28.2%
http://www.yahoo.com/ - 14.8%
http://www.search.ch - 11.9%
http://www.lycos-europe.com/ - 7.3%
http://www.tiscali.ch/ - 6.7%
http://www.free.fr/ - 4.2%
http://www.t-online.ch/ - 4.1%
http://ch.altavista.com/ - 3.3%
Рейтинг английских поисковых систем (по данным Nielsen NetRatings).

Основные поисковые системы
http://www.msn.com/ - 41.9%
http://www.google.com/ - 32.3%
http://www.yahoo.com/ - 26.0%
http://www.ifind.freeserve.com/ - 17.0%
http://www.ask.com/ - 13.8%
http://www.aol.com/ - 12.6%
http://www.friendsreunited.co.uk/ - 8.9%
http://www.lycos.com/ - 8.0%
http://www.tiscali.co.uk/ - 7.0%
http://www.lycos-europe.com/ - 6.4%

Продвижение сайта в поисковых системах, поисковая оптимизация сайта

Продвижение сайта в поисковых системах – трудоемкий творческий процесс. Продвижение сайта в поисковых системах возможно при исключительно грамотном подходе к планированию и поэтапному выполнению различных его составляющих.

Оптимизация сайта – важнейшая и неотъемлемая часть процесса продвижения сайта, целью выполнения работ по оптимизации сайта является правильная подготовка сайта к его продвижению. Оптимизация сайта, в свою очередь, состоит из технической части и литературной части (seo копирайтинг). Техническая часть работ по оптимизации сайта включает в себя технический аудит сайта, редактирование главной а также отдельных страниц сайта (заголовков страниц TITLE , H1, H2, МЕТА тегов), создание дополнительных страниц под отдельные запросы на сайте, организация правильной внутренней ссылочной структуры сайта. Литературная часть (seo копирайтинг) – создание оригинальных оптимизированных статей, грамотно преподносящих информацию пользователю и поисковым системам.

Продвижение сайта – следующий после оптимизации сайта этап работ. Целью продвижения сайта является достижение высокого рейтинга в поисковых системах по определенному набору поисковых запросов. Для продвижения оптимизированного сайта используется метод постепенного наращивания внешних тематических ссылок - размещение односторонних ссылок на главных и второстепенных страницах других интернет ресурсов, регистрация сайта в каталогах, размещение деловых новостей на новостных порталах. В редких случаях, при недостатке собственных ресурсов, мы приобретаем ссылки на коммерческой основе. Продвижение сайта – самая сложная часть работ и длится для сайтов различных тематик от 1 до 4 месяцев.

По завершении этапа продвижения сайта начинается процесс поддержки результатов продвижения сайта. Нельзя сказать, что поддержка результатов продвижения сайта – самая сложная работа, однако и простой ее назвать нельзя. Когда сайт уже продвинут, комплекс работ по поддержке результатов продвижения сайта проводить необходимо, если работы проводиться не будут, сайт в силу разнообразных причин может потерять часть позиций в рейтинге и количество посетителей, приходящих с поисковых систем, может уменьшиться.

Оптимизация сайтов - насколько это эффективно?

Часто приходится отвечать на письма с вопросами в духе: "Пришлите нам коммерческое предложение на оптимизацию сайта http://…", "Оптимизируйте наш сайт так, чтобы он был в первой десятке по запросу "…" в Яндексе, Рамблере, Гугле…", "Сколько стоят ваши услуги по оптимизации сайта?".

Поскольку эти вопросы про "оптимизацию" часто повторяются, давайте попробуем разобраться, что же такое оптимизация сайтов вообще и что эта самая оптимизация может дать с точки зрения потребностей каждого конкретного владельца сайта.

Зададимся вопросом - зачем нам это надо? Разве мы будем размещать рекламный модуль в глянцевом журнале, только ради того чтобы он просто был? Разве мы будем делать рекламу, не важно чего, только ради самой рекламы? - Нет! Если мы платим деньги за рекламу то мы прежде всего пытаемся рассчитать какой экономический эффект она нам принесет. Т.е. платить за рекламу 10 руб. имеет смысл только в том случае, если в результате этой рекламной компании мы заработаем 100 руб. или хотя бы 50, но никак не те же самые 10 или вообще 5! Иначе это будет глупая "работа ради работы", а то и еще хуже.

Так почему же отношение большинства людей к оптимизации сайтов такое неразумное? Я еще могу понять потребность крупного информационного портала или интернет-магазина, нацеленного на широкий географический охват аудитории, оптимизировать свои страницы, дабы на него просто стало заходить больше пользователей. Но когда речь идет о фирме X из города N, продающей, например, женское белье, - я категорически не понимаю, зачем им быть первыми в выдаче Яндекса по запросу "женское белье". Так, например, если набрать "женское белье" в Яндексе то первой ссылкой будут магазины женского белья расположенные в Донецке!!! (Эх, не добрались еще до этой темы оптимизаторы…) Так вот мне интересно - учитывая такую "оптимизированность" у этих магазинов увеличивается число покупателей скажем из Москвы? Или нет? Зато если в том же Яндексе поставить галочку "поиск в регионе: …" то ситуация очень сильно изменяется. И практически, ИМХО, именно на это и надо направлять усилия по оптимизации сайта.

Вывод первый:
В большинстве случаев оптимизация сайта под поисковые системы должна учитывать специфические условия функционирования Вашего бизнеса.

Попробуем рассчитать эффективность оптимизации. Предположим что, несмотря на вышесказанное, мы оптимизируем сайт магазина "Рога и Копыта" на запрос "женское белье" под поисковые системы Яндекс, Рамблер, Гугл. Предположим также что магазин (магазины) белья, которые рекламирует сайт, находятся в Санкт-Петербурге (второй после Москвы город по количеству пользователей интернет).

Не будем усложнять расчеты, подсчитаем "грубо".

Воспользуемся сервисом Keywords Search, общее количество связанных с нашим запросов в месяц составляет 1 104 179 по данным Яндекс.Директ. Учитывая, что нас не интересуют запросы типа "mexx сайт", "адреса магазинов дикая орхидея" или "ив роше москва"- это либо не наши магазины, либо эти запросы не устраивают нас территориально - откинем их. Останется 167 различных запросов, которые пользователи задают 650 тыс. раз в месяц. Не станем изучать запросы в остальных поисковых системах - обратимся к статистике (она наука упрямая). Отсюда: SE Ratings что Яндекс это 55% российского рынка поиска. Следовательно, общее количество запросов задаваемых пользователями в трех интересующих нас поисковых системах (92% рынка), будет составлять: 650 тыс. х 92 / 55 = 1 087 тыс.. Т.е. если мы оптимизируем сайт по всем 167 поисковым запросам и по каждому из них во всех трех поисковиках он будет "выдаваться" в первой десятке то траффик который мы получим на наш сайт будет составлять 1 млн. пользователей в месяц. На самом деле он будет ниже т.к. "связанные" запросы подразумевают, что их задают одни и те же пользователи, кроме того, запросы типа "body" могут относиться как к женскому белью, так и тегам HTML. Для того чтобы это учесть возьмем прагматичную поправку в 50%, т.е. наш сайт после тотальной и дорогостоящей оптимизации будет получать 500 тыс. заходов в месяц или 16,5 тыс. заходов в день. Что это дает? Думаете это дает 16 тыс. покупок ежедневно? Конечно нет!

Для того чтобы конвертировать этот траффик в деньги необходимо ввести следующие поправки:
учесть соотношение числа покупок к числу заходов на сайт, своеобразный actions-per-views (APV);
все таки учесть географический таргетинг, даже за таким товаром как черная икра специально никто не поедет в Астрахань, если нужна всего одна банка;
определить средний доход с каждой продажи, за вычетом накладных расходов на ее реализацию, назовем его profit-per-action (PPA).

Предположим, что APV сайта составляет 3%, если изучить глобальную статистику интернет (предоставляется многими крупными интернет счетчиками, например SpyLog), для простоты выложена здесь: Cities Stats, то мы выясним что число пользователей интернет в Санкт-Петербурге, составляет 11% от общего числа российских пользователей. Вводя эти коэффициенты получим: 16 тыс. х 5% х 11% = 53 покупки в день. Если мы хотим больше, то оптимизация сайта под поисковые системы уже не поможет (уже достигнут максимум возможного) - необходима оптимизация сайта под пользователей, т.е. увеличение того самого APV сайта, а это уже совсем другая "песня". Теперь можно подсчитать прибыли. Предположим что каждая покупка, за вычетом всех накладных расходов, дает нам прибыль в 15 руб (цифра взята "от фонаря", понятия не имею сколько зарабатывают на бюстгальтерах). Тогда доход нашего сайта после работ по оптимизации составит 53 х 15 = 795 руб в день., или 23 850 рублей в месяц или около 800 долларов в месяц. И это для города Санкт-Петербурга!!! Что же говорить об Урюпинске? Учитывая, что в данном случае (167 запросов, 3 поисковые системы) оптимизация будет стоить, вряд ли меньше, 1000 долларов в месяц - получается УБЫТОЧНЫЙ БИЗНЕС! Вот Вам и вся эффективность оптимизации на практике, конечно, если наши допущения APV=3% и PPA=15 руб. верны для данного случая.

Вывод второй:
Задумываясь об оптимизации сайта прежде всего определитесь с тем чего Вы на самом деле хотите достичь и сообразно ли достижение этих целей с затратами на оптимизацию.

Оптимизация сайта.

В большинстве случаев перед началом процесса продвижения сайта необходимо провести его оптимизацию. Оптимизированный сайт лучше воспринимается поисковыми системами и непосредственно посетителями сайта . Выделяется несколько основных этапов оптимизации :
Оптимизация стуктуры сайта. Высока вероятность того, что для продвижения сайта по определенным поисковым запросам потребуется создание дополнительных разделов на сайте, наполняемых впоследствии необходимой информацией
Оптимизация контента. Тщательный контентный анализ в большинстве случаев выявляет необходимость литературной переработки имеющихся текстов , или написания новых материалов

Задача продвинуть сайт!

В решении поставленной задачи по продвижению сайта в поисковых системах специалисты придерживаются структурного подхода и метода последовательных итераций. Выделятся три основных части :

1. Подготовительный период - поисковая оптимизация сайта
подготовка семантического ядра поисковых запросов
анализ поисковых запросов
технический аудит
анализ сайта на наличие проблем с поисковыми системами
необходимые изменения структуры, заголовков, МЕТА тегов
написание оптимизированных текстов под поисковые запросы
оптимизация отдельных страниц сайта под поисковые запросы
наполнение оптимизированных страниц текстом
оптимизация внутренней ссылочной структуры сайта

2. Продвижение сайта в поисковых системах - выполнение задачи по продвижению сайта по ключевым словам в установленный срок (2-4 месяца в зависимости от сложности задачи).
размещение односторонних текстовых ссылок на тематических сайтах для повышения популярности, тематический обмен текстовыми ссылками, размещение текстовых ссылок в новостях
анализ текущего положения сайта
анализ конкурентного окружения
мониторинг ситуации, создание отчетов

3. Поддержка и улучшение результатов поискового продвижения
поддержка достигнутых результатов
мониторинг конкурентного окружения
генерация еженедельных отчетов
принятие мер по улучшению результатов в случае необходимости

Смогут ли пауки проиндексировать ваш web-сайт?

By Christine Churchill
http://www.keyrelevance.com

Основа вашей уверенности в том, что сайт появится в индексной базе поисковой системы, это "успешный" программный код. В конце концов, если робот не может проиндексировать ваших страниц, тогда поисковик не может включить его в свою поисковую базу.

К сожалению, множество web-сайтов используют технологии или архитектуру, делающие их враждебными по отношению к паукам (crawler) поисковой системы. Робот поисковика в действительности, всего лишь автоматический web-броузер, который должен интерпретировать HTML код вашей страницы, так же, как и обычный броузер.

Но поисковые роботы удивительные тугодумы. Большинство продвинутых поисковиков, как полагают многие, достигли развития близкого к версии 2.0 web-броузера. Это означает, что паук не может понимать множество web-технологий и не может читать некоторые страницы. Это особенно наносит вред, если именно эти части включают некоторые, или же все ссылки на вашей странице. Если паук не может прочесть ваши ссылки - он не может пройтись по всем страницам проекта.

Будучи консультантом по маркетингу поисковых систем, меня часто просили оценить новые сайты вскоре после их запуска. Оптимизацией под поисковые системы часто пренебрегают во время процесса разработки. В это время дизайнеры сфокусированы на навигации, удобстве и брэнду. В результате, множество сайтов запускаются с уже встроенными проблемами. А исправить эти проблемы гораздо труднее, чем не сделать их на стадии проектирования.

И лишь тогда, когда сайт не появляется в списках поисковика, многие компании обращаются к SEO.

В этом им стыдно признаться, поскольку для малого бизнеса поисковые машины едва ли не самый важный источник трафика. Почти 85% пользователей интернета ищут сайты через поисковики. Ценность web-сайта, не дружественного поисковикам значительно падает.

В этой статье я дам обзор некоторых ключевых моментов, которые могут препятствовать роботу поисковика индексировать ваше детище. Данный список ни в коем случае не является исчерпывающим, но он может выделить наиболее общие моменты, которые будут удерживать пауков от индексирования вашего сайта.
Ссылки, написанные на JavaScript

JavaScript - прекрасная технология, но невидимая для всех поисковых машин. Если для контроля навигации вашего сайта вы используете JavaScript, у пауков могут быть серьезные проблемы с индексированием скриптов.

Похоже, что ссылки, написанные на JavaScript, игнорируются поисковыми роботами. И это верно.

Например, представьте, что у вас есть следующий скрипт, который перенаправляет пользователя на определенную страницу вашего сайта:

Данный скрипт использует функцию goToPage() для добавления кода направления в конец URLа, прежде чем отослать посетителей на страницу.

Я видел сайты, где каждая ссылка на странице была написана на JavaScript подобным образом. В некоторых случаях JavaScript используется для включения кода направления, в других - для перенаправления пользователей на другие адреса, расположенне на странице. Но во всех случаях первая страница сайта была единственной, которая находилась в индексной базе поисковой системы.

Ни один из пауков не индексирует ссылочный механизм на JavaScript. Даже если бы паук мог интерпретировать данный скрипт, все равно для него трудно интерпретировать всевозможные нажатия мышки, которые запускают функцию goToPage() с различным кодом направления.

Пауки или будут игнорировать содержание SCRIPT-tag, или читать содержание скрипта, как будто это видимый текст.

Как правило, лучше всего избегать навигации при помощи JavaScript.
Меню на DHTML

Выпадающие меню DHTML исключительно популярны при построении навигационной структуры сайта. К сожалению, они также враждебны паукам поисковика, поскольку опять же имеют проблемы с поиском ссылок на JavaScript, используемом при их создании.

Меню DHTML имеют дополнительную проблему в том, что их код часто расположен во внешних файлах JavaScript. Хотя и существуют весомые причины разместить скрипт во внешнем файле, некоторые пауки не поддерживают этот механизм построения ссылочной структуры.

Если вы используете меню DHTML на вашем сайте и хотите убедиться, какой эффект они оказывают на поисковые системы, попробуйте, выключить JavaScript в броузере - выпадающая часть вашего меню исчезнет и есть вероятность того, что с ней пропадет и верхнее меню. Хлоп! И моментально большинство страниц вашего сайта стали недоступны. То же самое происходит и у поисковых машин.
Строки адресов

Если у вас динамический сайт, который использует такие технологии, как ASP, PHP, Cold Fusion, или JSP, существует большая вероятность того, что ваши URLы включают строку запроса следующего вида:
www.mysite.com/catalog.asp?item=320&category=23

Это может послужить проблемой, поскольку многие пауки поисковых машин не индексируют подобные ссылки, включающие в себя строки запроса. Это верно даже в том случае, если страница, на которую указывает ссылка не содержит ничего, кроме стандартного HTML. URL, сам по себе, является барьером для паука.

Почему? Большинство поисковиков имеют сознательное разработанное решение не индексировать ссылки со строками запроса, поскольку им требуется дополнительная запись для их интерпретации. Пауки содержат список всех проиндексированных страниц и стараются избегать повторного индексирования страницы при уникальном посещении сайта. Они делают это, сравнивая все новые URLы со списком тех, что они уже видели.

Теперь, предположим, что паук видит URL, подобный этому на вашем сайте:
www.mysite.com/catalog.asp?category=23&item=320

Этот URL ведет к той же самой странице, как и наш первый URL, даже не смотря на то, что URLы не идентичны (Заметьте, что пары имя/ценность в строке запроса стоят в разном порядке).

Для определения, что этот URL ведет к той же самой странице, паук должен разделить строку запроса и сохранить каждую пару имя/ценность. Затем, всякий раз, когда он видит URL с той же самой траницей-родителем, ему потребуется сравнить ее пары имя/ценность со строками запроса всех предыдущих, имеющимися в файле.

Имейте в виду, что наш пример запроса весьма небольшой, строка запроса может быть гораздо больше. Я видела строки запроса, состоявшие из 200 символов и относящиеся к дюжине различных пар имя/ценность.

Итак, индексирование страниц по строкам запроса означает большую неоправданную работу для робота.

Некоторые роботы, например Googlebot, будут работать с URLами, которые имеют ограниченное количество пар имя/ценность в адресе запроса. Другие пауки будут игнорировать все URLы, содержащие строки запроса.
Flash-технология

Flash это здорово, гораздо лучше, чем HTML. Это динамическое и острое преимущество. К сожалению, пауки используют технологию преследования преимуществ. Помните: грубо говоря, паук поисковика эквивалентен версии 2.0 web-броузера. Пауки попросту не в состоянии интерпретировать новейшие технологии, такие, как Flash.

Итак, даже несмотря на то, что анимация Flash может потрясти ваших посетителей, она невидима поисковикам. Если вы используете Flash, чтобы немного приукрасить ваш сайт, но большинство ваших страниц написаны на стандартном HTML, это не станет проблемой. Но если вы создали весь сайт, используя Flash, у вас будут серьезные затруднения с его индексированием.
Фреймы

Разве я не упоминала, что пауки поисковых машин используют слабую технологию? Именно так, они на столько низко технологичны, что также не поддерживают фреймы. Если вы используете фреймы, поисковик сможет пройтись по вашей заглавной странице, содержащей FRAME-теги. Но не сможет отыскать индивидуальные FRAME-теги, которые могут составлять остальную часть вашего сайта.

В этом случае вы сможете, по крайней мере, поработать над проблемой, включая NOFRAMES на первой странице вашего сайта. Этот раздел вашей страницы будет невидим кому-либо, использующему броузер, поддерживающий фреймы. С другой стороны, это не мешает вам в разделе NOFRAMES разместить содержимое, которое смогут занести в свою индексную базу поисковые системы.

Если вы включаете раздел NOFRAMES, позаботьтесь вложить туда настоящее содержимое. Как минимум, вы должны разместить стандартные гипертекстовые ссылки (A HREF), указывающие на ваши индивидуальные Frame-страницы.

Удивительно, но достаточно часто люди включают раздел NOFRAMES, который, казалось бы говорит: «Данный сайт использует Frame-технологию. Пожалуйста, усовершенствуйте ваш броузер». Если желаете поэкспериментировать, сделайте запрос в Google по фразе "requires frames." Вы найдете около 160 000 страниц, все из которых включают текст "this site requires frames."(этот сайт использует Frame-технологию) Каждый из этих сайтов имеет ограниченную видимость поисковиком.
С www или без www?

Адрес моего web-сайта www.keyrelevance.com, но могут ли люди зайти на его, если они отбрасывают «WWW.» в адресной строке? Для большинства серверных конфигураций ответ - «да», но некоторые говорят «нет». Убедитесь, что ваш сайт работает как с www, так и без www.

Данная работа рассматривает некоторые из наиболее обычных причин, которые могут послужить причиной не индексации сайта. Другие факторы, такие как способ создания иерархии web-страниц, так же повлияют на то, сколько страниц вашего сайта попадет в индексную базу поисковой системы.

Каждая из этих проблем имеет решение, и в будущих статьях я коснусь каждой, чтобы помочь вам получить больше проиндексированных страниц.

Если в данный момент вы переделываете ваш сайт, я хочу подбодрить вас, чтобы вы приняли во внимание эти заметки, прежде чем вдохнете жизнь в сайт. Хотя каждый из этих поисковых барьеров может быть устранен, лучше начать с разработки, дружественной поисковой системе, чем чинить сотни страниц после запуска проекта.

21 совет Мэта Катса по оптимизации сайтов

Перевод оригинальной статьи выполнен Dmitry Golopolosov Блог Димка

Мэт Катс (Matt Cutts) - один из ведущих программистов Google. В прошлом был инженером NASA, считается одним из основных разработчиков поискового движка Google. Ведет собственный блог для всех интересующихся спецификой поисковой системы Google. Здесь собраны его высказывания относительно оптимизации сайтов для поисковой системы Google, сделанные в разное время.

1. http://www.mattcutts.com/blog/dashes-vs-underscores/
Мэт рекомендует использовать тире вместо подчеркивания для разделения слов в адресах страниц. 2005.

2. http://www.mattcutts.com/blog/seo-mistakes-sneaky-javascript/
Google убивает каждый отдельно взятый спам сайт как только находит его, но постоянно работает над алгоритмизацией этого процесса. Мэт рекомендует не использовать подозрительных JavaScript редиректов, потому что они могут попасть под пристальное внимание в ближайшее время. 2005.

3. http://www.mattcutts.com/blog/whats-an-update/
Google постоянно обновляет свои индексы - в том числе и беклинки и PageRank. Однако публикуют они новые беклинки и ПР примерно раз в 3 месяца. Поэтому новые беклинки и ПР ни о чем не говорят - их появление никак не связано с апдейтом. 2005.

4. http://www.mattcutts.com/blog/seo-mistakes-nearly-hidden-text/
Скрытый текст: делать цвет текста чуть отличным от цвета фона еще хуже, чем писать “белым по белому”. Использование “#EEEEEE” вместо просто белого на абсолютно белом фоне хуже, чем просто белый текст на белом фоне - очевидно же, что вы хотите что-то спрятать. 2005.

5. http://www.mattcutts.com/blog/q-a-thread-march-27-2006/
Если вы продаете ссылки, то Мэт рекомендует использовать “презервативы для ссылок”. Иначе репутация вашего сайта может сильно пострадать. Видимо, имеется в виду то, что исходящие ссылки перестанут учитываться (ака непот фильтр). 2006.

6. http://www.mattcutts.com/blog/guest-post-vanessa-fox-on-organic-site-review-session/
Googlebot может обходить только общедоступные страницы, для доступа к которым не нужно логиниться. Поэтому не забывайте выкладывать в свободный доступ необходимые страницы. Ванесса Фокс. 2006.

7. http://www.mattcutts.com/blog/guest-post-vanessa-fox-on-organic-site-review-session/
Если вам необходимо использовать флеш на сайте, то не забудьте сделать HTML версию. А флеш версию закройте от роботов через robots.txt. Ванесса Фокс. 2006.

8. http://www.mattcutts.com/blog/guest-post-vanessa-fox-on-organic-site-review-session/
Используйте понятные все урлы типа “african-elephants.html”, а не бредни в стиле “343432ffsdfsdfdfasffgddddd.html”. Но не переусердствуйте — african-elephants-and-their-habitats-etc-etc-etc-etc.html. Ванесса Фокс. 2006.

9. http://www.mattcutts.com/blog/guest-post-vanessa-fox-on-organic-site-review-session/
Задайте для каждой страницы уникальные, описывающие содержимое страницы заголовки и теги TITLE. Ванесса Фокс. 2006.

10. http://www.mattcutts.com/blog/guest-post-vanessa-fox-on-organic-site-review-session/
Количество редиректов при клике на урл сведите к минимуму. Ванесса Фокс. 2006.

11. http://www.mattcutts.com/blog/guest-post-vanessa-fox-on-organic-site-review-session/
Количество параметров в урле сделайте минимальным - в идеале 1-2 параметра, если это возможно. Ванесса Фокс. 2006.

12. http://www.mattcutts.com/blog/guest-post-vanessa-fox-on-organic-site-review-session/
Не используйте в урлах параметр “id=” для чего бы то ни было кроме идентификатора сессий. Иначе вы рискуете не попасть в индекс Гугла. Ванесса Фокс. 2006.

13. http://www.mattcutts.com/blog/text-links-and-pagerank/
Гугл не одобряет покупку ссылок с целью наращивание ПР и будет с этим бороться. 2006.

14. http://www.mattcutts.com/blog/google-analytics/
Черные оптимизаторы использует Google Analytics для своих сомнительных исследований, но обычных владельцев сайтов надо убеждать в пользе различных исследований сайта. 2006.

15. http://www.mattcutts.com/blog/text-link-follow-up/
Google борется с продажей и покупкой ссылок и Мэт отмечает, что они в этом преуспели - как алгоритмически, так и вручную. Сайты, продающие ссылки могут потерять доверие в поисковых системах. 2006.

16. http://www.mattcutts.com/blog/seo-mistakes-spam-in-other-languages/
В 2006 году Google уделяет особое внимание определению спама не только на английском языке, а на итальянском, испанском, китайском и других. 2006.

17. http://www.mattcutts.com/blog/seo-advice-discussing-302-redirects/
Используйте 302-й редирект для временного перенаправления пользователей и 301-й редирект для постоянного. В общем, если сайт переехал, то 301-й, если просто надо временно кидать на другие страницы, то 302-й. 2006.

18. http://www.mattcutts.com/blog/seo-advice-url-canonicalization/
Canonicalization (каноникализация?) - процесс выбора наиболее подходящего урла, обычно для отображения главной страницы, например, www.example.com или example.com или www.example.com/index.html. Потому как все эти урлы разные, то сервер может отдавать разный контент по каждому из них. Поэтому Google пытается выбрать лучший и отсечь остальные. Чтобы помочь Google используйте везде одинаковые урлы и ставьте 301-й редирект с неправильных на правильный. 2006.

19. http://www.mattcutts.com/blog/seo-advice-url-canonicalization/
Не стоит использовать “URL removal tool”, чтобы удалить урл domain.com, если вы волнуетесь о каноникализации и у вас в индексе два урла domain.com и www.domain.com. Так вы удалите весь сайт целиком! 2006.

20. http://www.mattcutts.com/blog/seo-advice-url-canonicalization/
Поисковые системы могут использовать механизм каноникализации для удаления ненужных слешей на конце урла, перевода верхнего регистра в нижний, удаления идентификаторов сессий на форумах и других подобных движках. 2006.

21. http://www.mattcutts.com/blog/sitemaps-interview/
404-я ошибка (документ удален, но может появиться) воспринимается как 410-я (удалена и никогда уже не появится). Большинство веб мастеров используют 404-ю именно как 410-ю. 2006.

Следование этим правилам вероятно улучшит ранжирование вашего сайта, если конечно вы верите Мэту Катсу. Однако мудрее будет следовать этим советам с известной долей скептицизма, поскольку Мэт не может не руководствоваться основными правилами Google и следовательно не может раскрыть полностью все его секреты помогая вам решать ваши проблемы.

Нначинаем танцевать!

Доброго Вам времени суток Начинаем публикации моего блога с преведственного сообщения всем Вам! Мой блог это ряд мыслей и предложений эксперементов и устоявшихся традиций по оптимизации... Читайте, подписывайтесь, будем дружить!