Фильтр АГС-17: и что же ты за зверь такой? Самая подробная история – от создания АГС-17 и до наших дней.

Немного истории

Осень 2009 года стала для вебмастеров-оптимизаторов проверкой созданных ими за предшествующие годы «шедевров», перенасытивших киберпространство неуникальным и неполезным контентом. В сентябре 2009 г. на просторах киберпространства появился диковинный зверь – фильтр АГС-17, разработанный инженерами популярного русского поискового сервиса Yandex. Появился он не в 2009 году, а несколько ранее – в уже далеко отстоящем от нас 2006 году. Поскольку этот период отличался относительной стабильностью экономического развития страны, группа инженеров Яндекса, занимавшаяся созданием перспективных проектов, начала разрабатывать достаточно новый алгоритм поисковой фильтрации.

Фильтр был создан за достаточно сжатые сроки, что вполне выполнимо для столь крупной веб-корпорации, каковой и поныне является названный нами «поисковик». Но данное средство сколь-либо значимо так и не заявило о себе на протяжении долгих трех лет. В это время дорабатывались и совершенствовались алгоритмы его работы.

Но за год до его внедрения в стране продажной нефти постепенно начал разрастаться невиданный экономический кризис – упали цены на нефть, а наша страна еще с далеких советских времен занималась уже не поставками зерна на мировые рынки, как когда-то империя Российская, но лишь усердно поставляла народные ресурсы то нашим кажущимся союзникам, а позже – и загнивающим, но еще очень даже мило пахнущим, «буржуинам». Естественно, что значительные массы населения, подзатянув пояса, поехали на заработки в крупные города. Но другие, куда более малочисленные массы, которые не хотели месить раствор у московских новостроек, надевать на себя одинаковые пиджаки секьюрити или торговать «горячими собаками» в небольших павильончиках возле столичных станций метро, активизировали поиски работы непосредственно в тех местностях, куда занесла их судьба или благороднейший порыв их родителей.

Настоящие вебмастера и отступники

Имя сем благороднейшим представителям человечества, которые нашли варианты зарабатывания денег, не покидая родных просторов, а всего лишь сутки напролет просиживавших за своими постоянно подключенными к сети компьютерами есть вебмастера. Если сейчас, с легкой руки виртуального сообщества, вебмастером принято называть простейшего спекулянта, например, перекупщика уникальных статей либо даже создателя и постоянного оптимизатора никому не нужного сайта, затерянного где-то на задворках киберпространства, то тогда было время настоящих вебмастеров, которые не ситуативно, из-за частных бедствий мирового кризиса, а целенаправленно создавали и оптимизировали все новые и новые электронные проекты, буквально на своих плечах поднимая RUнет. Но и мастера совершают ошибки.

Поддавшись общей неразберихе или собственной алчности, свойственной человечеству еще с далеких ветхозаветных времен, начали некоторые отступники из вебмастеров создавать все новые проекты непонятно о чем. Немного страничек с ворованным и неуникальным контентом и десятком рефссылок на каждой, немного картинок неприличных – вот вам и сайт «эпохи перемен». Но появилась в это время «сладкая» партнерская программа – создавать рекламные места для качественных и перспективных сайтов. Естественно, что в условиях, когда прежние методы поисковой оптимизации показали свою неэффективность, или недостаточность можно было задействовать и вариант, когда одни маленькие или средние «сайтики» и «сайтята» помогают «подняться» в поисковиках настоящим сайта и «сайтищам». Партнерка по «поднятию» одних сайтов за счет других была предельно проста: достаточно было создать будущую рекламную площадку, немного ее оптимизировать сео-копирайтингом, привлечь на нее немного платного трафика и дождаться индексации известными поисковиками, среди которых по старинке уважались «буржуинский» старичок Google да российский Яндекс. Платформы индексировались, ссылки активно продавались и покупались, передовые «белые и пушистые» сайты росли и продвигались на базе «черных и некрасивых». Естественно, что главная задача отступников заключалась в создании все новых и новых площадок для тех проектов, учредители которых не экономили на их раскрутке.

Естественно, что эти проекты появлялись каждый месяц и им требовались все новые и новые площадки для старта. Для их раскрутки сайта в сети появлялось великое множество электронных страничек, называемых говносайтами, или гс. Можно сказать, что немало действительно интересных киберпроектов начала 2000-х годов поднялось на «говноплатформах». Теперь это вполне успешные проекты, которые мало зависят от покупки внешних ссылок на себя. Но говноплатформы подняли в топ выдачи также и немало ресурсов, откровенно не приносящих никакой пользы среднестатистическому пользователю, на запросы которого, в основном, и ориентируется каждый мало-мальски перспективный поисковик.

Каждый перспективный сайт поднимался не на одном десятке или сотне говносайтов.

Естественно, что ГС не удалялись создателем даже через многие месяцы их существования – на них размещались другие ссылки, количество которых на каждой страничке при минимуме текстового и графического наполнения доходило до десятков. В итоге говносайты и сателлиты заняли прочное место в общем процессе работы поисковых систем: они выдавались по запросам заинтересованным пользователям, их ссылки на «все подряд» ресурсы стабильно котировались поисковиками. Некоторые, особо алчные «генераторы говносайтов», завешивали кроме покупных ссылок свои «детища» рекламными баннерами и рефссылками популярных партнерских программ.

Время «Ч»

К началу 2009 года киберпространство пополнилось новыми кадрами – от сокращенных работников градообразующих предприятий до сотрудников бизнес-сферы. Но те из них, кто хотел зарабатывать в Интернете довольно быстро нашли себя – кто-то создавал тексты на биржах контента, кто-то – «кликал» мышкой на рекламе жадноватых спонсоров. Только немногие стремительно освоили технологии создания сайтов и еще меньше – методы их продвижения, без которого просто невозможна монетизация любого киберпроекта будь то говносайт или сайт для людей (СДЛ). Среди проиндексированных ресурсов равным образом имелись и говносайты, и сателлиты, и дорвеи, и некоммерческие проекты, и СДЛ, и множество других ресурсов.

Вместе с тем, все большее число пользователей стало заявлять, что рунет превратился в «киберпомойку», что там приходится пролистывать множество страниц, выдаваемых по конкретному запросу, совершенно случайно получая, наконец, нужную информацию. Естественно, что в этих условиях авторитет поисковых систем стал постепенно снижаться, поскольку они просто не предприняли сразу действенных мер для защиты своих пользователей от гор текстово-графического мусора. Более того, согласно заданным алгоритмам поисковиками можно было манипулировать – это было наглядно доказано миллионами говносайтов, сателлитов и дорвеев.

Практически ни один вебмастер не может ответить на вопрос – почему именно в начале осени 2009 года Yandex запустил АГС-17. Но, как только «электронный мусор» Сети стал стремительно терять свои позиции в поисковых системах, как на форумах оптимизаторов началась довольно серьезная паника – мало кто понимал алгоритмы работы нового «антиговносайт»-фильтра. И уж тем более, мало кто успел превратить сотни своих ГС в СДЛ. В итоге крупнейший и популярный поисковик запустил свой фильтр в условиях, когда большинство владельцев ГС просто не планировало так стремительно потерять свои позиции. Естественно, что переполох среди оптимизаторов в сентябре продолжился и в следующем месяце. Ведь мало того, что из индекса было устранено немало говносайтов, но под санкции Яндекса попало немало и СДЛ. Для промежуточных от ГС к СДЛ сайтов настало такое же странное время, которое один вебмастер довольно метко назвал «предбанником» – когда сайт находился в индексе не полностью, а частично – одни страницы выдавались по поисковым запросам, а другие просто «выпали» из индекса. Паника нагнеталась полной неизвестностью – мало кто понимал – увидит ли он свое убогенькое «детище», которое простым фактом своего существования заработало своему создателю не одну бутылку пива с рыбкой, завтра в индексе уважаемого поисковика.

Но прошел всего месяц, как некоторые сайты, недавно исчезнувшие из списков, вновь появились в индексе. Словно крупнейший поисковик рунета сделал «генераторам говносайтов» небольшое предупреждение – не шалите, дамы и господа! Самые наблюдательные сразу отметили, что в индекс так и не вернулись классические ГС – с ворованным контентом, переполненные продажными и партнерскими ссылками, с повторяющимися полностью или частично страницами и т.д. очень многие сходились в том, что в «бане» так и остались сайты со ссылками их SAPE. Естественно, что это почти тут же привело к таким торопливым выводам, что это едва ли не борьба «Яши» с целым бизнесом по продаже ссылок, сменой алгоритмов оценки авторитетности киберпроектов и многим другим суждениям, которые практически сразу рассыпаются об несоответствующие им факты.

Естественно, что в потоке мнений зазвучали как откровенно негативные высказывания в адрес Яндекса, так и вполне осмысленные комментарии происходящего. Но все они та и остались все теми же слухами, которыми переполнен RUнет.

Так что же такое АГС-17?

Данный фильтр выступает своего рода чистильщиком контента, подлежащего к выдаче в Яндексе. Он работает вполне автономно, свободно обходя стандартные механизмы, заложенные в работу практически любой поисковой системы.

Внешне, при упрощенном описании, он представляет собой своего рода «буфер» между такими стандартными компонентами как Indexer и Search Engine Results. Судя по характеру своей работы, АГС-17 сочетает в себе функции, обычно выполняемые таким элементом как Crawler. При этом он не заменяет собой последнего. Он исследует ссылки, автоматически проставленные на страничках ресурса, оценивает их соответствие тематике ресурса, а также определяет – придавать ли им вес при ранжировании результатов поиска.

Фильтр АГС-17 работает строго в задаваемых ему рамках, хотя некоторые фантазеры из вебмастеров стремятся назвать его аналогом «искусственного интеллекта», самообучающейся программой, которая полностью автономна и постоянно расширяет круг своего цензорного надзора. Оставим эти утверждения на совести, видимо, чересчур увлекшихся научной фантастикой, выдумщиков. АГС не является аналогом Терминатора или Киборга из будущего – это не более, чем цензор, главная задача которого – запрещать к передаче в Search Engine Results запрещаемых им к выдаче страниц.

Много внимания в АГС уделяется страницам, предположительно созданным без участия человека, автоматическим путем. Более того, фильтр «выкашивает» странички, предположительно сгенерированные автоматически. Например, очевидцы сообщали, что почти одновременно из индекса пропали страницы, сгенерированные «Аккокомент», относящимся к Джумла-движкам. Однако фильтрация АГС только по сходным параметрам – это не признак того, что он исключает из поиска те страницы, которые он посчитает автоматически сгенерированными шаблонами. Если те же Sape-сайты АГС серьезно «подвинул», то далеко не все. Следовательно, оценка, производимая этим фильтром, осуществляется не по единственному, а по целой совокупности, комплексу факторов. Но об этом в следующем разделе:

Как избежать фильтрации сайта АГС-17?

Первейшее правило для того, чтобы не попасть в зону внимания АГС – это качественный и уникальный контент – текстовое, графическое и иное наполнение сайта. Именно качественные авторские тексты могут не только привести сайт к успешному прохождению через «антиговносайт»-фильтр, но и помочь ему привлечь внимание целевой аудитории.

Но для того, чтобы сайт постоянно находился в индексе и не испытывал проблем при очередной индексации, необходимо регулярно пополнять его не менее, чем на 10% новым качественным наполнением. Здесь же заметим, что поисковые системы уже учатся определять псевдоуникальные тексты, созданные программами-синонимайзерами, а также те тексты, которые получены ручным размножение из нескольких статей и не содержат существенных исправлений и редактирования.

Большой проблемой этого варианта можно считать тот факт, что роботы Яндекса могут отследить совпадения текстов, однако еще не могут достоверно определить первоисточник текста. Таким образом, если у вас украдут статью, то вы рискуете потерять в поиске ту страничку, на которой она была расположена. Но это только теоретическое предположение – пока АГС разберется в том, какую страничку запретить к выдаче, вы уже успеете изменить контент не один раз.

На самом сайте недопустимы повторы страниц и текстов. В случае, когда на вашем ресурсе есть несколько страниц с одним и тем же текстом, они однозначно будут запрещены к выдаче.

Важным моментом старого и нового текстового наполнения выступает его поисковая оптимизация. Для минимизации внимания к сайту ему нужны настоящие посетители – автоматическую накрутку показателей АГС сможет определить. Это уже говорит о необходимости включать в состав сайта сео-оптимизированные тексты, подбирать для них ключевые слова.

Вслед за качеством контента АГС начинает оценивать расположенные на страничке гиперссылки. Недопустимо чрезмерное количество ссылок с главной страницы на второстепенные. Также не приветствуется избыточная перелинковка страниц.

Но главное внимание уделяется не столько внутренним, сколько внешним гиперссылкам. Если АГС обнаружит, что текстовые и иные ссылки и баннеры ведут с добропорядочного сайта о цветоводстве на порносайт – то вероятность полного или частичного бана резко повышается. Зато безобидные ссылки на аналогичные ресурсы могут быть оценены фильтром вполне позитивно, как норма.

Любые ссылки, продажные или нет, должны быть проставлены вручную, а не автоматически. Это самый оптимальный вариант, позволяющий вебмастеру самостоятельно отслеживать любые добавления на сайт. Естественно, что количество внешних ссылок четко не лимитировано, но, в любом случае, не стоит проставлять в небольшом тексте десяток гиперссылок даже на тематически сходные ресурсы – хватит и трех-пяти. Остальные можно добавить уже в другой статье, предложив читателю перейти на нее по внутренней ссылке.

Источник: www.aventon.ru