Ну и тот момент, что прогоняя один сайт на 100 баксов в месяц, при том что он приносит 400- 500, ты понимаешь во что вкладываешь, но прогонять саттелиты по 30 бачей за нос- не очень радует, так как тратить месячный доход MFA на прогон нового друга- жалко.

В этой связи задумался некоторое время назад о покупке XRUMER’a, чья стоимость составляет 590$ на данный момент, но найти в инете можно и за 510$. Тем более что взять его можно напополам с товарищем, так как лицензия позволяет использовать две установки на разные машины (тут конечно полагаю, работает вариант с установкой в виртуалку, но все равно одновременно работать могут только две копии проги). Но с другой стороны тратить даже 260$ (хотя откровенно говоря и против всяких вариантов складчины) на приобретение данного продукта имеет смысл при большом количестве времени, так как неделя только убьется на ковыряние хрумака, на предмет выявления части его способностей. Опять же по заверениям мага- работать с домашнего канала получится не очень здорово, так что попадаешь еще на ежемесячную аренду дедика под это дело, что ломится еще в 100-150 грина, ну и ежемесячная абонентка в размере 10$.

В этой связи встала дилемма о том, что же стоит делать: покупать xRumer за $510 (который с сентября будет стоитть уже 690$) или же подобный продукт под названием ScrapeBox, который как я понимаю менее популярен среди русских прогонщиков, но тем не менее обеспечивает часть хрумаковского функционала, и при этом стоит в районе ста долларов. Так что я попытался понять чем они отличаются и какая разница получается в работе.
Собственно обнаружилось довольно быстро, что Scrapebox занимается только прогоном по блогам, в то время как по форумам гоняет Scrapeboard, так что сумма вложений для полноценных прогонов удваивается, но xRumer в отличии от этих двух также умеет гонять по доскам и каталогам, ну и помимо этого в Хрумер вставлена возможность распознавания капчи, за которую в варианте Scrapeboard надо платить отдельно, а это уже отдельный разговор, так как по прогонам получается такая картина, что если вы постите 200к линков, используя ScrapeBoard, то это обходится в $500, тогда как постинг 500к линковы, выставит прогонщика ScrapeBoard уже на $1100, ну и прогон по 1кк профилей обойдется в $2100, тогда как хрумак по прежнему будет стоить $510 + ($10 + $120)*количество месяцев. Естественно что не все форумы используют капчи, плюс к тому же у SB появилась распозновалка, но пока она не особо функциональна.

Надо также отметить тот факт, что скорость работы программа отличается, так как xRumer может обрабатывать до 1200 потоков одновременно, тогда как SB не поднимается выше 200, но благодаря этому с него можно работать из дома.

Помимо этого в функционале Scrapebox имеются тулзы и для так называемого белого сео, как то ручное комментирование блогов, проверка наличия ссылок (которую я тут обыскался одно время), отлов блогов по PR и вроде как еще кучу каких то фич. В добавок к этому полазив по форумам обнаружил что люди советуют пользоваться обоими продуктами для парсинга поисковиков, в процессе составления баз, так в совокупности они дают гораздо больший результат чем каждый по отдельности.

Так что видимо начать придется таки со Scrapebox и используя его для своих целей, попутно набить теньге на покупку Хрумака. Тем более что xRumer доводится до ума уже на протяжении 5 лет, тогда как SB новый продукт, и волне вероятно что через год-два, он будет обеспечивать много из того списка, чего пока не умеет.

UPD:  в процессе поиска надыбал нуленный Scrapebox 1.1416 который представлен виртуалкой в трех архивах по полтора гига, после запуска которой надо устанавливать на хостовой машине вебсервер, а также поднимать внутренний интерфейс, н акоторый рутить запросы. Последний раз с таким шаманством я сталкивался в начале 200х годов, когда таким же образом можно было обойти лицензии Checkpoint и пользовать ломанный (хотя я предпочитал бесплатную фрюху, если что). В итоге, в процессе скачивания второго диска, который лился с летитби, обнаружил блатную ссылочку с BlackHatWorld по которой можно было прикупить Scrapebox 1.15.18 всего за 57$, чем я и не преминул воспользоваться. Так что пока читаю мануал и жду активационного письма, чтобы начать тестить.

Кстати LinkChecker является бесплатной утилитой, которой я уже проверил все свои постовые, так что очень удобно.

После чего зашедшему на сайт пользователю суется исполняемый php или javascript который базируясь на уязвимости системы, инсталяет в систему некий злонамеренный код, который подтягивается зачастую с использованием внедренных элементов iframe, или же flash редирект, когда предлагается загрузить сторонний кодек для просмотра видеоролика (преимущественно порнографического содержания). Таким же образом эта атака происходит, когда злоумышленникам удается внедрить данный метод XSS-атаки и на “честные” сайты имеющие некоторые уязвимости безопасности, которые и эксплуатируются негодяйскими негодяями для внедрения злонамеренного кода на машину потенциальной жертвы. И не смотря на постоянную борьбу Google с подобными сайтами, следствием которой вы можете видеть красную заставку, предупреждающую вас о потенциальной угрозе, исходящей с данного сайта, популярность данного вида мошенничества неумолимо растет в и данный момент (по состоянию 2010 года) составляет порядка 17% от всех топовых поисковых запросов Goolge, то есть переходя по ссылкам из топа выдачи, в 17 случаях из 100 вы попадаете на специально сконфигурированный сайт, или же подвергшийся компрометации. И не малое значение здесь конечно играют компании, специализирующиеся на разработке и распространении подобных продуктов, в чьи партнерки с радостью и подключаются не сильно разборчивые в средствах заработка веб-мастера, ибо что продвигать педофильско-зоофильские партнерки, что клепать и подсовывать буржуйским лохам мальвары- все едино, тем более что заработки подобных веб-мастеров, именно на мальварных партнерках исчисляются десятками тысяч долларов.

Начал я с ними бодаться с конца декабря- у них было порядка 15 слов, которые сеошники никак не могли вывести в топ10, так что пришлось объясняться с клиентом что типо сменили сеошника и прочую муть. Взял я его с тиц 60, pr 2 и 5 словами которых не было даже в сотне, а остальные болтались в районе 20ки. Выкатал рекомендации по изменениям на сайте, сделал хитрованский прогон по каталогам, в результате которого сайт в конце декабря стал 70-3, дождался конца каникул и не спеша начал закупаться постовыми и ссылочками, тщательно проверяя и выискивая доноров. Поскольку времени не хватало, в связи со срочными проектами, то и закупался урывками, но сайт постепенно подтягивался к топу10.

Где то в середине февраля сайт резко просел на 10-15 позиций по всем словам в Яндексе. Стал ковыряться с ссылками, выкинул несколько которые вылетели как оказалось из Яндекса и зайдя на сайт обнаружил что крутые юридические перцы сделали редизайн, поудаляв все тайтлы ссылок, альты картинок, описалки и кеи на продвигаемой странице. К тому же убрали старый текст на сайте и повесили несколько предложений. В итоге пришлась долбасам кропать еще одну рекомендацию по SEO, чтобы они вернули все атрибуты, добавили кеев и текста и прочее. Довольно оперативно все сделали и через неделю сайт вернул свои позиции опять и продолжил рост до этих апдейтов, в которые сначала получил 80 тиц, а через неделю 100. Я обрадовался как все круто у нас происходит, тем более что все слова, кроме трех вошли в топ на всех поисковиках, а оставшиеся три зашли в топ30, так что к середине апреля я прогозировал дотянуть и их.

И тут буквально на той неделе, после очередного шторма Яндекса оказывается, что сайт дико просел в Яндексе и незначительно в Гугле. То есть в гугле что то вылетело в топ20, но большая часть осталась в топ10, а вот в Яндексе из топ100 вылетело порядка 10 слов, а оставшиеся пять ушли на 30-40 позиции. Я естественно выпал в осадок и убил день на анализ доноров и ссылок, но так и не понял в чем проблема. Не спал полночи и поутру решил проверить их сайт.

Ага.. На морде висел пост из 80 слов, причем три предложения (слов на 60) были откровенно с3.14женны с других сайтов аналогичной тематики, внизу здоровенный прайс, продублированный на все страницы сайта, из ключей на странице осталось всего 2-3. Я есессно выпадаю в полнейший ахтунг, пишу факинщитлеттер клиенту (причем в договоре четко указано, что все изменения должны у нас визироваться), после чего они снова просят нас составить рекомендации по сайту. Пишем с коллегой на пару, поскольку у меня уже к этому моменту сдают нервы- задаем необходимый текст, количество вхождений, изменения в написания текста и прочее.

Через день проверяем результат- и начинаем писать четвертую часть рекомендаций, ибо текст выставлен через жопу, так как один и тот же ключ идет один за одним в Н1, Н2 и просто текстом, вместо 3-4 вхождений на странице имеем до 20, причем зачастую один и тот же ключевик повторяется подряд несколько раз. Вообщем то что называется “картина маслом”.

Итог: три месяца работы коту под хвост, 4 никому не нужные рекомендации клиенту и надвигающаяся предъява клиента, а какого хера мы еще не в топе.
Админить все таки проще.

Но более интересно то, что при внимательном изучении сайтов, оказалось, что у одного каким то образом обнулился, присвоенный в последний апдейт, PR 1, то есть два дня назад значение было 1, а сейчас 0, и каким образом сие приключилось, совершенно не ясно. Чем дальше в лес, тем больше вопросов.

В этой связи уже начал пересматривать некоторые свои статьи, хотя конечно, если по мне, заморачиваться на яндекс стоит только в случае работы с биржами ссылок и статей, во всех остальных случаях можно поиметь больше нервотрепки, чем приятных эмоций.

Обновления ТиЦ

2009 год
26 января
12 февраля
27 марта
28 апреля
22 мая
10 июня
26 июня
31 августа
16 октября
30 октября
24 декабря

2010 год
28 января
19 февраля
03 марта
08 апреля

Обновление PR

2009 год
1 января
3 апреля
29 мая
24 июня
31 октября

2010 год
1 января
5 апреля

Собственно ситуация была простая: перенес данный сайт с субдомена odmin.sane4ka.ru на собственный новообретенный домен odminblog.ru, после чего из выдачи Яндекса, в течение нескольких дней, вылетели оба домена принадлежавших к старому домену: www.sane4ka.ru и zavalinka.sane4ka.ru

Я по началу решил, что это глюк системы, который я уже несколько раз замечал- когда утром сайт не представлен в выдаче, словно его нет, зато к вечеру он появляется в полном виде и прекрасно себя чувствует. С этими мыслями я и просуществовал две недели, проверяя каждый новый день, не появились ли мои друзья в выдаче. Нет – не появились. В это время я собственно понял, что начал терять оптимизаторов в сапе, но меня это собственно пугало не очень, но все равно несколько огорчало. В процессе ожидания я скормил несколько карт сайтов, прошерстил ошибки на сайтах. Самое интересно что инструментарий веб-мастера на яндексе показывал, что сайты у меня проиндексированы, хотя из основного сайта www.sane4ka.ru в индексе числилось всего 18 страниц.
С гуглем, кстати, все было прекрасно и оба сайта стабильно сидели на своих позициях в выдаче, да и новый почти сразу же скушался, хотя я боялся что могу получить пендаля, за вроде бы не уникальный контент.

По прошествии двух недель я воспользовался формой для веб-мастеринга и написал слезное письмо, описывающее проблему и завершавшееся такой же сленой просьбой помочь. Сапу, после долгих размышления, я убирать не стал.

В итоге после полутора недель ожидания, мне упало письмо от поддержки Яндекса, за подписью естественно Платона Щукина, смысл которого сводился к тому, что дескать извини мужик- херня вышла. Будем искать в чем причина.

Причину они видимо искали еще где то 5 дней.

И вот только что пришел финальный росчерк:

##########
Сейчас с Вашим сайтом все в порядке, в ближайшее время он должен начать
индексироваться и затем сможет появиться в поиске. Скорее всего, это
произойдет в течение двух недель.

Просим Вас высказать свое мнение о полученном ответе:

http://feedback.yandex.ru/appraisal.xml?session=XXXX

–
С уважением, Платон Щукин
Служба поддержки Яндекса
##########

Две недели конечно срок не малый опять же, но с другой стороны это лучше чем сообщение: извини, но на тебе глобальный бан. Теперь остается ждать две недели и следить как появится. За время отсутствия в индексе, основной домен потерял 10ку ТиЦев, на второй это никак не повлияло.

Что это дает? Во-первых, более быстрое и тщательное индексирование поисковыми роботами вашего сайта, в связи с предоставленными им картой сайта с заглавной страницы (эта функция стала доступна с версии 1.02 ); а во-вторых, этот плагин отличное подспорье саперу, то бишь человеку продающему ссылки со своего блога, поскольку данный плагин преобразует все имеющиеся посты, в страницы второго уровня, что естественно повышает их в цене, причем никак не противореча правилам sape и прочих бирж обмены ссылками. Также на блоге http://zacklife.ru  автор задал вопрос Платону Щукину о правомочности использования данного плагина, на что получил ответ, что дескать  даже хорошо и подспорье в индексировании сайта.

Вывод осуществляется путем обращения к кешу плагина, который представляет собой файлик, в который записываются все имеющиеся посты. За счет того, что файлик переписывается каждый раз при публикации нового поста или обновления настроек виджета, то тем самым значительно снижена нагрузка на базу данных. Вывод записей настраивается либо случайным образом, либо в  зависимости от даты публикации- с начала и с конца, что дает возможность вытаскивать старые посты на новые позиции.  Поскольку поисковый робот Google относится с подозрением когда со страницы уходит более 100 внутренних ссылок, то у плагин добавлена возможность самому задавать число выводимых, в карту сайта, постов.

Плагин скачивается и устанавливается из админки Wordpress, после чего либо добавляется в нужный сайдбар, либо в тело сайта в необходимое место, где должен выводиться список, вставляется строчка   <?php echo pixel_sitemap();?>

Права на папку в которой находится плагин (%site_root%/wp-content/plugins/pixel-sitemap) должны быть установлены на запись, иначе система не сможет создать кеширующий файл.

При работе иногда возникают ошибки с кодом, гласящим, что файл кеширования отсутствует. Лечится это двумя способами:

на кеширующий файл pixel-sitemap-cache выставляются права на запись, для владельца и группы (но в моем случае это не помогло);
редактируется файл pixel-sitemap.php, в котором в 36 строчке необходимо добавить перед функцией unlink символ @, чтобы это выглядело следующим образом: @unlink(..);

Качать плагин с SEOBUCKS здесь

Объясню более популярно- IP адрес состоит из 4х блоков цифр которые обозначают принадлежность к определенным подсетям: 1.2.3.4 принято каждый блок подсетей обозначать своей буквой: 1- А-класс, 2- B-класс, 3- C-класс, 4- D-класс. И вот для наибольшей отдачи от SEO -потуг  необходимо, чтобы каждый новый адрес под которым придется размещать очередной выводок сайтов, отличался от соседа третьим классом подсети, а именно классом C.

После чего я начал обзванивать, обписывать и обчаться с многочисленными хостерами, предоставляющими эти самые услуги VPS-хостинга. В услуги VPS-хостинга стандартно входит возможность расширения количества используемых IP-адресов и максимальное количество зависит от используемого хостинг плана. Максимум который мне удалось обнаружить, составлял 32 IP адреса.  Собственно основными вопросами были следующие: к какому классу относятся предоставляемые компанией IP адреса, и какое количество подсетей c-класса имеется в распоряжении компании. Собственно первый же вопрос отмел большую часть компаний, в том числе и моего горячо любимымого хостинг провайдера Hostgator, который буквально с месяц назад наконец то, после почти годичных потуг, разродился собственным VPS сервисом, но к сожалению их адреса все относятся только к классу D. На второй вопрос тех.поддержка начинала юлить, но прямого ответа я ни от кого не получил, т.к. все ссылались на то, что это дескать служебная информация, причем мне не гарантировали что назначенные мне адреса будут относиться к различным C-классам, т.ч. пришлось остановить свой выбор на тех, кто мне показался наиболее убедительными, а именно хостинг провайдере WebIntellects, тем более что по их скидочному купону VPS Search можно получить 10% скидку на заказ.

В итоге, сейчас, новая публикация уже на следующий день появляется в индексе гугля; яша же до сих пор, по прошествии полутора недель, сайтмап не обработал, и ни одной странице в индексе не появилось.  Вот и поддерживай после этого отечественного производителя.

Но странное дело выяснилось, по прошествии нескольких дней- страницы то пропадают из гуглевского индекса, то снова появляются, причем совершенно не понятно, в связи с чем, вот приходится шерстить все настройки- плагины, чтобы понять что происходит.