Одминский блог

Линкуем тэги на пост к которому они относятся

В процессе некоторых терзаний вокруг MFA на WordPress передо мной встала задачка, как мне перенаправить тэги на посты к ним относящиеся. Надо отметить, что у меня теги были уникальными для каждого поста, поэтому в каждой метке находилось всего по одному посту. В этой связи я составил список соответствия постов и тэгов, после чего сделал рерайт на посты из тэгов, но в линке все равно отображался путь до тэга.

Да и как быть если например в тэге порядка 40 постов, а хочется чтобы тэги кроме своей основной задачи добавления ключиков, не транжирили вес страницы понапрасну. Для этого их можно залинковать на туже страницу к которой они и относятся. А делается это следующим образом: находим в теле вывода единичного поста тот раздел который отвечает за вывод тэгов  <?php the_tags( ); ?> и заменяем его на более модный формат рерайта тэгов на целевую страницу:

Метки: <?php $post_tags = get_the_tags(); $tag_permalink = get_permalink(); $split_comma = 0; if ($post_tags) { foreach($post_tags as $tag_single) { ?><?php if ($split_comma > 0) { echo “, “; } $split_comma++; ?><a href=”<?php echo $tag_permalink; ?>” title=”<?php echo $tag_single->name; ?>”><?php echo ucwords($tag_single->name); ?></a><?php } }  ?>

Этот же код можно вставить и в сайд бар, тогда у нас будет две вариации ссылок с меток на страницу, но тут мы упираемся в тот момент, что сайд бара будет выводиться и на морду в том числе, а это не желательно, ибо в таком варианте нашу фичу глючит и она начинает ссылаться на один из постов.

И тут нам приходит код, который позволяет нам выводить определенное содержимое по id страницы, но об этом я напишу несколько позже.

Рубрика: Сайты и их проблемы | Ваш отзыв »

Разборки с хостингом Мастерхост по поводу атаки из их сети

Многие интернетчики и сеошники морочатся поиском так называемых bulletproof или абузоустойчивых хостингов, выкладывая за них не малые бабки, ибо это довольно специфический сервис, который обеспечивает злоумышленнику, проводящему спам-рассылку или же хостинг каких то незаконных материалов, вроде фармы, порева и прочего, полную безнаказанность.

Ибо у вменяемого хостинга, в случае размещения краденного контента или вирусов, аккаунт злоумышленника, в случае жалобы на него, банится и после этого проводится проверка, которая в случае если указанные данные подтверждаются лишают человека данного аккаунта, а в некоторых особо циничных случаях, дело может продолжится уже в уголовной плоскости. Ну да не суть- в любом случае хостинги дорожащие своей репутацией, мгновенно реагируют на все жалобы и отвечают в течении суток, как максимум.
Но оказалось что в России есть пара очень интересных хостингов, которые работая “на отъебись”, покрывают злоумышленников располагающихся на их серверах, и что самое интересное на вопрос можно ли считать их абузоустойчивыми серверами- скромно потупив глазки, говорят нет.

(more…)

Рубрика: Хостинг | Ваш отзыв »

О Мегафоне, Яндексе и персональных данных

Компания “Мегафон” очень забавно решила интерпретировать закон о персональных данных и каким то прекрасным образом запупырила смски отправляемые из веб-формы на сайте Мегафона в открытый доступ на сайте, который стал столь же прекрасно индекситься Яндексом, словно этакая гостевая книга страстей человеческих.

Как только это запалили особо вдумчивые граждане, эта весть полыхнула по инету, так что в данный момент на spreadsheets.google выложен парсинг Яндекса на предмет данного материала, со всеми страстями и номерами телефонов (линк давать не буду чистэ из этических убеждений). Компания “Мегафон” отреагировала довольно оперативно и запросила у Яндекса удалить эти данные, так что Яндекс почистил индекс (или же кэш выдачи) от упомянутых записей, но при этом они остались на региональных зеркалах поисковой системы. В данный момент они удаляются и оттуда- но пока еще что то и где то можно почитать.

Для того чтобы получить листинг этих сообщений, в строке поиска Яндекс нужно ввести следующий запрос:
url:www.sendsms.megafon.ru* | url:sendsms.megafon.ru*

и после этого приступать к длительному и увлекательному чтению. Судя по комментам Яндекс эти данные попали в открытый доступ так как не были закрыты от индексирования файлов robots.txt, хотя на самом деле совершенно непонятно, каким образом они вообще оказались в открытом доступе, ибо по идее- должны только писаться в базу где хранятся отосланные смски, а уж никак не уходить в открытый  для всего инета фронтэнд базы.

И что будут делать мегафоновцы, когда спарсенную базу просто растащат на цитаты- ибо там есть что почитать, да еще и с телефонами. Тем более что обсуждабельные интимные подробности могут стать не только поводом для лулзов, но  и для шантажа от нечистоплотных граждан, которых в инете предостаточно. По идее по данной тематике Мегафон должен ждать очень и очень хороший штраф как минимум, а как максимум многотысячные иски от каждого засветившегося в этой базе. Причем судя по толкотне в инете, уже были перехвачены какие то почтовые ящики с многолетней перепиской и другие аккаунты, так что Мегафону уж с этой стороны точно предстоит выслушать много нелицеприятного. Ну а нам- лишний урок- никогда не отправлять все данные через один канал связи, а в идеале использовать вариации двухфакторной аутентификации, когда часть отдаем смской, а часть голосом или письмом.

Надо полагать что здесь админы Мегафона поработали на славу, уподобившись коллегам из ЖЖ и отрабатывая новые версии софта не на кошечках, а на самой что ни на есть рабочей системе.

Ну и напоследок, пара мемов, которым явно не хватает кнопочки ILikeIt:
Алкоголь, дым и дикий секс… На первый взгляд пошло и неправильно. Но бывают моменты, когда хочется только этого.

Ашап алабыз аннан тышта зшлэргэ кирэк мунча житешкэнче Бэлки бераз помидор утыртып куярмын Буген су сибеп тормыйбыз инде Ярый хэзергэ Кичкэ таба язарм.

со мной сейчас клиент тааак заигрывал. я бля чуть под стул от стыда не сползла. ну что за день-то.

Борь, я не электрик и тем более мне не до этого.Я понимаю что тебя мучает совесть,опять тебя нет рядом и мне приходится все проблемы решать одной.

Сегодня поедем в сексшоп и блинов поедим заодно или никогда

я буду вынуждена разойтись с тобой–если содержать семью ты не можешь.ты взрослый мужчина–я недолжна маме тебя вешать на шею?я не хочу терять тебя.

Рубрика: IT безопасность, Интернет | Ваш отзыв »

Проблема авторских прав на изображения в блогах

Когда читаешь статьи о развитии и ведении блогов, то часто сталкиваешься с утверждением о том, что добавление фотографий к постам может значительно увеличить посещаемость сайта и отдачу от поисковых систем, за счет индексации поисковиками изображений. Более того, используя атрибуты html объекта изображения, можно повысить релевантность страницы, и как следствие её позицию в выдаче поисковых систем.

Но на вопрос откуда же брать изображения, многие русские блоггеры, раздающие полезные советы и ноухау, выдают что берут все необходимое из раздела картинок поисковых систем Яндекс и Google. И правда, введя необходимое ключевое слово, мы получаем листинг сотен изображений подпадающих под данное описание, и вроде бы они даже находятся, как может показаться на первый взгляд, в свободном доступе. Так что мы спокойно кликаем на это изображение и сохраняем его. Но вот как раз на этом  моменте и происходит ошибочное действие, ибо изображение мы дергаем с сайта правообладателя данной фотографии, который, обнаружив своё фото, вполне может предъявить вам претензию о защите авторского права и интеллектуальной собственности. Причем самое интересное, что если копипейст контента российские вебмастера уже худо- бедно избегают, может и не отдавая себе отчета что это чистой воды воровство, а просто боясь санкций поисковых систем, то относительно изображений, данные претензии воспринимаются как что то из серии лулзов – “лол!!!1 какой то тупарь хочет бабок за то, что я использую его фотку”.

В этой связи решение относительно рунета навряд ли будет приниматься в судебном порядке: заявитель просто пишет письмо в Google с просьбой исключить сайт, использующий ворованный (да-да, именно ворованный) контент, из поисковой выдаче, и в итоге мы получаем тот самый пресловутый бан поисковой системой, дающей до 40% трафика, ибо помимо исключения из индекса Google, в нагрузку, вероятнее всего, получаем еще и бан в Mail.ru.

(more…)

Рубрика: Интернет, Сайты и их проблемы | Ваш отзыв »

Настройка скриптов для импорта баз данных в mysql

Данный пост является продолжением темы с импортом больших баз данных в mysql и здесь я расскажу как именно надо настроить скрипт для импорта базы данных.

Процедура установки обоих скриптов проста и начинается с их редактирования, после чего скрипты закачиваются на хост, куда, в ту же папку, кладется и выгрузка из базы данных, которую нам необходимо импортировать в новую базу на сервере mysql. На скрипт устанавливаем права доступа 755.
Теперь немного подробнее о настройке каждой из программ:

1. BigDump
Открываем файл скрипта bigdump.php, в котором отыскиваем и меняем следующие строки на необходимые значения
$db_server   = ‘localhost’;
$db_name     = ‘DB_NAME’;
$db_username = ‘DB_USER’;
$db_password = ‘DB_PASSWORD’;
$filename           = ‘OUR_DUMP.SQL’; /* Наш дамп базы данных который мы выгрузили вместе со скриптом*/
$db_connection_charset = ‘Charset’; /*Поскольку мы работаем с русскими базами, то вероятнее всего это utf8 или cp1251*/

После этого открываем в бродилке скрипт хттп://наш-сайт/папка/bigdump.php и видим свой файлец, после чего наживаем на линк Start import

2. Sypex Dumper
С этим скриптом еще проще, так как у него есть графический интерфейс, через который можно вводить все данные, а также делать экспорт и импорт баз данных. Собственно заливаем файлец скрипта dumper.php на хостинг, но с одной оговоркой- опять же в плане кодировок. По умолчанию скрипт работает с cp1251, так что если надо залить utf-8, то добавляем в следующую строку параметр принудительной замены кодировки:
define(‘RESTORE_CHARSET’, ‘forced->utf8′);

После чего коннектимся через бродилку хттп://наш-сайт/папка/dumper.php
вводим логин на базу данных сайта и получаем возможность как импортировать нужную нам базу данных, так и экспортировать.

Рубрика: Базы данных, Сайты и их проблемы | 1 отзыв »

Как импортировать большую базу данных в mysql

Бывает возникает ситуация, в которой необходимо загрузить на сервер хостинга базу данных больше разрешенного хостингом в утилите управления базами данных phpMyAdmin- обычно этот предел установлен в  ~2Mb. Если это случается на виртуале, то обычно просто заливаю базу через ftp и прошу суппорт хостинга помочь в данном вопросе.

Поскольку использую нормальные хостинги, то решение это проблемы занимает всего 10-15 минут, так что особо не парился, но тут столкнулся с тем что возникла необходимость подсказать человеку у которого суппорт курил бамбук, так что выделилось несколько вариантов решения данной проблемы. Оговорюсь сразу что наиболее удобен для импорта базы данных mysql последний вариант, но он подходит только тем у кого есть доступ к терминалу. Так что в статье описаны все возможные способы импорта большой базы данных в mysql, кроме общения с суппортом.

1. Варинт первый – выгружаем бэкап базы не целиком, а по несколько таблиц, чтобы файл не превышал наши лимиты. Основной минус данного решения- это то, что операцию выгрузки- загрузки необходимо будет проводить много раз, так что подойдет исключительно для тех у кого много свободного времени и нечем заняться на досуге.

2. Вариант второй – выгружать в пожатом состоянии- так как степень сжатия для текстового файла будет максимальной. Но тут опять же можно столкнуться с тем, что на хостинге не установлена поддержка архиваторов.

3. Используем сторонний скрипт, который позволяет производить экспорт и импорт базы данных, минуя общение с phpMyAdmin. Наиболее известный из имеющихся в наличии, и к тому же наиболее хорошо работающий- это BigDump. О том как его настроить – я отписался чуть позже, так что это касается и настройки по 5му пункту.

4. Как частный случай 3 вариант, возможно залить на сервер эмулятор терминала и сделать 5 пункт через него. Например можно попробовать PHPterm, но в этом варианте можно столкнуться с ограничениями хостинга в плане безопасности запуска команд и скриптов.

5. Также есть простенькая программка аналогичная BigDump, которая также позволяет импортировать большие базы данных, только в данном случае необходим Zend Optimizer либо Nu-Coder. Программка называется Sypex Dumper, и вторую версию скрипта можно даже интегрировать в наиболее популярные CMS. На сайте есть как платная утилита, так и облегченная бесплатная версия.

6. Если таки имеется доступ к консоли, то можно добавить в php.ini следующие строки (увеличиваем лимит загрузки файлов по времени и размеру), после загрузки, лучше вернуть все назад, чтобы не нагнули сервак с оказией:
max_execution_time = 20000
max_input_time = 20000
upload_max_filesize = 150M
post_max_size = 150M

7. Но на самом деле наиболее быстрым и оптимальным вариантом загрузки большой базы данных, имея доступ к консоли, будет загрузить дамп базы данных dump.sql через ftp, а затем залить её через консоль ssh:
mysql -h hostname -u user-name -p DB_name <  /path-to-dir/dump.sql
если у вас в качестве хоста базы данных используется стандартный localhost , то ключик -h можно и опустить, так что получится вида:
mysql -u user-name -p DB_name <  /path-to-dir/dump.sql

Да, чуть не забыл про самые поганые грабли всей пляски с импортом- при импорте базы данных могут возникнуть проблемы с кодировками, поэтому нам надо убедиться что дефолтная база и выгрузка sql находятся в одной кодировке, либо переконвертировать базу данных в стандартную для mysql кодировку (обычно это utf-8):
iconv -f CP1251 -t UTF-8 dump.sql > dump.sql.utf8
либо указать необходимую кодировку при процедуре импорта базы данных:
mysql -h hostname -u user-name -default_character_set utf8 -p DB_name <  /path-to-dir/dump.sql

Рубрика: Базы данных, Сайты и их проблемы | Отзывов: 11 »

Что выбрать: xRumer или Scrapebox

Постепенно, продвигая три сайта пришел к тому что начинает жлобить сливать бабки на прогоны, поскольку во-первых эти же деньги можно не плохо слить на контент, а во-вторых большинство прогонов которые я заказываю, хоть и дают какой то выхлоп, но откровенно говоря зачастую ставят под сомнение чистоплотность прогоняющих, особенно когда после прогона по заявленным 50к профилям или доскам- в яше вылезает от силы 200-300 бэков. Ну и еще тот момент, что народ искрене халтурит, то есть ограничивается просто линком, или заполняет не все поля как следует- то есть например для заполнения полей Интересы и Хобби в профиле своими ключами- это надо оговаривать отдельно, так как иначе они заполняются какой то непонятной лажей, типо “люблю играть на мандалине”.

Ну и тот момент, что прогоняя один сайт на 100 баксов в месяц, при том что он приносит 400- 500, ты понимаешь во что вкладываешь, но прогонять саттелиты по 30 бачей за нос- не очень радует, так как тратить месячный доход MFA на прогон нового друга- жалко.

В этой связи задумался некоторое время назад о покупке XRUMER’a, чья стоимость составляет 590$ на данный момент, но найти в инете можно и за 510$. Тем более что взять его можно напополам с товарищем, так как лицензия позволяет использовать две установки на разные машины (тут конечно полагаю, работает вариант с установкой в виртуалку, но все равно одновременно работать могут только две копии проги). Но с другой стороны тратить даже 260$ (хотя откровенно говоря и против всяких вариантов складчины) на приобретение данного продукта имеет смысл при большом количестве времени, так как неделя только убьется на ковыряние хрумака, на предмет выявления части его способностей. Опять же по заверениям мага- работать с домашнего канала получится не очень здорово, так что попадаешь еще на ежемесячную аренду дедика под это дело, что ломится еще в 100-150 грина, ну и ежемесячная абонентка в размере 10$.

В этой связи встала дилемма о том, что же стоит делать: покупать xRumer за $510 (который с сентября будет стоитть уже 690$) или же подобный продукт под названием ScrapeBox, который как я понимаю менее популярен среди русских прогонщиков, но тем не менее обеспечивает часть хрумаковского функционала, и при этом стоит в районе ста долларов. Так что я попытался понять чем они отличаются и какая разница получается в работе.
Собственно обнаружилось довольно быстро, что Scrapebox занимается только прогоном по блогам, в то время как по форумам гоняет Scrapeboard, так что сумма вложений для полноценных прогонов удваивается, но xRumer в отличии от этих двух также умеет гонять по доскам и каталогам, ну и помимо этого в Хрумер вставлена возможность распознавания капчи, за которую в варианте Scrapeboard надо платить отдельно, а это уже отдельный разговор, так как по прогонам получается такая картина, что если вы постите 200к линков, используя ScrapeBoard, то это обходится в $500, тогда как постинг 500к линковы, выставит прогонщика ScrapeBoard уже на $1100, ну и прогон по 1кк профилей обойдется в $2100, тогда как хрумак по прежнему будет стоить $510 + ($10 + $120)*количество месяцев. Естественно что не все форумы используют капчи, плюс к тому же у SB появилась распозновалка, но пока она не особо функциональна.

Надо также отметить тот факт, что скорость работы программа отличается, так как xRumer может обрабатывать до 1200 потоков одновременно, тогда как SB не поднимается выше 200, но благодаря этому с него можно работать из дома.

Помимо этого в функционале Scrapebox имеются тулзы и для так называемого белого сео, как то ручное комментирование блогов, проверка наличия ссылок (которую я тут обыскался одно время), отлов блогов по PR и вроде как еще кучу каких то фич. В добавок к этому полазив по форумам обнаружил что люди советуют пользоваться обоими продуктами для парсинга поисковиков, в процессе составления баз, так в совокупности они дают гораздо больший результат чем каждый по отдельности.

Так что видимо начать придется таки со Scrapebox и используя его для своих целей, попутно набить теньге на покупку Хрумака. Тем более что xRumer доводится до ума уже на протяжении 5 лет, тогда как SB новый продукт, и волне вероятно что через год-два, он будет обеспечивать много из того списка, чего пока не умеет.

UPD:  в процессе поиска надыбал нуленный Scrapebox 1.1416 который представлен виртуалкой в трех архивах по полтора гига, после запуска которой надо устанавливать на хостовой машине вебсервер, а также поднимать внутренний интерфейс, н акоторый рутить запросы. Последний раз с таким шаманством я сталкивался в начале 200х годов, когда таким же образом можно было обойти лицензии Checkpoint и пользовать ломанный (хотя я предпочитал бесплатную фрюху, если что). В итоге, в процессе скачивания второго диска, который лился с летитби, обнаружил блатную ссылочку с BlackHatWorld по которой можно было прикупить Scrapebox 1.15.18 всего за 57$, чем я и не преминул воспользоваться. Так что пока читаю мануал и жду активационного письма, чтобы начать тестить.

Кстати LinkChecker является бесплатной утилитой, которой я уже проверил все свои постовые, так что очень удобно.

Рубрика: Интернет | Отзывов: 9 »