Одминский блог

Пиррова победа безграмотных бельгийцев над Google

Забавная тему вычитал по поводу судебной тяжбы между поисковой системой Google и бельгийскими издателями, чьи интересы представляла управляющая компания Copiepresse. Суть тяжбы, которая тянулась аж с 2006 года, состояла в претензии ряда бельгийских издательств к сервису Google News куда добавлялись новости и фотографии с сайтов принадлежащих газетам данных издателей, что позволило им обратиться в суд с коллективной претензией о защите интеллектуальной собственности.

В итоге, после пары лет боданий, управляющая компания Copiepresse дернула таки мега монстра Google, и по решению суда Google обязали незамедлительно «удалить со всех сайтов (с Google News и «кэшированного» Google, а также любых других), все статьи, фото- и графические материалы от бельгийских издателей ежедневной франко- и германоязычной прессы, представленной истцом, в десятидневный срок от даты данного уведомления, под угрозой ежедневного штрафа размером 1,000,000.00 евро за день задержки». Естественно что Google подал несколько встречных претензий и апелляций, которые благополучно проиграл, и как итог – вынужден был последовать решению суда, то есть просто удалил из индекса и сервисов всю информацию про издания, упоминавшиеся в претензии и конечном решении суда. Причем настолько качественно, что на их сайтах например не работает сервис Google Translate.

После этого исполнительный директор газеты La Libre, Франсуа Удье выступил с заявлением в котором назвал данную акцию «жестокой местью» компании Google и попутно ляпнул, что управляющая компания имела ввиду совсем не это, а то что Google должны им платить за использование их интеллектуальной собственности, а так в принципе они очень хотят  вернуться обратно в выдачу поисковика. Тем более что финансовые потери группы издательских компаний в суде от такого гениального решения в суде, пока не озвучено, но можно предполагать что это обернулось упущенной выгодой на сотни тысяч евро в день.

На самом деле порою диву даешься насколько тупые люди участвуют в крупном бизнесе, то есть компания хотела натянуть Google на деньги, но несколько не правильно сформулировала, что же она действительно хотела от поисковика. Вроде как это называется пирровой победой, в том смысле что такой выигрыш в суде, хуже поражения.
Так что вычитав сей довольно забавный случай, не мог не вспомнить любимую притчу моего дяди  о безграмотном инженере, поймавшем золотую рыбку, и попросившем себе член до землю. После чего рыбка ответила что это не проблема и лишила его обеих ног.

Теги: google, интернет, поисковики

Настройка скриптов для импорта баз данных в mysql

Данный пост является продолжением темы с импортом больших баз данных в mysql и здесь я расскажу как именно надо настроить скрипт для импорта базы данных.

Процедура установки обоих скриптов проста и начинается с их редактирования, после чего скрипты закачиваются на хост, куда, в ту же папку, кладется и выгрузка из базы данных, которую нам необходимо импортировать в новую базу на сервере mysql. На скрипт устанавливаем права доступа 755.
Теперь немного подробнее о настройке каждой из программ:

1. BigDump
Открываем файл скрипта bigdump.php, в котором отыскиваем и меняем следующие строки на необходимые значения
$db_server   = ‘localhost’;
$db_name     = ‘DB_NAME’;
$db_username = ‘DB_USER’;
$db_password = ‘DB_PASSWORD’;
$filename           = ‘OUR_DUMP.SQL’; /* Наш дамп базы данных который мы выгрузили вместе со скриптом*/
$db_connection_charset = ‘Charset’; /*Поскольку мы работаем с русскими базами, то вероятнее всего это utf8 или cp1251*/

После этого открываем в бродилке скрипт хттп://наш-сайт/папка/bigdump.php и видим свой файлец, после чего наживаем на линк Start import

2. Sypex Dumper
С этим скриптом еще проще, так как у него есть графический интерфейс, через который можно вводить все данные, а также делать экспорт и импорт баз данных. Собственно заливаем файлец скрипта dumper.php на хостинг, но с одной оговоркой- опять же в плане кодировок. По умолчанию скрипт работает с cp1251, так что если надо залить utf-8, то добавляем в следующую строку параметр принудительной замены кодировки:
define(‘RESTORE_CHARSET’, ‘forced->utf8′);

После чего коннектимся через бродилку хттп://наш-сайт/папка/dumper.php
вводим логин на базу данных сайта и получаем возможность как импортировать нужную нам базу данных, так и экспортировать.

Теги: mysql, сайты, техподдержка

Как импортировать большую базу данных в mysql

Бывает возникает ситуация, в которой необходимо загрузить на сервер хостинга базу данных больше разрешенного хостингом в утилите управления базами данных phpMyAdmin- обычно этот предел установлен в  ~2Mb. Если это случается на виртуале, то обычно просто заливаю базу через ftp и прошу суппорт хостинга помочь в данном вопросе.

Поскольку использую нормальные хостинги, то решение это проблемы занимает всего 10-15 минут, так что особо не парился, но тут столкнулся с тем что возникла необходимость подсказать человеку у которого суппорт курил бамбук, так что выделилось несколько вариантов решения данной проблемы. Оговорюсь сразу что наиболее удобен для импорта базы данных mysql последний вариант, но он подходит только тем у кого есть доступ к терминалу. Так что в статье описаны все возможные способы импорта большой базы данных в mysql, кроме общения с суппортом.

1. Варинт первый – выгружаем бэкап базы не целиком, а по несколько таблиц, чтобы файл не превышал наши лимиты. Основной минус данного решения- это то, что операцию выгрузки- загрузки необходимо будет проводить много раз, так что подойдет исключительно для тех у кого много свободного времени и нечем заняться на досуге.

2. Вариант второй – выгружать в пожатом состоянии- так как степень сжатия для текстового файла будет максимальной. Но тут опять же можно столкнуться с тем, что на хостинге не установлена поддержка архиваторов.

3. Используем сторонний скрипт, который позволяет производить экспорт и импорт базы данных, минуя общение с phpMyAdmin. Наиболее известный из имеющихся в наличии, и к тому же наиболее хорошо работающий- это BigDump. О том как его настроить – я отписался чуть позже, так что это касается и настройки по 5му пункту.

4. Как частный случай 3 вариант, возможно залить на сервер эмулятор терминала и сделать 5 пункт через него. Например можно попробовать PHPterm, но в этом варианте можно столкнуться с ограничениями хостинга в плане безопасности запуска команд и скриптов.

5. Также есть простенькая программка аналогичная BigDump, которая также позволяет импортировать большие базы данных, только в данном случае необходим Zend Optimizer либо Nu-Coder. Программка называется Sypex Dumper, и вторую версию скрипта можно даже интегрировать в наиболее популярные CMS. На сайте есть как платная утилита, так и облегченная бесплатная версия.

6. Если таки имеется доступ к консоли, то можно добавить в php.ini следующие строки (увеличиваем лимит загрузки файлов по времени и размеру), после загрузки, лучше вернуть все назад, чтобы не нагнули сервак с оказией:
max_execution_time = 20000
max_input_time = 20000
upload_max_filesize = 150M
post_max_size = 150M

7. Но на самом деле наиболее быстрым и оптимальным вариантом загрузки большой базы данных, имея доступ к консоли, будет загрузить дамп базы данных dump.sql через ftp, а затем залить её через консоль ssh:
mysql -h hostname -u user-name -p DB_name <  /path-to-dir/dump.sql
если у вас в качестве хоста базы данных используется стандартный localhost , то ключик -h можно и опустить, так что получится вида:
mysql -u user-name -p DB_name <  /path-to-dir/dump.sql

Да, чуть не забыл про самые поганые грабли всей пляски с импортом- при импорте базы данных могут возникнуть проблемы с кодировками, поэтому нам надо убедиться что дефолтная база и выгрузка sql находятся в одной кодировке, либо переконвертировать базу данных в стандартную для mysql кодировку (обычно это utf-8):
iconv -f CP1251 -t UTF-8 dump.sql > dump.sql.utf8
либо указать необходимую кодировку при процедуре импорта базы данных:
mysql -h hostname -u user-name -default_character_set utf8 -p DB_name <  /path-to-dir/dump.sql

Теги: mysql, сайты, техподдержка

Что выбрать: xRumer или Scrapebox

Постепенно, продвигая три сайта пришел к тому что начинает жлобить сливать бабки на прогоны, поскольку во-первых эти же деньги можно не плохо слить на контент, а во-вторых большинство прогонов которые я заказываю, хоть и дают какой то выхлоп, но откровенно говоря зачастую ставят под сомнение чистоплотность прогоняющих, особенно когда после прогона по заявленным 50к профилям или доскам- в яше вылезает от силы 200-300 бэков. Ну и еще тот момент, что народ искрене халтурит, то есть ограничивается просто линком, или заполняет не все поля как следует- то есть например для заполнения полей Интересы и Хобби в профиле своими ключами- это надо оговаривать отдельно, так как иначе они заполняются какой то непонятной лажей, типо “люблю играть на мандалине”.

Ну и тот момент, что прогоняя один сайт на 100 баксов в месяц, при том что он приносит 400- 500, ты понимаешь во что вкладываешь, но прогонять саттелиты по 30 бачей за нос- не очень радует, так как тратить месячный доход MFA на прогон нового друга- жалко.

В этой связи задумался некоторое время назад о покупке XRUMER’a, чья стоимость составляет 590$ на данный момент, но найти в инете можно и за 510$. Тем более что взять его можно напополам с товарищем, так как лицензия позволяет использовать две установки на разные машины (тут конечно полагаю, работает вариант с установкой в виртуалку, но все равно одновременно работать могут только две копии проги). Но с другой стороны тратить даже 260$ (хотя откровенно говоря и против всяких вариантов складчины) на приобретение данного продукта имеет смысл при большом количестве времени, так как неделя только убьется на ковыряние хрумака, на предмет выявления части его способностей. Опять же по заверениям мага- работать с домашнего канала получится не очень здорово, так что попадаешь еще на ежемесячную аренду дедика под это дело, что ломится еще в 100-150 грина, ну и ежемесячная абонентка в размере 10$.

В этой связи встала дилемма о том, что же стоит делать: покупать xRumer за $510 (который с сентября будет стоитть уже 690$) или же подобный продукт под названием ScrapeBox, который как я понимаю менее популярен среди русских прогонщиков, но тем не менее обеспечивает часть хрумаковского функционала, и при этом стоит в районе ста долларов. Так что я попытался понять чем они отличаются и какая разница получается в работе.
Собственно обнаружилось довольно быстро, что Scrapebox занимается только прогоном по блогам, в то время как по форумам гоняет Scrapeboard, так что сумма вложений для полноценных прогонов удваивается, но xRumer в отличии от этих двух также умеет гонять по доскам и каталогам, ну и помимо этого в Хрумер вставлена возможность распознавания капчи, за которую в варианте Scrapeboard надо платить отдельно, а это уже отдельный разговор, так как по прогонам получается такая картина, что если вы постите 200к линков, используя ScrapeBoard, то это обходится в $500, тогда как постинг 500к линковы, выставит прогонщика ScrapeBoard уже на $1100, ну и прогон по 1кк профилей обойдется в $2100, тогда как хрумак по прежнему будет стоить $510 + ($10 + $120)*количество месяцев. Естественно что не все форумы используют капчи, плюс к тому же у SB появилась распозновалка, но пока она не особо функциональна.

Надо также отметить тот факт, что скорость работы программа отличается, так как xRumer может обрабатывать до 1200 потоков одновременно, тогда как SB не поднимается выше 200, но благодаря этому с него можно работать из дома.

Помимо этого в функционале Scrapebox имеются тулзы и для так называемого белого сео, как то ручное комментирование блогов, проверка наличия ссылок (которую я тут обыскался одно время), отлов блогов по PR и вроде как еще кучу каких то фич. В добавок к этому полазив по форумам обнаружил что люди советуют пользоваться обоими продуктами для парсинга поисковиков, в процессе составления баз, так в совокупности они дают гораздо больший результат чем каждый по отдельности.

Так что видимо начать придется таки со Scrapebox и используя его для своих целей, попутно набить теньге на покупку Хрумака. Тем более что xRumer доводится до ума уже на протяжении 5 лет, тогда как SB новый продукт, и волне вероятно что через год-два, он будет обеспечивать много из того списка, чего пока не умеет.

UPD:  в процессе поиска надыбал нуленный Scrapebox 1.1416 который представлен виртуалкой в трех архивах по полтора гига, после запуска которой надо устанавливать на хостовой машине вебсервер, а также поднимать внутренний интерфейс, н акоторый рутить запросы. Последний раз с таким шаманством я сталкивался в начале 200х годов, когда таким же образом можно было обойти лицензии Checkpoint и пользовать ломанный (хотя я предпочитал бесплатную фрюху, если что). В итоге, в процессе скачивания второго диска, который лился с летитби, обнаружил блатную ссылочку с BlackHatWorld по которой можно было прикупить Scrapebox 1.15.18 всего за 57$, чем я и не преминул воспользоваться. Так что пока читаю мануал и жду активационного письма, чтобы начать тестить.

Кстати LinkChecker является бесплатной утилитой, которой я уже проверил все свои постовые, так что очень удобно.

Теги: seo, поисковики, сайты

Построение кабельной системы в офисе

Вернулся во втором часу ночи от клиента, который вдруг захотел перенести в одном из офисов свичи, лежавшие на шкафу купе, в человеческий настенный шкаф, про который я толковал еще пол года назад, в наше первое знакомство.

В итоге думали с админом клиента все быстренько расшить за вечер, и в итоге семь часов просто распутывали гордиев узел, который умело сплели очередные студиозы, кидающие сетку за сто баксов- естественно без разводки, естественно без принципиальной схемы, естественно с десятком выходов и хитросплетением свичей, ибо как обычно розеток не хватило на всех. В связи с чем вспомнил несколько историй когда клиент отказывался от моих услуг в плане разводки кабельной системы и построения человеческой СКС, так что когда люди снова обращались с просьбой помочь в том, что сетка стояла колом я обнаруживал каскадирование из 8ми портовых свичеков китайского производства, или же кабельную систему расшитую по два джека на витую пару.
В связи с чем родилось несколько моментов, которые я хотел бы скорее привести для заказчика, нежели для исполнителя, так объяснять халтурщику, что он лепит горбатого бессмысленно. В данный момент хотя мозги и поставлены кальяном на место, после прозвона 60+ розеток, но в голове тем не менее легкий сумбур, так что возможно что данную статью я буду дополнять.

Читать полностью »

Теги: Сети, техподдержка

История компьютеров Apple – назад во времени

История компьютеров Apple

Вас интересует вопрос, как появились компьютеры Macintosh? Читайте дальше, чтобы узнать несколько интересных фактов, касательно истории и эволюции компьютеров Apple.

Apple. Достаточно забавное и необыкновенное имя для многомиллиардной корпорации, не так ли? Да, я думаю это недостаточно громкое имя для бренда, в конце концов! Но как говорил Шекспир: «Что в имени тебе моем? Под любым другим названьем роза так же сладко пахла б». Таким образом, теоретически говоря, на основе этого аргумента, Apple Computers могли бы легко называться Mango Machines, Coconut Corporation, или уж если на то пошло, даже Eggy Enterprises! Так почему же Apple? Неужели основатели компании были ярыми поклонниками Ньютона?

Читать полностью »

Теги: apple, mac

Интранет Vs Интернет

Если вы хотите знать о различиях сети Интранет и сети Интернет, эта статья поможет развеять ваши сомнения. Здесь мы проведем прямое сравнение двух сетей и укажем на их различия…

Век информационных технологий во многом обязан развитию компьютерных сетей. Речь идет о компьютерных сетях разного масштаба, которые превратили информацию в ещё более дорогостоящий товар, чем ранее. Существует два типа компьютерных сетей, о которых вы можете слышать каждый день. Одна из них называется, конечно, «Интернет», а другая, которая может применяться в вашей компании, «Интранет». В этой статье мы сравним две сети и расскажем о различиях между ними.

Читать полностью »

Теги: интернет, Сети