Блог о технологиях, технократии и методиках борьбы с граблями
Ковыряясь в прокси сервере 3proxy решил поэкспериментировать со шлюзованием IPv4 в IPv6 и обнаружил весьма странную работу пакета при попытке пробросить соединение через socks.
Не успели закончиться праздники, как дела навалились с удесятеренными объемами. На выходных ломал голову на тему того каким образом можно разделить IP адреса для разных пользователей для доступа через прокси 3proxy, о настройках которого я писал некоторое время назад, но ничего умного мне в голову так и не пришло кроме того как разнести настройки прокси по нескольким конфигам, с которыми демон и запускался в нескольких копиях.
Попросили меня тут люди настроить им прокси сервер под Debian, с которым я особо никогда не работал, да и не рвался никогда. С проксями я возился последний раз лет десять назад, ибо с того момента как полосы пропускания разрослись достаточно- в проксировании внутри офиса отпала нужда, а все билинги можно поднять на уровне шлюза. Ну а если они мне вдруг нужны под какие то seo’шные задачи, то мне проще купить прокси, чем с ним колупаться. Но тут вот надо.
Поскольку ничего толком не помню, то решил что в любом случае буду разбираться снова с нуля, так что решил остановиться на еще одном opensourse пакете 3proxy, который в настоящее время является конкурентом squid и nginx, но при этом легковеснее и, как пишут, гораздо проще в настройках.
Что я и решил проверить.
Кстати, к вопросу об анонимном серфинге в интернете- решил потестить купленные приватные прокси сервера на бродилках, и столкнулся с прикольным моментом, что Safari, при настройке прокси сервера в свойствах обозревателя (Настройки -> Дополнения -> Прокси), обращается к настройкам IE, через которые он и работает, так что в поле вводится IP адрес и порт, а логин запрашивается при первой попытке соединения. А вот в случае Mozilla Firefox этого не происходит, и страница просто не грузится, так как FF не понимает никакого синтаксиса.
В этой связи следует произвести некоторую не сложную настройку браузера:
1. Открывает браузер FF и вбиваем в адресную строку сервисный адрес about:config ;
2. Находим строку network.negotiate-auth.delegation-uris (проще всего вбить её в строку фильтра);
3. Дважды щелкаем на неё мышкой и вводим в открывшееся поле наш прокси сервер, через который будет работать (если планируем использовать несколько, то вбиваем их через запятую) и сохраняем;
4. Проделываем ту же процедуру (описанную в п.2 и 3) с переменной network.negotiate-auth.trusted-uris;
5. Находим переменную network.ntlm.send-lm-response и двойным кликом переключаем её в состояние true;
6. В настройке FF вставляем наш прокси сервер и порт (Инструменты -> Настройка -> Дополнительный -> вкладка Сеть -> раздел Соединение -> Настроить -> Ручная настройка);
7. Все сохраняем и открываем нужный нам сайт- после того как выскочит приглашение на ввод пароля- вводим логин и ставим галку сохранить.
З.Ы. Ну и на закуску прикольный момент от FF- введите в адресной строке сервисный адрес about:robots и поймете, что программеры Mozilla не только читали Айзека Азимова, но и обладают чувством юмора. Также если ввести адрес about:mozilla то будут показываться цитаты из выдуманной книги Mozilla, адрес же about:about выведет весь список возможных адресов (данный функционал не поддерживается в версии 3.6)
Начав более плотно работать со со вяческой сеошной софтиной, столкнулся с тем моментом, что на парсинге поисковиков начал хватать баны, да и постинг во фришные блоги также было стремно производить с домашнего IP, так как похерить сетку блогов из-за собственной разявости- не очень интересно. Поэтому сам собой родился вопрос об использовании прокси сервера, ведь помимо ананимности, прокси сервер позволяет значительно ускорить работу приложения, за счет увеличения числа потоков.
SOCKS сервера я откинул сразу, ибо при всей многофункциональности, они в плане работоспособности и быстродействия, значительно уступают HTTP прокси серверам. Для начала я воспользовался имевшимся у меня в наличии сборщиком прокси серверов, и напарсил себе с инета базу в районе 10к проксей. После этого, прогнав через пару чекалок, оставил около полутора штук, но после проверки на анонимность, выяснилось, что использовать можно от силы штук 300. На самом деле, относительно анонимности, я проверял только на счет полной перезаписи пакета, ведь не секрет что прокси сервер, в зависимости от своего типа, либо дописывает к заголовку свою инфу, и тогда отправитель выпаливается, словно он работает без прокси; или же заголовок сетевого пакета переписывается полностью, и тогда для целевого хоста, отправителем будет являться прокси сервер. Но помимо этого, если уж мы говорим про анонимность в интернете, то также надо интересоваться логированием на прокси сервере, ибо через него проходит много различной инфы. Собственно то, что называется элитные прокси, как раз и является сервером полной анонимности- с полной перезаписью пакета, по так называемому level 1 проксирования.
После этой фильтрации я приступил к работе с оставшимся списком, но терпения хватило на день, так как прокси сервера постоянно то уходили в бан, то были недоступны, то начинали дико тупить. Пересканив первоначальную базу, я обнаружил, что часть IP стала недоступной, а часть, напротив, поднялась. Тем более что и софтина тоже тормозила и фейкала, так что, не мудрствуя лукаво, я решил обратиться к публичным спискам.
С ними, по сути, получилась такая же тема, как и со спарсенными проксями, то есть как тока прокси сервер появлялся в списке, с ним некоторое время возможно было работать, после чего на него, по видимому, приходила вся толпа юзверей, в результате чего прокси либо начинал дико тормозить, либо уходил в бан. И так же как и со спарсенными списками, больше времени уходило на поддержку актуальных и работающих списков, чем на работу с ними. Так что вариант оставался только один – купить прокси сервер. Но поскольку покупка анонимного прокси сервера вещь муторная, то пришлось порыться в инете, пока я не нашел обьяву на одном из вебмастерских форумов, в которой предлагали купить пачками анонимный прокси сервер в США и Европе. Списавшись с ТС, я довольно быстро прикупил пару проксей на тест. Со слов продавца- это безлимитные прокси сервера, на которых живет максимум 3 человека. Потестив, я получил со стримовской сетки время отклика: от европейских прокси порядка 230ms, а от прокси в Америке порядка 340ms.
Приколол конечно ответ продавца, когда я двинул тему на счет того, что будет, если я например решу использовать данные прокси для брута (чисто гипотетически) на что получил ответ, что в принципе продавцу по большому счету все равно в каких целях я планирую использовать купленные прокси сервера, но он надеется на мою добропорядочность. Так что в итоге я прикупил пачку из 10 прокси серверов из Америки и Европы, всего за 20$, которые и пользую в данный момент. Скорость действительно прилично возросла, так что позволяет теперь одновременно парсить поисковые системы, чекать результаты постинга и одновременно постить из двух копий. Единственный момент, что прокси серверы эпизодически попадают в бан у поисковых систем, но он спадает где то в течении получаса. Однако все таки, уже подумываю о том чтобы еще купить прокси серверов хотя бы штук 10, тем более что и хрумак все таки надо брать в ближайшее время.
Ну и поскольку продавец проксей обещал выдать в следующий раз небольшую скидку на покупку анонимных прокси в Америке, то даю линк по которому можно купить прокси сервер в США и Европе.
