DF™ Google PR and Alexa Traffic Rank Checker

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ.

Какова производительность чекера?
Чекер способен определять значения PR/Alexa для нескольких тысяч адресов в минуту.
В основном скорость определения зависит от заданного количества потоков, загруженности канала сервера и количества заданных датацентров Google (при определении максимального PageRank по нескольким датацентрам). При увеличении количества потоков производительность чекера будет увеличиваться, до тех пор, пока сервер не будет перегружен. Дальнейшее увеличение количества потоков будет снижать производительность. Для достижения максимальной производительности количество потоков должно быть оптимальным и может варьироваться на разных серверах от 20 до 100+.
За счет реализация чекера на С++ он имеет несколько большую производительность и требует меньше ресурсов по сравнению с аналогичными чекерами написанными на PHP и Perl.

Как определить PR/Alexa для большого количества адресов?
Используя веб-интерфейс чекера нельзя определить PR/Alexa для большого количества веб-адресов, для этого надо использовать shell или cron.
Запущенные из веб скрипты имеют ограничение по времени выполнения (30 сек). При попытке определить PR/Alexa для большого количества адресов через скрипт веб-интерфейса, сервер может остановить чекер раньше, чем он закончит работу.
Скрипты запушенные из shell или cron, как правило, не ограничены по времени выполнения, поэтому подходят для выполнения данной задачи. При этом чекер вызывается из командной строки с необходимыми параметрами, а веб-адреса задаются в текстовом файле.

Почему после запуска чекера ничего не происходит?
Чекер не выводит данные во время проверки. Необходимо дождаться выполнения всего задания, после чекер выдаст все данные сразу, заданным вами способом (в файл или на экран).

Как запускать чекер из cron?
Чекер необходимо запускать из того каталога, где он установлен. Для этого перед запуском чекера необходимо назначить текущим (рабочим) каталогом - каталог с чекером.
Смена текущего каталога производиться с помощью команды cd (Unix).
Пример. Запускать каждый день в 02 часа 15 минут, определение PageRank для адресов из файла urls.txt, использовать 25 потоков, после определения разложить веб-адреса по файлам (0pr.txt, 1pr.txt.. 10pr.txt) в зависимости от их PageRank.

Командная строка cron:
Код:

15 2 * * * cd /home/clients/df_ftp0/domains/dfservice.com/html/cgi-bin ; ./chkrpra.cgi check gpr=on indata=file infile=./urls.txt outdata=file outfile=pr.txt sortby=prfile threads=25 

Где: /home/clients/df_ftp0/domains/dfservice.com/html/cgi-bin – папка с чекером (./chkrpra.cgi).

Цитата:

Ограничений на количество определяемых вэб-адресов в скрипте нет. Для проверки большого количества адресов необходимо запускать чекер из консоли (shell), иначе веб-сервер (апач) просто закроет скрипт через определенное время (30 секунд у большинства). Скрипту можно давать файлы с веб-адресами по 10-30Мб, он загрузит их в память (очень большой файл сервер может не позволить загрузить в память) и выдаст РЕЗУЛЬТАТ ПОСЛЕ ПРОВЕРКИ всех веб-адресов. Скорость проверки зависит от назначенного числа потоков (максимальное количество потоков не ограничено в чекере) и канала сервера (скорости интернета). Сам чекер написан на С++, многопоточный на нитях и соответственно весьма производительный и менее требовательный к ресурсам чем чекеры на других языках (Perl/PHP).
Проблема в том, что для определения PageRank/Alexa для большого количества веб-адресов требуются прокси сервера т.к. ИП сервера достаточно быстро банятся. В итоге скорость определения PageRank/Alexa в основном зависит от скорости и количества прокси серверов, и может меняться в больших пределах.
Чтоб узнать на что способен чекер рекомендую просто скачать триал версию чекера ( http://www.dfservice.com/checker/index.html.ru.htm#pra_trial ) и опробовать её в работе.