DF Service

Professional Web Software Development

Russian | English      

  ГлавнаяПоискВходРегистрация  
 
Страниц: 1
Послать Тему Печать
FAQ PR/Alexa Чекер. ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ. (Прочитано 16714 раз)
DF™
Global Moderator
DFService
*****
Вне Форума

DFService

Сообщений: 19
MSK
FAQ PR/Alexa Чекер. ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ.
04/25/07 :: 10:09:24
 
DF™ Google PR and Alexa Traffic Rank Checker

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ.


Какова производительность чекера?
Чекер способен определять значения PR/Alexa для нескольких тысяч адресов в минуту.
В основном скорость определения зависит от заданного количества потоков, загруженности канала сервера и количества заданных датацентров Google (при определении максимального PageRank по нескольким датацентрам). При увеличении количества потоков производительность чекера будет увеличиваться, до тех пор, пока сервер не будет перегружен. Дальнейшее увеличение количества потоков будет снижать производительность. Для достижения максимальной производительности количество потоков должно быть оптимальным и может варьироваться на разных серверах от 20 до 100+.
За счет реализация чекера на С++ он имеет несколько большую производительность и требует меньше ресурсов по сравнению с аналогичными чекерами написанными на PHP и Perl.

Как определить PR/Alexa для большого количества адресов?
Используя веб-интерфейс чекера нельзя определить PR/Alexa для большого количества веб-адресов, для этого надо использовать shell или cron.
Запущенные из веб скрипты имеют ограничение по времени выполнения (30 сек). При попытке определить PR/Alexa для большого количества адресов через скрипт веб-интерфейса, сервер может остановить чекер раньше, чем он закончит работу.
Скрипты запушенные из shell или cron, как правило, не ограничены по времени выполнения, поэтому подходят для выполнения данной задачи. При этом чекер вызывается из командной строки с необходимыми параметрами, а веб-адреса задаются в текстовом файле.

Почему после запуска чекера ничего не происходит?
Чекер не выводит данные во время проверки. Необходимо дождаться выполнения всего задания, после чекер выдаст все данные сразу, заданным вами способом (в файл или на экран).

Как запускать чекер из cron?
Чекер необходимо запускать из того каталога, где он установлен. Для этого перед запуском чекера необходимо назначить текущим (рабочим) каталогом - каталог с чекером.
Смена текущего каталога производиться с помощью команды cd (Unix).
Пример. Запускать каждый день в 02 часа 15 минут, определение PageRank для адресов из файла urls.txt, использовать 25 потоков, после определения разложить веб-адреса по файлам (0pr.txt, 1pr.txt.. 10pr.txt) в зависимости от их PageRank.

Командная строка cron:
Код:
15 2 * * * cd /home/clients/df_ftp0/domains/dfservice.com/html/cgi-bin ; ./chkrpra.cgi check gpr=on indata=file infile=./urls.txt outdata=file outfile=pr.txt sortby=prfile threads=25 



Где: /home/clients/df_ftp0/domains/dfservice.com/html/cgi-bin – папка с чекером (./chkrpra.cgi).
Наверх
(вложенный файл удалён)  
« Последняя редакция: 05/26/09 :: 15:00:07 от DVA »  
Посмотреть Профиль WWW 6777546   IP записан
DVA
YaBB Administrator
DFService
*****
Вне Форума

Support

Сообщений: 91
MSK
Пол: male
FAQ. DF Google PR / Alexa Checker
Ответ #1 - 07/28/08 :: 11:53:00
 
Как быстро гугл банит IP?
Достаточно быстро, необходимо использовать прокси. В чекере уже предусмотрена такая возможность.

Какие прокси использует чекер?
Только обычные http-прокси (не SOCKS) и без паролей.

Наверх
 
« Последняя редакция: 08/04/08 :: 14:43:05 от DVA »  

RTFM
Посмотреть Профиль WWW   IP записан
DVA
YaBB Administrator
DFService
*****
Вне Форума

Support

Сообщений: 91
MSK
Пол: male
Re: FAQ. DF Google PR / Alexa Checker
Ответ #2 - 08/26/08 :: 11:27:03
 
Цитата:
Подскажите плиз, какие ограничения на количество определяемых вэб адресов для этой утилиты. Например список из 10К адресов можно ли будет прочекать и сколько уйдет на это время?

Ограничений на количество определяемых вэб-адресов в скрипте нет. Для проверки большого количества адресов необходимо запускать чекер из консоли (shell), иначе веб-сервер (апач) просто закроет скрипт через определенное время (30 секунд у большинства). Скрипту можно давать файлы с веб-адресами по 10-30Мб, он загрузит их в память (очень большой файл сервер может не позволить загрузить в память) и выдаст РЕЗУЛЬТАТ ПОСЛЕ ПРОВЕРКИ всех веб-адресов. Скорость проверки зависит от назначенного числа потоков (максимальное количество потоков не ограничено в чекере) и канала сервера (скорости интернета). Сам чекер написан на С++, многопоточный на нитях и соответственно весьма производительный и менее требовательный к ресурсам чем чекеры на других языках (Perl/PHP).
Проблема в том, что для определения PageRank/Alexa для большого количества веб-адресов требуются прокси сервера т.к. ИП сервера достаточно быстро банятся. В итоге скорость определения PageRank/Alexa в основном зависит от скорости и количества прокси серверов, и может меняться в больших пределах.
Чтоб узнать на что способен чекер рекомендую просто скачать триал версию чекера ( http://www.dfservice.com/checker/index.html.ru.htm#pra_trial ) и опробовать её в работе.
Наверх
 
 

RTFM
Посмотреть Профиль WWW   IP записан
Страниц: 1
Послать Тему Печать