Users Agent – где взял?

Сижу и пишу парсер поисковиков с использованием прокси. И тут понимаю, что надо бы для парсера список различных user-agent, а где и взять в большом количестве?

Ясен пень, в логах своих сайтов. Сказано сделано, написал код вырезающий из логов юзер-агента

set_time_limit(0);
$a_user_agents=array();
$files=scandir("logs");
for($i=2;$i {$file_handle = @fopen("logs/".$files[$i], "r");
while (!feof($file_handle))
{$line = fgets($file_handle);
preg_match_all('/"(.*?)"/si', $line, $user_agent);
$a_user_agents[]=$user_agent[1][count($user_agent[1])-1];
}
@fclose($file_handle);
}

$a_user_agents=array_unique($a_user_agents);
sort($a_user_agents);
echo implode("<br>", $a_user_agents);

Создайте любой файл с расширением php, скопируйте в него код, что представлен выше. Создайте папку logs, залейте туда логи своих посещаемых сайтов (не надо большие логи, достаточно 1-2 мб веса). Запустите скрипт и вот вам список юзер-агентов, которые посещают ваш сайт.

Также по теме

Если вам понравился пост, вы можете оставить комментарий или подписаться на RSS и получать каждый новый пост из этого блога.

Комментарии

Еще как вариант, находить юзер агенты, много юзер агентов, просматривая стату TDS (система распределения трафика) у кого естественно она есть.

могу подкинуть базу 3769 вариаций)

Давай, подкидывай ;)

а не проще здесь взять http://www.user-agents.org/ , да и отсортированы по алфавиту.

А разница? Все равно вырезать из текста. Свои-то роднее.
Да и пост Ваш из-за ссылки ведь? Не ради правды, тем более, что ответа не получу:-)

С ху*ли не получишь =)
Читаю потихоньку блог, вот увидел про юзер-агенты, дай думаю ссылку напишу, так как сам недавно искал, мож кому интересно будет перейти да посмотреть. Не нравится трите каммент, трите ссылку, хотя нет я ее за вас потру =)
Следующие каменты будут без ссылки на сайт =)
Если это вас так задевает.

Оставьте комментарий

(обязательно)

(обязательно)