Ежемесячная уборка в Яндексе

Да элементарная статистика, просто отслеживаем только боты (скрипт на PHP �?пилит в текстовый файл):

<?php
$agent = $_SERVER["HTTP_USER_AGENT"];
if (eregi("Yandex", $agent)) $agent_name = 'ßndex';
if (eregi("Rambler", $agent)) $agent_name = 'Rambler';
if (eregi("Google", $agent)) $agent_name = 'Google';
if (eregi("Aport", $agent)) $agent_name = 'Aport';
if (eregi("Yahoo",$agent)) $agent_name = 'Yahoo!';
if (eregi("msn",$agent)) $agent_name = 'MSN';

if (!empty($agent_name)) {
$fp=fopen("bots.txt","a+");
fputs($fp, $_SERVER["REMOTE_ADDR"]." ".$agent_name." ".$_SERVER["REQUEST_URI"]." ".date("d-m-y H:i")."\n");
fclose($fp);
}
?>

Да, но вообще есть более крутой оборот вещей. Как ты знае�?ь многие поисковики Яндекс, Yahoo (это точно) индексируют страницы с параметрами, такие как: page.php?q=vasya&p=2, каким то образом имя файла пропадает и получается вот такая страница: ?q=vasya&p=2, которой естественно есть и нет одновременно. Есть index.php, но какое отно�?ение он имеет к этим параметрам? Правильно – никакого. Вообще убивает и тот факт, что неоднократно увидев 404 о�?ибку, паук не спе�?ит удалять страницу. Да что там, паук не всегда замечает запреты robots.txt