В ЖЖ открылось сообщество ru_ir, посвященное обсуждению методов информационного поиска:

Главная задача информационного поиска — помочь пользователю найти ту информацию, в которой он заинтересован. Кроме методов поиска документов удовлетворяющих запросу, обсуждаются также смежные проблемы — кластеризация, классификация и фильтрация документов.

Уже можно почитать на довольно доступном для не научных людей языке про метод ??инглов для выявления похожих страниц.