Основной проблемой большинства программ по поиску дублей контента (Advego Plagiatus, и т.д.) является то, что надо копипастить конкретный фрагмент текста, и можно проверять наличие дублей только этой части текста. А зачастую бывает так, что на сайте тысячи страниц, и понять, где дубли очень сложно. Но очень грубо это можно сделать при помощи Xenu Sleuth (скачать zip).

Порядок действий:
Menu «File» — Check URL — вписываем все как на картинке
Результаты экспортируем в текст, и вставляем в экселевскую таблицу. Сортируя урлы удаляем все лишнее.
А дальше в два этапа:

1. Выделяем колонку «Size» и автоматически отмечаем все одинаковые значения цветом. Бегло пролистав список можно будет легко найти страницы одинакового размера, они скорее всего будут являться дублями
2. Выделяем колонку «Title» и делаем то же самое

Подкрашивание одинаковых ячеек в Excel начиная с 2007.
Выделяем все ячейки с данными и на вкладке Главная (Home) жмем кнопку Условное форматирование (Conditional Formatting), затем выбираем Правила выделения ячеек — Повторяющиеся значения (Highlight Cell Rules — Duplicate Values).

http://www.linguaxtrem.at/reformator/

(Думал сам спереть и у себя где-то повесить, но лень)