Как указать поисковику на оригинал страницы

Не знаю зачем еще дублировать страницы, кроме как плагиата но, оказалось, что поисковые роботы восприняли мой Визуальный HTML парсер как дубли стилизируемых страниц. Мне об этом сообщил владелец / администратор ресурса. Действительно как-то не хорошо получается. Хотя плагиатом то я и не собирался заниматься.

Для устранения этой ситуации мы можем:

  1. Указать в атрибуте REL=CANONICAL в HEAD секции страницы, которую парсим оригинальный источник:

    <link rel="canonical" href="http://original.site/page.html" />'
    
  2. Закрыть все файлы с параметром ?url в определенной секции сайта от поисковиков с помощью robots.txt:

    User-agent: *
    Disallow: /path/to/directory/index.php?url*