Robots.txt - важливий інструмент для керування індексацією вашого веб-сайту. Він дозволяє вам точно вказати пошуковим системам, які частини вашого сайту можна індексувати, а які - ні. Необхідно правильно налаштувати цей файл, щоб забезпечити оптимальну видимість та захист конфіденційної інформації.
Robots.txt важливий з кількох причин:
Таким чином, підсумуючи, robots.txt необхідний аби вказувати пошуковим системам, що треба індексувати, а що ні. Наприклад продуктові, сервісні та категорійні сторінки потрібно всі показувати Google, а ось сторінки авторизації, технічні сторінки шаблонів, особиста інформація користувачів - це все потрібно закривати.
Для того, щоб дослідити що саме означає той чи інший запис, візьмемо для прикладу заповнений robots.txt:
Загалом є 4 записи які необхідно знати:
1. User-agent: - даний запис показує до яких пошукових систем ми звертаємось. Позначка означає, що звертаємось до всіх пошукових систем. 2. Disallow: /?set_filter= - даний запис позначає директорії які необхідно закрити від індексації. В такому випадку необхідно закрити всі посилання які містять в собі /*?set_filter= - зірки означають будь-який контент який там знаходиться, приклад: https://domain.com/123 ?set_filter=123 / https://domain.com/category:farby ?set_filter=colir:zelenyy / Такі сторінки будуть закриті. 3. Allow: /local/* .gif - такий запис позначає відкриті категорії для індексації.
Загалом пошукові системи будуть індексувати всі сторінки, які не заблоковані, тоді навіщо дозволяти індексувати деякі URL-и, зображення чи скрипти? Все дуже просто, пошуковий краулер читає будь-який код зверху - вниз. Що означає, що якщо ми блокуємо індексацію, наприклад сторінок фільтрів, ми не хочемо аби картинки чи скрипти в цих категоріях були закриті. Тому таким чином ми вказуємо, що, наприклад ось цей лінк заблокований: https://domain.com/123 ?set_filter=123 / Але картинки в ньому, в даному прикладі формату .gif необхідно просканувати. 4. Sitemap: https://domain.com/sitemap.xml - цей запис необхідно вставляти в самому кінці, аби позначати карту сайту.
Якщо ви використовуєте популярні cms для сайту, то можна скористатись заготовками для robots.txt.
Приклад для Wordpress:
User-agent: *
Disallow: /author/
Disallow: /wp-
Disallow: /readme
Disallow: /search
Disallow: *?s=
Disallow: *&s=
Disallow: */reviews/
Disallow: */attachment/
Disallow: */embed
Disallow: */page/
Disallow: ycl=
Disallow: gcl=
Disallow: cpa=
Disallow: utm=
Disallow: clid=
Disallow: openstat= Allow: /wp-/.css
Allow: /wp-/.js
Allow: /wp-/.jpg
Allow: /wp-/.png
Allow: /wp-/.gif
Allow: /wp-/.woff
Sitemap: https://domen.com/sitemap.xml
Приклад для Opencart:
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Sitemap: https://domen.com/sitemap.xml
Але з кожною новою версією тієї чи іншої CMS, можуть відрізнятись деякі директорії, тому я раджу все одно перевіряти вручну які сторінки є технічними та чи не закрили ми ненароком корисну сторінку для користувача. Що ж до самописних сайтів, то необхідно дослідити всі сторінки, а також скрипти які необхідно аби виконувались та дуже уважно заповнити роботс.
Також якщо ви не впевнені в коректності заповнення файлу robots, можна скористатись тулом від Google: https://www.google.com/webmasters/tools/robots-testing-tool
Robots.txt - надзвичайно важливий інструмент для коректної індексації сайту.
Якщо не створити robots.txt, пошукові системи індексуватимуть всі доступні сторінки вашого сайту. Це може призвести до небажаних наслідків, таких як індексація конфіденційної інформації, дублювання сторінок, засмічення видачі пошукових систем тощо. Тому як тільки планується запускати свій сайт, необхідно зробити аналіз того, що саме треба показувати пошуковим системам, а що ні.
В'ячеслав Кротевич