Індексація в Інтернеті є невід'ємною частиною роботи пошукових систем, дозволяючи їм сканувати та реєструвати веб-ресурси для подальшого включення у видачу пошуку. Проте, є випадки, коли необхідно закрити від індексації деякі технічні сторінки та розділи.
Загалом індексація відбувається шляхом сканування сайтів пошуковими крулерами. Таким чином такі пошукові павуки переходять по кожному посиланню та відвідують кожну внутрішню та зовнішню сторінку, яку знаходять.
Іншими словами, індексація це просто парсинг усіх сайтів в Інтернеті, шляхом переходу і сканування всіх посиланням що знаходить.
Найпоширенішим та простим методом є використання файлу robots.txt. Цей текстовий файл розташовується в кореневій папці сайту і включає правила для пошукових роботів. Наприклад, "User-agent: *" вказує всім роботам, а "Disallow: /" забороняє їм індексувати всі сторінки сайту. Більше інформації про налаштування robots.txt.
Використання метатега "noindex" в HTML-коді є ефективним методом управління індексацією веб-сторінок для пошукових систем. Цей тег дозволяє веб-мастерам чітко визначати, чи слід індексувати конкретну сторінку, чи ні, що має важливе значення для стратегії SEO та контролю індексації в пошукових системах.
Метатег “noindex" вказує пошуковим системам, що вони не повинні включати дану сторінку в свої індекси, тобто не розміщувати її в базі даних результатів пошуку. Це може бути корисним при різних ситуаціях як, наприклад при великій кількості сторінок фільтрів, де необхідно закрити лише деякі від індексації.
У прикладі <meta name="robots" content="noindex, follow">, атрибут "noindex" позначає, що сторінку не слід індексувати, а "follow" дозволяє пошуковим системам слідувати по посиланнях на цій сторінці. Це означає, що хоча сама сторінка не буде включена в індекс, пошукові системи можуть проіндексувати інші сторінки, на які вона посилається.
Існує 2 основних методи перевірки чи проіндексований наш сайт, це Search Console та безпосередньо в пошуку Google, далі проаналізуємо ці методи більш докладно.
Для перевірки індексації сайту в Search Console необхідно насамперед зареєструвати його в даному софті. Далі через 24 години ми зможемо побачити першу аналітику. Дані з індексації знаходяться в цьому місці:
Але є один мінус такої перевірки, а саме дані будуть надаватись тільки зареєстрованим сайтам, саме тому ми не можемо таким чином дізнатись чи якийсь інший сайт пройшов індексацію.
Цей метод найбільш популярний та простий. В пошуку Google необхідно ввести наступну фразу “site:https://domain.com”. Де site: це пошукова фраза, а https://domain.com це сайт який необхідно перевірити. Приклад:
Забезпечення оптимального захисту від індексації включає в себе важливий аспект комбінування різних методів одночасно. В такому випадку, використання комбінації robots.txt і метатега "noindex" в HTML-коді може виявитися найбільш ефективним рішенням.
Файл robots.txt надає інструкції пошуковим системам щодо того, які частини сайту слід і які не слід індексувати. Однак це не завжди може бути достатньо для гарантування відсутності важливої інформації у пошукових результатах. Тут важливим доповненням є використання метатега "noindex", який дозволяє точно визначити індексаційні налаштування для конкретної сторінки.
В'ячеслав Кротевич