Semalt пояснює, чому слід блокувати ботів та сканерів веб-сайтів

Можна з упевненістю сказати, що багато переглядів, які надходять на ваш веб-сайт, виходять з нелюдських та неістинних джерел, і це не нормально, оскільки ви повинні позбутися цього, якщо хочете бачити, щоб ваш веб-сайт зростав на все життя. Якщо ви вважаєте, що трафік бота хороший і надійний, ви робите велику помилку, оскільки це може призвести Google до вимкнення вашого облікового запису AdSense. Найчастіше боти видно як трафік людей в Google Analytics, але це не було так місяцями тому. В наші дні більше семидесяти відсотків трафіку, створюваного невеликими веб-сайтами, припадає на боти та підроблені джерела. Макс Белл, експерт Semalt , попереджає вас, що боти завжди намагаються потрапити на ваш сайт безліччю способів, і можливо, ви не зможете їх позбутися.

Хороші боти

Значна кількість ботів, які відвідують ваші сайти, є не що інше, як підробка та марність; навіть вони корисні для ваших веб-сторінок, якщо вони надходять у невеликій кількості. Наприклад, деякі з хороших ботів використовуються самим Google для відкриття нового вмісту в Інтернеті. Майже всі пошукові системи використовують хороші боти, щоб визначити якість статей. Те, як вони визначають якість, було змінено, тепер вони вдаються до використання масових програм програмного забезпечення. Рої переходять за посиланнями, переходять з одного сайту на інший та індексують новий та змінений вміст. Боти Google складні, з глибоким набором правил, які можуть керувати їх поведінкою. Наприклад, команда NoFollow у посиланнях робить їх менш ефективними та непомітними для ботів Google.

Погані боти

Погані боти - це ті, що руйнують ваш сайт і не можуть принести ніякої користі. Вони навмисно шукаються і автоматично індексуються. Ваш вміст відображається як для людей, так і для ботів, ігноруючи якість та справжність. Погані боти ігнорують директиви роботів і не використовують блоки IP для підтримки якості веб-сторінок. Однією з найбільших проблем цих ботів є те, що вміст важко індексувати, і він залишається прихованим від загального користування, залишаючись відкритим для хакерів, які можуть отримати доступ до ваших файлів, щоб отримати компрометацію вашої системи. Існують і спам-боти, які можуть пошкодити загальну ефективність вашого сайту. Вони наповнюють ваш сайт заздалегідь визначеними повідомленнями, змушуючи афілійованих маркетологів почуватися погано.

Чи варто блокувати ботів?

Якщо ви постійно отримуєте перегляди від добрих ботів, вони можуть не знадобитися, щоб заблокувати їх. Але якщо ви отримуєте перегляди від поганих ботів, ви можете розглянути можливість їх блокування. Вам слід заблокувати Googlebot, який є для видалення вашого сайту з результатів пошукової системи. З іншого боку, вам обов'язково слід блокувати спам-боти. Якщо ви знаєте про захист свого сайту від DDOSing, необхідно заблокувати IP-адреси ботів і спамерів. Завжди пам’ятайте, що погані боти ніколи не піклуються про ваші файли robot.txt, що дуже прикро, оскільки захист цього файлу є обов'язковим для зростання вашого сайту та його загальної продуктивності.

mass gmail