Comprendre le trafic bot & Comment l'arrêter

Le site web bot est consulté par des machines et non par des êtres humains. Le clic, le commentaire ou la visite que vous croyez provenir d'une personne provient en fait d'un programme informatique.

Les robots ne sont pas intrinsèquement bons ou mauvais. Les ordinateurs peuvent effectuer des tâches répétitives très rapidement, et web bot peut effectuer de nombreuses tâches essentielles à vos performances et à votre suivi. Mais web bot hits peut aussi vous coûter beaucoup d'argent.

Le site web bot est à l'origine d'environ 40 % de l'ensemble du trafic internet. Les bot sont vraiment partout.

Voyons plus en détail ce qui distingue les bons des mauvais. Nous terminerons par quelques conseils que vous pouvez utiliser pour surveiller et arrêter le trafic sur le site bot.

Qu'est-ce qu'un trafic bot?

Le nombre de visites sur le site bot provient d'un script programmé. Un développeur crée un programme qui peut cliquer sur des liens, télécharger des images ou effectuer d'autres tâches simples.

Lorsqu'un programme de ce type est écrit, un développeur peut le lancer sur presque n'importe quel site web et attendre les résultats sans autre forme de procès. La plupart des robots fonctionnent presque tout le temps.

Il y a de fortes chances que le contrat de votre site web soit conclu avec au moins une sorte de bot. Environ 85 % des sites web qui analysent le trafic utilisent Google Analytique. Si cet outil est installé sur votre site, recherchez le trafic qui l'est :

• Rebondissement. Un site bot n'a besoin que de quelques secondes pour consulter une page. Si votre taux de rebond est très élevé, vous avez probablement affaire à un site bot.
   
• Profond. Un trafic bot examinera probablement l'ensemble de votre site, page par page.
   
• Étranger. Si votre site web est destiné à des profils cibles locaux et que vous recevez soudain de nombreux visiteurs de pays lointains, vous avez probablement affaire à un site bot. 

Vous pouvez également repérer un bot de trafic par son comportement sur votre site. Si un article que vous publiez reçoit soudainement des centaines de visites et que votre section de commentaires est remplie de phrases sans queue ni tête, il se peut qu'un site bot soit à l'œuvre.

Bon bot de trafic

Vous avez probablement rédigé votre Sommaire en pensant aux humains, et il peut être difficile d'envisager que des ordinateurs occupent tout votre trafic. Mais certains robots de sites web peuvent être bénéfiques pour vos performances.

Ce sont là quatre exemples de bons bot :

1. Agrégation : Ces robots Web rassemblent des données provenant de plusieurs sites Web et les regroupent sur une seule page. Un tel bot pourrait placer votre site web sur la première page de Google en tant que " "featured extrait de code"." Cela pourrait se traduire par des milliers de visites de personnes réelles.
    
2. analytique : Ces robots de trafic surveillent le nombre de personnes qui visitent votre site, les pages qu'elles visitent, la vitesse de chargement de vos pages, et bien plus encore. Ces données peuvent aider des sites comme Google et Bing à déterminer la valeur de votre Sommaire.
    
3. Droit d'auteur : si quelqu'un vole votre Sommaire et que vous décidez d'intenter une action en justice, vous pouvez obtenir jusqu'à 150 000 dollars de dommages-intérêts par infraction. Les droits d'auteur vous aident à repérer rapidement le vol et à prouver que vous avez été lésé.
    
4. Optimisation des moteurs de recherche : Les robots de référencement parcourent chaque page de votre site web et déterminent ce dont vous discutez. Cela permet à des sites comme Google et Bing de déterminer les termes de recherche qui devraient déclencher l'affichage de vos pages.

L'une ou l'autre de ces tâches, voire toutes, peuvent être déterminantes pour votre réussite.

Mauvais bot de trafic

Les programmeurs peuvent utiliser des robots de trafic pour attaquer votre site, voler vos ressources, ou les deux.

Voici six exemples de mauvais bot :

1. Fraude publicitaire : Les robots programmés pour cliquer sur vos publicités payantes peuvent vider votre compte en banque. Selon les experts, ce type de fraude publicitaire coûte aux entreprises environ 35 milliards de dollars par an.
    
2. Fraude au clic : Les programmeurs peuvent créer des scripts qui chargent de manière répétée une page de votre site web. Cela peut donner l'impression qu'une page web est plus importante qu'elle ne l'est en réalité. Et si vous avez quelque chose d'embarrassant sur votre site web (comme un communiqué de presse que vous souhaiteriez ne pas avoir écrit), les technologies de l'information pourraient rendre cette page très visible.
    
3. DDoS. peut tenter de charger votre site web à plusieurs reprises, et tout ce trafic peut surcharger votre serveur et rendre votre site indisponible. Parfois, les pirates demandent un paiement avant de désactiver leur robot.
    
4. Scraping : Publiez-vous des adresses électroniques ou des informations de contact sur votre site web ? Un robot d'extraction peut extraire ces informations et les vendre au plus offrant.
    
5. Spam : un robot peut remplir un formulaire sur votre site web. Ils pourraient remplir votre boîte de réception de messages absurdes ou publier des réponses étranges dans votre section de commentaires.
    
6. Vulnérabilité : Un programmeur crée un site web bot pour explorer vos pages et rechercher des problèmes de sécurité. Un rapport remonte à un hacker qui peut vous attaquer.

L'une ou l'autre de ces erreurs peut coûter beaucoup d'argent à votre entreprise.

Comment arrêter le mauvais bot

Il n'est pas judicieux de tenir tous les robots à l'écart de votre site web. Vous avez besoin de certains des avantages qu'ils offrent. Mais vous devez faire tout ce qui est en votre pouvoir pour éloigner le mauvais bot.

Essayez ces trois étapes :

1. Ajustez les paramètres de votre site web. Un petit bout de code (un fichier robots.txt) indique aux robots ce qu'ils doivent ou ne doivent pas explorer sur votre site. Utilisez l'IT pour empêcher l'inspection de certaines pages.

   Mais sachez que seuls les bons bot respectent les règles. Le méchant bot fera probablement ce qu'il veut, que vous l'aimiez ou non.
    

2. Engagez un programmeur. Demandez à un expert d'examiner vos rapports et de repérer les adresses IP responsables du trafic bot. Bloquez-les manuellement à l'aide d'un outil de filtrage.
    
3. Utilisez un outil. Gestion des robots solutions Utilisez le code pour empêcher les robots malveillants de semer le chaos. Ces outils utilisent machine learning, ils deviennent donc plus efficaces au fur et à mesure que vous les utilisez.

A Okta, nous vous proposons d'excellentes solutions de gestion bot. Notre intégration avec tbd X empêche les robots malveillants de menacer votre entreprise. Découvrez le fonctionnement des technologies de l'information.

Références

Statistiques d'utilisation et parts de marché de Google Analytique pour les sites web. W3 Techs.

Les mauvais robots représentent désormais 20 % du trafic sur le web. (Avril 2019). ZDNet.

Violation des droits d'auteur. Projet de loi sur les médias numériques.

Rapport CHEQ : Le coût de la fraude publicitaire numérique atteindra 35 milliards de dollars dans le monde en 2020. (Novembre 2020). Série MarTech.