La société d'hébergement WordPress WP Engine Inc. a ajouté aujourd'hui la gestion des robots à son service Global Edge Security, offrant ainsi aux opérateurs de sites un moyen de filtrer le volume croissant de trafic automatisé et d'intelligence artificielle atteignant leurs sites.
La société basée à Austin, au Texas, gère plus de 5 millions de sites WordPress et a construit Global Edge Security avec Cloudflare Inc. Les nouveaux contrôles s'ajoutent à ce service et permettent aux équipes Web d'écrire, de tester et de modifier les règles qui bloquent ou autorisent le trafic des robots en fonction de la région, de la catégorie ou du comportement.
Les agents d’IA, les scrapers et autres systèmes automatisés représentent désormais une part importante des requêtes arrivant sur le Web ouvert. WP Engine affirme avoir atténué plus de 75 milliards de demandes de robots sur sa plate-forme l'année dernière et un récent rapport sur le trafic de l'entreprise a révélé que 76 % des visites sur les sites clients provenaient de sources non vérifiées. Distinguer les robots d'exploration utiles des scrapers, des scripts de bourrage d'informations d'identification et des agents d'IA formés pour extraire du contenu est devenu un problème opérationnel quotidien pour les propriétaires de sites.
Global Edge Security regroupe déjà un pare-feu d'application Web géré, une protection avancée contre le déni de service distribué, une optimisation d'image et un réseau mondial de diffusion de contenu. Les nouveaux contrôles de robots se branchent sur cette pile et peuvent être activés le jour même de leur configuration, selon l'entreprise. Un mode « Sous attaque » permet aux administrateurs de renforcer les défenses avec une seule bascule lorsque les pics de trafic deviennent hostiles.
Le produit comprend également des règles d'accès personnalisables qui ciblent les activités automatisées indésirables par catégorie ou zone géographique, ainsi qu'une mise en cache en périphérie conçue pour réduire la charge que le trafic de robots place sur les serveurs d'origine. WP Engine propose des contrôles aux agences numériques qui gèrent plusieurs sites clients et aux opérateurs de commerce électronique qui doivent bloquer les scrapers et les robots stockeurs sans ralentir les acheteurs légitimes.
« Le trafic automatisé devient de plus en plus difficile à gérer à mesure que les systèmes d'IA, les robots et les visiteurs humains se mélangent de plus en plus », explique Ramadass Prabhakar, directeur de la technologie chez WP Engine. « Les équipes Web ont besoin d'une vision plus claire du comportement du trafic et de la flexibilité nécessaire pour réagir rapidement sans ajouter de complexité opérationnelle. »
Le partenariat Cloudflare qui sous-tend Global Edge Security se positionne comme un différenciateur. Cloudflare exploite l'un des plus grands réseaux de filtrage du trafic Web et a commencé l'année dernière à bloquer par défaut les scrapers d'IA pour les nouveaux clients, ainsi qu'un marché Pay Per Crawl qui permet aux éditeurs de facturer aux sociétés d'IA l'accès à leur contenu.
« Le trafic piloté par l'IA introduit un nouveau niveau de complexité pour les sites Web, car toutes les activités automatisées ne se comportent pas de la même manière et ne sont pas nécessairement toutes malveillantes », a déclaré Michael Tremonte, vice-président des produits chez Cloudflare. « Le défi consiste à aider les équipes Web à distinguer le trafic des robots et, à l'intérieur, ce qui est bon et mauvais, sans ralentir les performances ni augmenter les frais opérationnels. »
Les fonctionnalités de gestion des robots sont désormais disponibles pour les clients de Global Edge Security. WP Engine compte Pandora Media LLC, Experian plc, Equifax Inc., VMware LLC, HubSpot Inc. et Dell Technologies Inc. parmi ses utilisateurs professionnels.
