Comment contrôler et monétiser le trafic des bots IA avec Fastly et TollBit

Les bots d'IA envahissent le web, représentant plus d'un tiers de l'ensemble du trafic au T1. Alors que la conversation porte souvent sur la manière de stopper les bots indésirables, notamment ceux qui tentent de pirater des comptes, lancent des attaques DDoS, etc., les éditeurs, les entreprises d’e-commerce et d’autres fournisseurs de contenu mènent une bataille bien plus nuancée. 

Alors que les modèles d'IA générative deviennent de plus en plus performants et sont de plus en plus gourmands en données, les éditeurs, les créateurs de contenu et les plateformes numériques se posent tous la même question : comment protéger notre contenu contre toute utilisation sans notre consentement et sans compensation ?

Fastly et TollBit ont formé un partenariat pour livrer une puissante intégration qui améliore la gestion des bots et ouvre de nouvelles opportunités de monétisation pour les organisations. Cette collaboration associe les capacités avancées de détection de bots de Fastly à la plateforme robuste de vérification et d'analyse de TollBit, permettant aux clients d'obtenir le contrôle, le consentement et la compensation pour l'extraction et l'exploration par l'IA.

Découvrez l'intégration Fastly + TollBit

Plus tôt cette année, Fastly a introduit AI Bot Management. Il offre aux équipes la possibilité de gérer et contrôler le comportement des bots IA qui explorent et extraient le contenu des sites web. Avec AI Bot Management, vous pouvez détecter quels bots IA accèdent à votre contenu et prendre des mesures pour bloquer, autoriser ou intercepter certains bots IA en fonction de vos propres politiques et des réponses souhaitées. 

Grâce à une nouvelle intégration fluide avec TollBit, les éditeurs, le e-commerce et d'autres fournisseurs de contenu disposent d'un moyen efficace de gérer et de monétiser le trafic. En combinant la gestion des bots de classe mondiale de Fastly avec la puissante plateforme de vérification, d'analyse et de monétisation de TollBit, les organisations ont la capacité de :

• Détecter et classer les bots via Fastly AI Bot Management

• Redirection des robots IA vers votre TollBit Bot paywall (un sous-domaine que vous avez créé gratuitement)

• Vérifiez les jetons et accordez l’accès au contenu aux robots avec des jetons valides.

• Exiger que tous les autres robots IA paient pour l'accès

Principales fonctionnalités

• Détection de bots personnalisable: Fastly AI Bot Management propose une détection de bots personnalisable qui va au-delà de la simple vérification par les Agents utilisateurs, permettant aux éditeurs de classer les robots comme bons ou mauvais en fonction de leurs besoins.

• Niveaux d'application flexibles: Fastly AI Bot Management permet aux équipes de choisir les niveaux d'application pour les bots suspects et vérifiés, garantissant que seul le trafic indésirable est redirigé.

• Vérification et analyses: TollBit vérifie les requêtes autorisées des bots IA et fournit un tableau de bord complet avec des analyses des bots IA, en mettant l'accent sur les accès légitimes à l'IA.

Mettre en œuvre un exemple concret

Passons en revue la mise en place de la monétisation des bots d’IA à l’aide d’un exemple concret. Supposons que vous souhaitiez monétiser le trafic des bots d’IA au lieu de le bloquer.

Partie 1 : Configuration de TollBit

1. Créez votre compte TollBit et sous-domaine : Les éditeurs peuvent s'inscrire gratuitement sur TollBit et configurer un sous-domaine (par exemple, tollbit.yoursite.com). Ce sous-domaine sert de passerelle pour les bots et agents d'IA.

2. Configurez les règles de monétisation : définissez vos règles de tarification et d'accès pour différentes entreprises d'IA. Pour des options de configuration détaillées, veuillez consulter notre documentation.

Partie 2 : Configuration de Fastly AI Bot Management

Configurer la règle de redirection :

1. Dans votre tableau de bord Fastly AI Bot Management, créez une nouvelle règle de requête.

2. Sélectionnez le champ « Signal » avec le sous-champ « Signal Type ».

3. Sélectionnez l’opérateur « Is in list » et ensuite sélectionnez la liste système « AI Bot Signals ». Remarque : la fonction de liste du système est actuellement en version bêta. Pour y avoir accès, veuillez contacter notre équipe d’assistance.

   1. Pour un contrôle plus granulaire, vous pouvez également utiliser les signaux individuels SUSPECTED-BOT.AI-CRAWLER, SUSPECTED-BOT.AI-FETCHER, VERIFIED-BOT.AI-CRAWLER et VERIFIED-BOT.AI-FETCHER. Vous pouvez également spécifier des bots individuels en sélectionnant « Signal payload » dans la liste déroulante et en saisissant le nom du bot que vous trouvez dans la vue Requêtes (par exemple, GPTBot).

4. Pour le type d’action, sélectionnez « Block ».

5. Activez l’option « Use custom response » pour afficher les paramètres de redirection.

6. Définissez le code de réponse sur 302 (Trouvé/Redirection temporaire) et, dans le champ Destination, saisissez votre sous-domaine TollBit et ajoutez la variable dynamique {{URL}} (par exemple, tollbit.yoursite.com{{URL}}). Cette variable garantit que l’URL demandée initialement est transmise lors de la redirection.

7. Cliquez sur Create site rule.

Comment fonctionne la redirection :

Un bot IA visite votre site → Fastly détecte et classe le bot → Au lieu de le bloquer, le bot est redirigé vers votre TollBit Bot paywall → Les entreprises d’IA avec des jetons valides obtiennent l’accès au contenu → Les autres sont dirigés pour payer l'accès.

Et voilà – le trafic de votre bot IA est maintenant monétisé – gratuitement !

Empêchez les scrapeurs de dérober votre contenu précieux.

L’ensemble du processus utilise votre infrastructure Fastly existante sans latence supplémentaire, de manière transparente pour les visiteurs humains.

L'intégration Fastly + TollBit fournit :

• Contrôle granulaire : décidez quels bots monétiser ou bloquer

• Performances : Construit sur l’infrastructure de périphérie de Fastly

• Flexibilité : personnalisation complète de la classification et du routage des bots

• Interface familière : utilisez votre tableau de bord AI Bot Management existant

Cette intégration représente une avancée significative dans la gestion et la monétisation des bots. En exploitant la détection de bots personnalisable de Fastly et la vérification et l'analyse de TollBit, les éditeurs peuvent gérer efficacement le trafic des bots et ouvrir de nouvelles sources de revenus.

Fastly et TollBit continueront de faire évoluer cette intégration, dans le but de rendre les flux de travail d'application et d'analyse des bots IA plus efficaces pour mieux servir les communautés de publication, d’e-commerce et autres communautés riches en contenu à l'avenir. Nous serions ravis de recevoir vos commentaires sur la manière dont nous pouvons continuer à bâtir ensemble un internet plus sûr et plus équitable.

Commencez dès aujourd'hui

Cette intégration utilise les capacités déjà disponibles dans Fastly AI Bot Management. Si vous êtes intéressé par la monétisation du trafic des bots d’IA :

1. s’inscrire à TollBit sur tollbit.com. Contactez team@tollbit.com pour obtenir de l'aide ou pour toute question.

2. Suivez la documentation d’intégration pour configurer la redirection étape par étape.

3. Commencez à monétiser le trafic de vos bots d'IA en quelques minutes

Le contenu original est difficile à trouver, et pourtant, les robots d'IA récupèrent ce contenu gratuitement et le redistribuent à tous ceux qui utilisent le chatbot de leur choix (Gemini, Claude, ChatGPT, etc.). Avec une simple mise à jour de vos règles de redirection dans Fastly AI Bot Management, vous pouvez aller au-delà du blocage des bots et obtenir visibilité, contrôle et même compensation, grâce à la puissance combinée de Fastly et TollBit. 

La prochaine évolution de la gestion des bots est là et prête à déployer. La première étape pour tirer parti de cette intégration est de commencer avec Fastly Bot Management. Contactez-nous et mettez fin au scraping illimité.