Data, scraping et décision

Veille concurrentielle : suivre 20 concurrents en quinze minutes par semaine

La veille concurrentielle automatisée devient rentable quand elle tient dans une routine de quinze minutes par semaine. Trois sources, une tâche planifiée, un digest court : la méthode complète pour suivre vingt concurrents sans y passer vos journées.

Sur vingt concurrents, la veille manuelle tient trois semaines. Ensuite le fichier s'arrête à la ligne quatre et personne ne le rouvre. Ce n'est pas un problème de motivation : c'est un problème d'architecture. Si la collecte dépend de votre mémoire, elle ne survit pas à une semaine chargée.

J'ai monté la même routine pour plusieurs équipes. Elle tient en une tâche planifiée, un e-mail le lundi et un quart d'heure de lecture. Voici comment je la construis, et surtout ce que vous décidez à la sortie.

Trier vos vingt concurrents avant de choisir un outil

Vingt concurrents, ce n'est pas vingt entreprises qui font exactement la même chose que vous. C'est un panel : huit concurrents directs sur votre marché, sept indirects qui résolvent le même problème autrement, cinq nouveaux entrants ou acteurs financés qui pourraient vous couper l'herbe.

Ce classement n'est pas décoratif. Il détermine la fréquence : les huit directs sont lus chaque semaine, les sept indirects tous les mois, les cinq entrants au trimestre. Vous divisez le bruit par trois sans perdre de signal.

Conseil concret : écrivez ce panel dans un fichier unique (nom, URL, sitemap, catégorie, fréquence) et faites-le valider par la personne qui vend. Un panel décidé par le marketing seul rate souvent le concurrent que les commerciaux entendent tous les jours en rendez-vous.

Les trois sources qui suffisent

Vous n'avez pas besoin de dix outils. Trois sources couvrent l'essentiel des mouvements qui comptent.

Le sitemap XML, d'abord. Il liste les pages du site et, quand l'éditeur le soigne, la date de dernière modification. Une nouvelle page « tarifs » ou « intégrations » apparaît là avant d'apparaître dans Google. La documentation de Google sur les sitemaps explique le format et le rôle de la balise lastmod.

Les pages d'offre et de prix, ensuite. C'est le seul endroit où un concurrent annonce publiquement qu'il change de cible, de positionnement ou de modèle. Un passage de « sur devis » à « à partir de 490 € par mois » vous dit plus qu'un communiqué de presse.

Les signaux d'équipe, enfin : offres d'emploi et publications LinkedIn. Trois postes de data engineers ouverts en deux mois annoncent une roadmap produit bien avant l'annonce officielle.

Conseil concret : limitez-vous à ces trois sources le premier trimestre. Ajoutez la presse et les avis clients seulement quand la routine tourne déjà sans vous.

Collecte : un script, un planificateur, zéro copier-coller

Le principe est simple. Une tâche planifiée récupère chaque semaine le sitemap de chaque concurrent, extrait les URL, compare avec la liste de la semaine précédente et n'écrit en base que ce qui est nouveau ou modifié. Vingt sites, c'est vingt requêtes HTTP par semaine. Aucun serveur ne s'effondre pour ça.

En Laravel, le scheduler fait ce travail en quelques lignes et un serveur modeste suffit. La même logique existe avec un simple cron et un script Python ou Node.

Deux règles techniques qui évitent les ennuis :

  • Throttlez vos requêtes (une toutes les deux secondes) et identifiez votre agent avec une adresse de contact. Un robot poli n'est presque jamais bloqué.
  • Stockez l'URL, le titre, la date détectée et un hash du contenu. Sans hash, vous serez alerté cinquante fois pour la même page.

Conseil concret : normalisez les URL dès l'extraction (supprimez les paramètres de tracking, les slashs finaux, les majuscules). Sinon la moitié de vos « nouvelles pages » sont en réalité les mêmes pages vues autrement.

Le digest du lundi, quinze minutes, pas une de plus

La collecte ne sert à rien si la lecture est pénible. Un e-mail unique, le lundi à 8 h, avec cinq lignes maximum : concurrent, type de changement, URL, date. Pas de tableau de bord à explorer, pas de notification en temps réel. Une alerte permanente finit ignorée en dix jours.

Votre rituel : dix minutes de lecture, cinq minutes de décision. Trois colonnes sur une feuille suffisent, à ignorer, à surveiller, à traiter cette semaine.

Conseil concret : gardez une règle d'arrêt écrite. Par exemple, un changement n'entre dans la colonne « à traiter » que s'il touche votre offre, votre prix ou votre canal d'acquisition. Tout le reste va dans « à ignorer ». C'est cette règle, plus que l'outil, qui rend la routine tenable.

Ce que vous décidez ensuite

La veille n'a de valeur que si elle produit une décision. Trois sorties possibles, et une quatrième qui compte tout autant :

  1. Ajuster une page ou un argumentaire. Un concurrent qui met en avant l'hébergement en Europe vous oblige à rendre visible votre propre conformité RGPD.
  2. Tester une offre ou un prix. Deux concurrents qui lancent un palier d'entrée sous 100 €, c'est un test à lancer, pas une intuition à commenter en réunion.
  3. Préparer une réponse commerciale. Un signal d'embauche ou de levée de fonds se transforme en argument dans un appel d'offres.
  4. Archiver. Ne rien faire d'un signal est une décision valable, à condition qu'elle soit consciente.

Conseil concret : notez la décision à côté du signal, même quand elle est « rien ». Six mois plus tard, cette trace vous dira si votre veille sert à quelque chose ou si elle tourne à vide.

Automatiser sans se mettre en danger

La collecte automatisée a des limites légales et éthiques simples. Vous lisez des pages publiques, sans contourner d'authentification, et vous ne constituez aucun fichier de données personnelles. Concrètement : pas de scraping derrière un login, pas d'extraction de noms de dirigeants pour les démarcher, pas de stockage de CV.

Le cadre européen est clair, et le rappel de la CNIL sur le RGPD reste la référence utile quand vous vous demandez si une donnée collectée est légitime.

Conseil concret : respectez le fichier robots.txt et les conditions d'utilisation des sites. Un concurrent qui bloque la collecte n'est pas un obstacle à contourner, c'est un site à suivre manuellement ou via sa newsletter.

Le coût réel

Comptez une à deux journées pour construire la première version : panneau de concurrents, script de collecte, digest par e-mail. Ensuite, une heure par trimestre pour ajouter ou retirer des sites et vérifier que rien ne casse.

Comparé à un abonnement d'outil de veille facturé par siège, l'écart est net. Mais l'argument n'est pas le prix : c'est que le système vous appartient et suit vos concurrents, pas un panel générique vendu à tout le marché.

J'ai détaillé la partie collecte, structuration et veille de données, et un exemple de système qui ingère et range des milliers de sources au quotidien se trouve dans Top des IA.

Conclusion

Suivre vingt concurrents en quinze minutes par semaine n'a rien d'ambitieux techniquement. C'est un problème de discipline : trois sources, une tâche planifiée, un e-mail court, une règle de décision écrite. Ce qui échoue, ce ne sont jamais les scripts. C'est la routine qu'on a voulue exhaustive.

Si vous voulez savoir ce que votre marché a bougé ces six derniers mois, et ce que votre site devrait en faire, demandez un diagnostic. Je regarde vos concurrents, vos pages et vos données, et je vous dis ce qui mérite d'être construit en premier. La méthode de travail est la même pour tous les projets que je prends.

Questions fréquentes
Est-ce légal de collecter automatiquement les sites de mes concurrents ?

Oui, tant que vous vous limitez à des pages publiques, sans contourner d'authentification ni de protection technique, et que vous ne constituez pas de fichier de données personnelles. Concrètement : pas de scraping derrière un login, pas d'extraction de noms ou d'adresses pour du démarchage, pas de CV stockés. Respectez le robots.txt et les conditions d'utilisation du site. Si vous ne gardez que des URL, des titres et des dates, vous restez sur du contenu public et vous ne prenez aucun risque inutile.

Faut-il un outil payant comme Semrush pour faire de la veille concurrentielle ?

Pas pour ce besoin. Un outil payant est utile pour le volume de mots-clés, les backlinks ou les estimations de trafic, mais il ne vous dira pas qu'un concurrent a ajouté une page « intégrations » lundi dernier ni qu'il recrute trois data engineers. Votre sitemap, ses pages de prix et ses offres d'emploi sont gratuits et plus précis sur les mouvements qui vous concernent. Gardez l'abonnement payant pour une question ponctuelle, pas comme moteur de la routine hebdomadaire.

Combien de concurrents peut-on vraiment suivre sans y passer ses journées ?

Vingt, à condition de les répartir en trois niveaux de fréquence. Huit concurrents directs lus chaque semaine, sept indirects tous les mois, cinq entrants au trimestre. Ce découpage vous ramène à une dizaine de vérifications hebdomadaires, soit un digest de cinq lignes et quinze minutes de lecture. Au-delà de trente concurrents actifs, la lecture redevient le goulot d'étranglement et la routine s'arrête.

À lire aussi