DEV Community

KazKN
KazKN

Posted on

Proxies Web Scraping : Résidentiel vs Datacenter en 2026

#webscraping #french #automation #tutorial

Vous venez de configurer votre scraper, il fonctionne parfaitement sur les 50 premières requêtes — puis soudain, tout retourne des erreurs 403. Vous avez été bloqué. Le coupable ? Votre configuration de proxy (ou son absence). Choisir entre proxies résidentiels et datacenter est la décision la plus impactante de tout projet de web scraping.

Après avoir exécuté plus de 2,3 millions de requêtes avec les deux types de proxies pendant 6 mois, nous avons des données concrètes sur ce qui fonctionne le mieux — et quand. Spoiler : la réponse n'est pas toujours « résidentiel ».

Datacenter vs Résidentiel : La Différence Fondamentale

Les proxies datacenter proviennent de fournisseurs cloud (AWS, Google Cloud, etc.). Ils sont rapides, bon marché et faciles à détecter.

Les proxies résidentiels passent par de vraies connexions FAI (Orange, SFR, Vodafone, etc.). Ils ressemblent à de vrais utilisateurs mais coûtent 5-20x plus cher.

D'après notre analyse de 2,3 millions de requêtes :

Métrique Datacenter Résidentiel
Taux de succès (sites faciles) 94,2% 99,1%
Taux de succès (sites difficiles) 31,7% 92,4%
Temps de réponse moyen 180ms 420ms
Coût par 1K requêtes 0,10-0,50$ 1,50-8,00$
Taille du pool d'IP 10K-50K 10M-50M
Taux de détection 42% 3,8%

Quand Utiliser les Proxies Datacenter

1. La Cible a une Protection Minimale

Beaucoup de sites ne bloquent pas activement les IP datacenter. Les API publiques, les portails gouvernementaux et les petits sites e-commerce fonctionnent souvent parfaitement.

import axios from 'axios';
import { HttpsProxyAgent } from 'https-proxy-agent';

const proxyDatacenter = new HttpsProxyAgent(
  'http://user:pass@dc-proxy.example.com:8080'
);

async function scraperSiteFacile(urls) {
  const resultats = [];

  for (const url of urls) {
    try {
      const response = await axios.get(url, {
        httpAgent: proxyDatacenter,
        httpsAgent: proxyDatacenter,
        timeout: 10000,
      });
      resultats.push({ url, status: response.status, data: response.data });
    } catch (err) {
      console.log(`Échec: ${url} - ${err.message}`);
    }
  }

  return resultats;
}
Enter fullscreen mode Exit fullscreen mode

2. La Vitesse est Critique

Les proxies datacenter offrent 180ms de temps de réponse moyen contre 420ms pour les résidentiels. Pour du scraping sensible au temps (données boursières, ventes flash), ces 240ms comptent.

3. Le Budget est Serré

À 0,10-0,50$ par 1K requêtes contre 1,50-8,00$, les proxies datacenter coûtent 10-80x moins. Pour du scraping massif de cibles faciles, les économies sont énormes.

Quand Utiliser les Proxies Résidentiels

1. La Protection Anti-Bot est Sérieuse

Les sites utilisant Cloudflare, PerimeterX ou DataDome nécessitent des IP résidentielles :

  • Cloudflare Bot Management : 31% succès datacenter vs 91% résidentiel
  • DataDome : 8% succès datacenter vs 87% résidentiel
  • PerimeterX : 22% succès datacenter vs 89% résidentiel

2. Scraping Géo-Ciblé

Besoin de données d'un pays spécifique ? Les proxies résidentiels offrent un ciblage géographique granulaire jusqu'à la ville. C'est crucial pour la comparaison de prix entre marchés — quand vous utilisez le Vinted Smart Scraper pour comparer les prix entre pays européens, les proxies résidentiels garantissent des données locales précises.

async function scrapingGeoCible(url, pays) {
  const proxyUrl = `http://user:pass@res-proxy.example.com:8080`;
  const agent = new HttpsProxyAgent(proxyUrl, {
    headers: { 'X-Proxy-Country': pays },
  });

  const response = await axios.get(url, {
    httpAgent: agent,
    httpsAgent: agent,
    headers: {
      'Accept-Language': obtenirLanguePays(pays),
    },
  });

  return response.data;
}

function obtenirLanguePays(code) {
  const map = {
    us: 'en-US', de: 'de-DE', fr: 'fr-FR',
    jp: 'ja-JP', kr: 'ko-KR', br: 'pt-BR',
  };
  return map[code] || 'en-US';
}
Enter fullscreen mode Exit fullscreen mode

L'Approche Hybride (Notre Recommandation)

Ne choisissez pas l'un ou l'autre — utilisez les deux stratégiquement :

class RouteurProxy {
  constructor(poolDatacenter, poolResidentiel) {
    this.datacenter = poolDatacenter;
    this.residentiel = poolResidentiel;
    this.profilsSites = new Map();
  }

  async obtenirProxy(url) {
    const domaine = new URL(url).hostname;
    const profil = this.profilsSites.get(domaine);

    if (profil?.difficulte === 'difficile') {
      return this.residentiel.suivant();
    }

    return this.datacenter.suivant();
  }

  rapporterResultat(url, succes) {
    const domaine = new URL(url).hostname;
    const profil = this.profilsSites.get(domaine) || {
      tentatives: 0, echecs: 0, difficulte: 'facile'
    };

    profil.tentatives++;
    if (!succes) profil.echecs++;

    const tauxEchec = profil.echecs / profil.tentatives;
    if (tauxEchec > 0.3 && profil.tentatives > 10) {
      profil.difficulte = 'difficile';
    }

    this.profilsSites.set(domaine, profil);
  }

  async scraperAvecFallback(url, options = {}) {
    const dcProxy = this.datacenter.suivant();
    try {
      const resultat = await this.faireRequete(url, dcProxy, options);
      this.rapporterResultat(url, true);
      return resultat;
    } catch (err) {
      this.rapporterResultat(url, false);
    }

    const resProxy = this.residentiel.suivant();
    try {
      return await this.faireRequete(url, resProxy, options);
    } catch (err) {
      throw new Error(`Les deux types de proxy ont échoué pour ${url}`);
    }
  }

  async faireRequete(url, proxy, options) {
    const agent = new HttpsProxyAgent(proxy);
    const response = await axios.get(url, {
      httpAgent: agent,
      httpsAgent: agent,
      timeout: options.timeout || 15000,
    });
    return response.data;
  }
}
Enter fullscreen mode Exit fullscreen mode

Utiliser l'Infrastructure Proxy Intégrée d'Apify

Si vous utilisez des acteurs Apify, la gestion des proxies est automatique. Le Vinted Smart Scraper et le Scraper App Store utilisent automatiquement le bon type de proxy.

Pour les acteurs personnalisés :

import { Actor } from 'apify';

await Actor.init();

const configProxy = await Actor.createProxyConfiguration({
  groups: ['RESIDENTIAL'],
  countryCode: 'FR',
});

const proxyUrl = await configProxy.newUrl();
console.log(`Proxy utilisé: ${proxyUrl}`);

import { CheerioCrawler } from 'crawlee';

const crawler = new CheerioCrawler({
  proxyConfiguration: configProxy,
  async requestHandler({ request, $ }) {
    const titre = $('title').text();
    console.log(`${request.url}: ${titre}`);
  },
});

await crawler.run(['https://example.com']);
await Actor.exit();
Enter fullscreen mode Exit fullscreen mode

Stratégies d'Optimisation des Coûts

D'après notre analyse sur 6 mois :

  1. Cachez agressivement — Ne re-scrapez pas les pages inchangées. Économisez 40-60% des requêtes.
  2. Datacenter pour la découverte, résidentiel pour le détail — Parcourez les pages catégorie en datacenter, passez en résidentiel pour les pages produit.
  3. Rotation intelligente — Ne brûlez pas des IP résidentielles sur des requêtes simples.
  4. Planifiez hors-pic — Les proxies résidentiels sont 15-20% moins chers pendant les heures creuses (2-8h heure locale).
  5. Surveillez les taux de succès — Trackez par domaine et changez de type dynamiquement.

FAQ

Quel est le meilleur fournisseur de proxies résidentiels pour le web scraping en 2026 ?

D'après nos tests, Bright Data, Oxylabs et Smartproxy dominent le marché. L'infrastructure proxy intégrée d'Apify est excellente pour les acteurs comme le Vinted Smart Scraper. Choisissez selon vos besoins de géo-ciblage et budget.

Combien d'IP proxy faut-il pour du scraping à grande échelle ?

D'après nos tests à grande échelle, il faut environ 1 IP par 50 requêtes/heure pour les datacenter et 1 IP par 200 requêtes/heure pour les résidentiels. Pour 100K requêtes quotidiennes, comptez ~80 IP datacenter ou ~20 IP résidentielles.

Peut-on utiliser des proxies gratuits pour le web scraping ?

Les proxies gratuits ont un taux de succès de 4-12% dans nos tests et posent de sérieux risques de sécurité (attaques MITM, journalisation des données). Pour toute production, les proxies payants sont essentiels.

Les proxies résidentiels garantissent-ils l'absence de blocage ?

Non. Même les proxies résidentiels sont bloqués si vous envoyez trop de requêtes depuis la même IP. D'après nos données, rester sous 10 requêtes par minute par IP maintient un taux de succès de 95%+.

Comment tester si un site nécessite des proxies résidentiels ?

Lancez 100 requêtes avec des proxies datacenter et mesurez le taux de succès. S'il est sous 70%, passez en résidentiel. Pour du scraping géré, les acteurs Apify comme le Scraper App Store gèrent la sélection automatiquement.

Commencez Avec un Scraping Fiable

La bonne configuration proxy fait la différence entre un scraper qui fonctionne et un qui est constamment bloqué. Commencez par l'approche hybride.

Ou évitez la gestion des proxies et utilisez des scrapers gérés :

Top comments (0)