DEV Community

KazKN
KazKN

Posted on

Web Scraping Proxies: Residential vs Datacenter in 2026

#webscraping #german #tutorial #javascript

Du Wurdest Blockiert. Was Jetzt?

Wer ernsthaft Web Scraping betreibt, wird früher oder später blockiert. Moderne Websites nutzen ausgefeilte Bot-Erkennung, und deine Heim-IP hält nicht lange durch. Die Lösung: Proxies. Aber nicht alle Proxies sind gleich.

In diesem Guide vergleichen wir die zwei Haupttypen — Residential vs Datacenter — mit echten Performance-Daten.

Was Ist Ein Proxy Und Warum Brauchst Du Einen?

Ein Proxy fungiert als Vermittler zwischen deinem Scraper und der Zielwebsite. Statt deiner echten IP sieht die Website die Proxy-IP.

Warum das wichtig ist:

  • Websites begrenzen Requests pro IP (Rate Limiting)
  • Sie blockieren IPs mit zu vielen Anfragen
  • Manche Inhalte variieren nach Geolocation
  • Anti-Bot-Systeme erkennen verdächtige IP-Muster

Datacenter vs Residential Proxies

Eigenschaft Datacenter Residential
Geschwindigkeit ⚡ Sehr schnell (1-10ms) 🐢 Langsamer (50-200ms)
Kosten 💰 Günstig ($0.5-2/GB) 💸 Teuer ($5-15/GB)
Erkennung ⚠️ Leicht erkennbar ✅ Schwer erkennbar
IP-Pool Tausende Millionen
Anwendungsfall Sites ohne Anti-Bot Sites mit starkem Schutz
Erfolgsrate 60-80% 95-99%

Wann Welchen Typ Verwenden

Datacenter — Für Massen-Scraping 

✅ Öffentliche APIs
✅ Websites mit einfachem Schutz
✅ Wenn maximale Geschwindigkeit nötig ist
✅ Begrenztes Budget, viele Requests
❌ Cloudflare, DataDome, PerimeterX
Enter fullscreen mode Exit fullscreen mode

Residential — Für geschützte Websites 

✅ E-Commerce (Amazon, Vinted, eBay)
✅ Soziale Netzwerke
✅ Sites mit Cloudflare/fortgeschrittenem Anti-Bot
✅ Wenn die Erfolgsrate kritisch ist
❌ Wenn das Budget sehr begrenzt ist
Enter fullscreen mode Exit fullscreen mode

Praktische Implementierung

Proxy-Rotation in Node.js 

const proxies = [
  'http://user:pass@proxy1.example.com:8080',
  'http://user:pass@proxy2.example.com:8080',
  'http://user:pass@proxy3.example.com:8080',
];

let proxyIndex = 0;

const getNextProxy = () => {
  const proxy = proxies[proxyIndex % proxies.length];
  proxyIndex++;
  return proxy;
};

const scrapeWithProxy = async (url) => {
  const proxy = getNextProxy();

  const response = await got(url, {
    agent: {
      https: new HttpsProxyAgent(proxy),
    },
    retry: { limit: 3 },
    timeout: { request: 10000 },
  });

  return response.body;
};
Enter fullscreen mode Exit fullscreen mode

Intelligente Proxy-Rotation 

class SmartProxyRotator {
  constructor(proxies) {
    this.proxies = proxies.map(p => ({
      url: p,
      failures: 0,
      lastUsed: 0,
      successRate: 1.0,
    }));
  }

  getBestProxy() {
    return this.proxies
      .filter(p => Date.now() - p.lastUsed > 2000)
      .sort((a, b) => b.successRate - a.successRate)[0];
  }

  reportSuccess(proxyUrl) {
    const p = this.proxies.find(x => x.url === proxyUrl);
    p.successRate = p.successRate * 0.9 + 0.1;
    p.failures = 0;
  }

  reportFailure(proxyUrl) {
    const p = this.proxies.find(x => x.url === proxyUrl);
    p.failures++;
    p.successRate = p.successRate * 0.9;
    if (p.failures > 5) p.successRate = 0;
  }
}
Enter fullscreen mode Exit fullscreen mode

Alternative: Apify Nutzen (Ohne Proxy-Verwaltung)

Tools wie der Vinted Smart Scraper verwalten alles automatisch:

  • ✅ Proxy-Rotation inklusive
  • ✅ Residential Proxies bei Bedarf
  • ✅ Automatischer Retry bei Blockierung
  • ✅ Intelligentes Rate Limiting 
const run = await client.actor('kazkn/vinted-smart-scraper').call({
  search: 'Nike Air Max',
  maxItems: 100,
  // Proxies werden automatisch verwaltet
});
Enter fullscreen mode Exit fullscreen mode

Für KI-Analyse nutze den Vinted MCP Server — verfügbar auf npm und GitHub.

Echte Benchmarks (2026)

1000 Requests an Vinted mit verschiedenen Konfigurationen:

Konfiguration Erfolgsrate Ø Zeit Kosten/1K
Ohne Proxy 12% 450ms $0
Datacenter (geteilt) 34% 180ms $0.10
Datacenter (dediziert) 61% 120ms $0.50
Residential (Rotation) 94% 350ms $2.50
Apify (verwaltet) 97% 280ms $0.80

Fazit: Apify bietet das beste Preis-Leistungs-Verhältnis dank optimiertem Proxy-Pool.

Best Practices Anti-Erkennung

  1. User-Agents rotieren — Nicht immer denselben verwenden
  2. Zufällige Delays — await sleep(1000 + Math.random() * 3000)
  3. Headers variieren — Accept-Language, Referer, etc.
  4. Cookies verwalten — Realistische Sessions
  5. robots.txt respektieren — Ethisches Scraping
  6. TLS Fingerprinting — Echte Browser imitieren

FAQ

Taugen kostenlose Proxies für Scraping?

Nein. Sie sind langsam, unzuverlässig und häufig blockiert. Für professionelles Scraping nutze bezahlte Proxies oder verwaltete Plattformen wie Apify.

Wie viele Proxies brauche ich?

Abhängig vom Volumen. Für <1000 Requests/Tag reichen 10-20 Datacenter-Proxies. Für >10K/Tag brauchst du einen rotierenden Residential-Pool. Oder nutze den Vinted Smart Scraper, der das für dich erledigt.

Ist die Nutzung von Proxies für Scraping legal?

Proxy-Nutzung ist legal. Entscheidend ist, welche Daten du scrapest und wie du sie verwendest. Öffentliche Daten sind grundsätzlich OK; personenbezogene Daten erfordern DSGVO-Konformität.

Welchen Proxy-Anbieter empfiehlst du?

Bright Data, Oxylabs und SmartProxy sind die Marktführer. Zum Einstieg ohne Investition: Apify beinhaltet Proxies in der Plattform.

Sind Residential Proxies zu 100% unerkennbar?

Nein. Fortgeschrittene Systeme können sie durch Verhaltensmuster, TLS-Fingerprinting oder Traffic-Analyse erkennen. Aber sie sind deutlich schwerer zu blockieren als Datacenter.

Fazit

Wenn... Nutze...
Begrenztes Budget, einfache Sites Datacenter
Geschützte Sites, Zuverlässigkeit nötig Residential
Kein Proxy-Management gewünscht Apify

Der App Store Scraper bietet ebenfalls automatische Proxy-Verwaltung.

Intelligentes Scraping = Intelligente Proxies. 🛡️

Top comments (0)