DuckDuckGo hebt sich von anderen Suchmaschinen wie Google und Microsoft Bing durch seine spezielle Ausrichtung auf dem Markt ab. Während diese Suchmaschinen personalisierte Suchergebnisse basierend auf Algorithmen liefern, konzentriert sich DuckDuckGo auf den Schutz der Privatsphäre der Nutzer und die Vermeidung von Filterblasen. Dies wird durch die Nutzung verschiedener APIs anderer Websites erreicht, um schnelle und relevante Ergebnisse zu liefern, anstatt auf Inhalte von Content-Farmen zurückzugreifen.
Hier finden Sie die einfachen Schritte zum Scrapen von DuckDuckGo-Suchergebnissen und zum Exportieren in Excel-Dateien.
Ist es legal, DuckDuckGo zu scrapen?
Es ist in der Regel akzeptabel, Web-Scraping zu betreiben, solange dabei keine privaten Informationen gestohlen werden. Es ist jedoch wichtig zu beachten, dass das Extrahieren von Daten von einer Website gegen deren Nutzungsbedingungen verstoßen kann. Obwohl ein Verstoß gegen die Nutzungsbedingungen nicht illegal ist, könnte die Website rechtliche Schritte wegen Vertragsbruchs gegen Sie einleiten. Um solche unangenehmen Situationen zu vermeiden, ist es ratsam, vor dem Scrapen die Nutzungsbedingungen zu lesen.
Hat DuckDuckGo APIs?
Natürlich! DuckDuckGo empfiehlt seinen Nutzern die Nutzung offizieller APIs. Früher gab es eine Instant Answer API, die jedoch nicht alle Links in den Suchergebnissen beinhaltete. Aktuell sind keine detaillierten Informationen zu den verfügbaren APIs verfügbar. Um mehr zu erfahren, sollten Sie die Hilfeseite sorgfältig durchsehen oder die Entwickler über die offizielle Seite kontaktieren.
3 Schritte zum Scrapen von DuckDuckGo
Wir zeigen Ihnen, wie Sie mit Octoparse einfach Suchergebnisse von DuckDuckGo extrahieren können. Dieses benutzerfreundliche Web-Scraping-Tool ermöglicht es jedem, vollständige Suchergebnisse zu sammeln, unabhängig von seinen Programmierkenntnissen. Nach erfolgreicher Anmeldung können Sie die folgenden Schritte ausführen, um DuckDuckGo-Suchergebnisse 14 Tage lang kostenlos zu scrapen!
Schritt 1: Erstellen Sie eine neue Aufgabe
Fügen Sie sie in die Suchleiste von Octoparse ein und klicken dann auf „Starten“, um eine neue Aufgabe zu erstellen. Die Zielseite wird in Sekundenschnelle in den integrierten Browser von Octoparse geladen.
Schritt 2: Erstellen und Ändern des Workflows
Nachdem Sie alle erforderlichen Datenfelder ausgewählt haben, klicken Sie auf "Workflow erstellen". Es wird rechts auf dem Bildschirm ein Workflow angezeigt, der jeden Schritt des Scraping-Prozesses darstellt. Sie können den Workflow von oben nach unten und von innen nach außen in verschachtelten Aktionen durchgehen. Um sicherzustellen, dass alles funktioniert, können Sie jeden Schritt in der Vorschau anzeigen, indem Sie darauf klicken. Funktioniert der Workflow nicht richtig, werden möglicherweise keine Daten erhalten.
Schritt 3: In Datei im Excel, CSV,oder JSON exportieren
Bitte klicken Sie auf „Ausführen“, um den Scraper zu starten, nachdem Sie alle Details überprüft haben. Es gibt zwei Möglichkeiten, die Aufgabe auszuführen. Wenn Ihr Projekt klein ist oder Sie nur einen schnellen Durchlauf benötigen, können Sie es auf Ihrem lokalen Gerät ausführen. Für große Projekte ist es jedoch besser, die Aufgabe auf die Cloud-Server von Octoparse zu übertragen. Wählen Sie einfach eine Option, und Octoparse kümmert sich um den Rest. Nach Abschluss der Aufgabe können Sie die Daten in eine Excel-, CSV- oder JSON-Datei exportieren.
Einen DuckDuckGo-Crawler mit Python erstellen
Wenn Sie Python kennen, können Sie problemlos einen Crawler erstellen, um Daten von DuckDuckGo ohne die offizielle API zu sammeln. Im Folgenden finden Sie Beispielcode, den Sie als Referenz für Ihren eigenen DuckDuckGo-Crawler nutzen können.
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
def get_selenium_driver():
options = Options()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
driver = webdriver.Chrome(options=options)
return driver
def duckduckgo_search(query):
search_url = "https://duckduckgo.com/html/?q=" + query.replace(" ", "+")
driver = get_selenium_driver()
driver.get(search_url)
time.sleep(2)
html = driver.page_source
driver.quit()
soup = BeautifulSoup(html, 'html.parser')
results = soup.find_all('div', {'class': 'result results_links results_links_deep web-result'})
for result in results:
title_tag = result.find('a', {'class': 'result__a'})
title = title_tag.get_text(strip=True) if title_tag else 'No title'
link = title_tag['href'] if title_tag and 'href' in title_tag.attrs else 'No link'
description = result.find('div', {'class': 'result__snippet'}).get_text(strip=True) if result.find('div', {'class': 'result__snippet'}) else 'No description'
print(f"Title: {title}")
print(f"Link: {link}")
print(f"Description: {description}")
print("-" * 80)
if __name__ == "__main__":
query = input("Enter your search query: ")
duckduckgo_search(query)
DuckDuckGo-Vorlagen
Um Ihre Web-Scraping-Reise zu erleichtern, bietet Octoparse jetzt Hunderte von Vorlagen, mit denen Sie Daten von verschiedenen Websites ohne zusätzliche Einstellungen scrapen können. Für das Scrapen von DuckDuckGo-Suchergebnissen benötigen Sie nur die gewünschten Suchbegriffe (bis zu 10.000 pro Durchlauf). Octoparse kümmert sich dann um den Rest und liefert Ihnen aktuelle Informationen wie Titel, Ergebnis-URL, Hauptseite und Beschreibung.
Zusammenfassung
DuckDuckGo wächst schnell und bietet offizielle APIs, aber es gibt auch alternative Lösungen. In unserem Artikel erläutern wir, wie man Suchergebnisse mit Octoparse scrapen oder einen Crawler in Python erstellen kann. Unabhängig von Ihren Programmierkenntnissen finden Sie hier Methoden, um Ihr Web Scraping-Ziel zu erreichen.
👍👍 Wenn Sie Interesse an Octoparse und Web Scraping haben, können Sie es zunächst 14 Tage lang kostenlos ausprobieren.
Hier bekommen Sie Octoparse! 🤩
Preis: $0~$249 pro Monat
Packet & Preise: Octoparse Premium-Preise & Verpackung
Kostenlose Testversion: 14-tägige kostenlose Testversion
Herunterladen: Octoparse für Windows und MacOs
Top comments (0)