DEV Community: Qing

如何获取Google Serp页面

Qing — Sun, 23 May 2021 07:02:16 +0000

在前面内容中，我们重点在解析html页面，获取想要的信息。那么这个页面如何去获取，第一种方法是引入requests包，例如下面这样。

def get_source(url: str) -> BeautifulSoup:
    """获取网页内容
    Args:
        url (str): 要爬取的URL

    Returns:
        BeautifulSoup: The soup of the page source
        """
    content = requests.get(url)
    return BeautifulSoup(content.text, 'html.parser')

按照这样的方法，我们获取到的html源码并不完整，缺少右侧的Wiki内容，如图。

原因是因为很多网页需要js代码执行来渲染内容，也就是说我们需要等待页面执行完js代码，才能够爬取到相关的内容。

使用pyppeteer获取源码

这里我们采用pyppeteer的方案来解决，代码如下：

async def get_source( url: str):
    browser = await launch({'headless': True})
    page = await browser.newPage()
    await page.goto(url)
    try:
        # 等待知识页面加载，超时时间设置为3s
        await page.waitForSelector('.kp-wholepage', timeout=3000)
    except TimeoutError:
        print('Wait for knowledge failed')

    # 获取网页内容
    content = await page.content()


    await browser.close()

    return BeautifulSoup(content, 'html.parser')

插件机制

这是两种获取源码手段.

面向对象封装

Qing — Sat, 22 May 2021 15:25:53 +0000

在前文书写代码的时候，脚本已经实现了基本的功能，从一个HTML中提取出我们想要的信息。但是，这样写出的代码至少有以下问题：

可封装性差
接口定义不清楚
迭代困难

google的serp页面经常会遇到一些小调整，我们的代码必然要经常进行更新，那么我们就需要保证代码的简洁性。在这个项目中，我们把握第一个原则：面向对象编程。

那么什么是面向对象？首先看下面的代码：

class GoogleSpider(object):
    def __get_total_page(self):
        pass

    def search_text(self):
        pass

    def search_videos(self):
        pass

    def search_wiki(self):
        pass
...

这个代码，无法是将我们刚刚写出的函数封装在一个GoogleSpider类中，看似是用了面向对象的写法，但实际上类中的方法和数据并没有发生关联，还需要再进一步。

前文中，我们的输出会输出爬取内容的内容，即type字段。

在这里，我们类中提前定义四种类型。

完整的面向对象代码，如下所示：

class GoogleSpider(AttribDict):
    __exclude_keys__ = {'soup'}

    def __init__(self, soup: BeautifulSoup):
        self.videos = []
        self.wiki = []
        self.page = 0
        self.news = []
        self.main = []
        self.soup = soup

    def __get_total_page(self):
        """获取当前页面总数"""
        pages_ = self.soup.find('span', id='xjs').findAll('td')
        maxn = 0
        for p in pages_:
            try:
                if int(p.text) > maxn:
                    maxn = int(p.text)
            except:
                pass
        self.page = maxn


    def __search_main(self):
        """解析主要搜索结果"""

        # 获取所有的主要搜索结果
        result_containers = self.soup.findAll('div', class_='g')

        for container in result_containers:
            # title提取
            try:
                title = container.find('h3').text
                # 对应链接提取
                url = container.find('a')['href']
                # 对应描述提取
                des = container.find('span', class_='aCOpRe').text
                self.main.append({
                    'title': title,
                    'url': url,
                    'des': des,
                })
            except Exception:
                continue

    def __search_wiki(self):
        """解析wiki内容"""
        container = self.soup.find('div', class_='kp-wholepage')
        # 如果container为None，则返回空列表
        if container is None:
            return []
        # Title
        title = container.find('h2', attrs={'data-attrid': 'title'}).find('span').text
        # Subtitle
        try:
            subtitle = container.find(
                'div', attrs={'data-attrid': 'subtitle'}).text
        except AttributeError:
            subtitle = None
        # Description
        des = container.find('div', class_='kno-rdesc').find('span').text
        # 获取Wiki链接
        url = container.find('div', class_='kno-rdesc').find('a')['href']
        # Details内容
        try:
            # div.wp-ms对应不同的四个card
            table = container.findAll(
                'div', class_='wp-ms')[2].findAll('tr', class_='kno-nf-nr')[1:]
        except IndexError:
            table = []
        details = []

        for row in table:
            name = row.find('span').text.strip(': ')
            detail_ = row.findAll('span')[1:]
            detail = ''
            for _ in detail_:
                detail += _.text + ' '  # 以 key value的形式输出结果
            details.append({
                'name': name,
                'detail': detail.strip()
            })
        result = {
            'title': title,
            'subtitle': subtitle,
            'des': des,
            'url': url,
            'details': details,
        }
        self.wiki = [result]


    def __search_news(self):
        try:
            cards = self.soup.find('g-scrolling-carousel').findAll('g-inner-card')
        except AttributeError:
            return []

        for card in cards:
            title = card.find('div', role='heading').text
            href = card.find('a')['href']
            result = {
                'title': title,
                'href':href,
            }
            self.news.append(result)


    def __search_videos(self):
        try:
            cards = self.soup.find('div', id='search').findAll('div', class_='VibNM')
        except AttributeError:
            return []

        for card in cards:
            title = card.find('div', role='heading').text
            href = card.find('a')['href']
            result = {
                'title': title,
                'href':href,
            }
            self.videos.append(result)


    def search(self):
        self.__get_total_page()
        self.__search_main()
        self.__search_news()
        self.__search_videos()
        self.__search_wiki()


spider = GoogleSpider(soup)
spider.search()

可以看到，通过面向对象的封装之后，最直观的就是注释变少，也就是输入和输出都不需要显示指定了，其次是我们可以使用更加多的设计模式来进一步完善我们这个GoogleSpider类。

页面内容提取

Qing — Sat, 22 May 2021 05:28:54 +0000

页面内容结构

部分页面还有广告、推荐视频等模块

ctrl+u查看源码，如图：

格式化后：

提取主要搜索结果

将搜索腾讯的内容源码保存在本地，命名为tencen.html，使用bs4包进行解析。

with open('tencent.html', 'r', encoding='utf-8') as f:
    res = f.read()

soup = BeautifulSoup(res, 'html.parser')
print(soup.title.text)

返回title的结果：

我们首先提取主要的搜索结果，通过对代码的分析，google的主要搜索结果包裹在div.g中，如图。

标题对应是h3元素，点击的链接对应的是a.href，描述内容在span.aC0pRe内容中，就可以写出一个对主要搜索结果的解析函数：

def search_result(soup:BeautifulSoup) -> list:
    """解析主要搜索结果

    Args:
        soup (BeautifulSoup): bs4对网页页面的解析结果

    Returns:
        list: 解析后的结果列表
    """
    # 获取所有的主要搜索结果
    result_containers = soup.findAll('div', class_='g')
    # 返回结果
    results = []

    for container in result_containers:
        # title提取
        try:
            title = container.find('h3').text
            # 对应链接提取
            url = container.find('a')['href']
            # 对应描述提取
            des = container.find('span', class_='aCOpRe').text
            results.append({
                'title': title,
                'url': url,
                'des': des,
                'type': 'result'
            })
        except Exception:
            continue
    return results

输出如下：

提取Wiki区域内容

wiki区域被包裹在"div.kp-wholepage"中，其中h2, {data-attrid: title}元素指向wiki区域的标题，div, {data-attrid:subtitle}指向wiki的副标题。
div.kno-rdesc中含有指向维基百科的链接和相关描述，分别存放在a.href和span元素中。大致结构如下图。

wiki区域中还有可能含有table元素，例如搜索"咖啡"，会显示其相关的成分，如图：

这个区域放在(div.wp-ms)[2]中的tr.kno-nf-nr元素中。于是，就可以写出解析wiki的对应函数。

def search_wiki(soup:BeautifulSoup) -> list:
    """解析wiki内容

    Args:
        soup (BeautifulSoup): bs4对网页页面的解析结果

    Returns:
        list: 解析后的结果列表
    """
    container = soup.find('div', class_='kp-wholepage')
    # 如果container为None，则返回空列表
    if container is None:
        return []
    # Title
    title = container.find('h2', attrs={'data-attrid': 'title'}).find('span').text
    # Subtitle
    try:
        subtitle = container.find(
            'div', attrs={'data-attrid': 'subtitle'}).text
    except AttributeError:
        subtitle = None
    # Description
    des = container.find('div', class_='kno-rdesc').find('span').text
    # 获取Wiki链接
    url = container.find('div', class_='kno-rdesc').find('a')['href']
    # Details内容
    try:
        # div.wp-ms对应不同的四个card
        table = container.findAll(
            'div', class_='wp-ms')[2].findAll('tr', class_='kno-nf-nr')[1:]
    except IndexError:
        table = []
    details = []

    for row in table:
        name = row.find('span').text.strip(': ')
        detail_ = row.findAll('span')[1:]
        detail = ''
        for _ in detail_:
            detail += _.text + ' '  # 以 key value的形式输出结果
        details.append({
            'name': name,
            'detail': detail.strip()
        })
    result = {
        'title': title,
        'subtitle': subtitle,
        'des': des,
        'url': url,
        'details': details,
        'type': 'wiki'
    }
    return [result]

输出如下：

解析相关视频、搜索、页面数

对视频推荐的解析与上述类型，都是先定位好元素位置，再提取出相应的内容。视频提取google。代码如下：

def search_videos(soup: BeautifulSoup):
    try:
        cards = soup.find('div', id='search').findAll('div', class_='VibNM')
    except AttributeError:
        return []

    results = []
    for card in cards:
        title = card.find('div', role='heading').text
        href = card.find('a')['href']
        result = {
            'title': title,
            'href':href,
            'type': 'video'
        }
        results.append(result)
    return results


def get_total_page(soup: BeautifulSoup) -> int:
    """获取搜索页面数

    Args:
        response (requests.Response): the response requested to Google using requests

    Returns:
        int: the total page number (might be changing when increasing / decreasing the current page number)
    """
    pages_ = soup.find('span', id='xjs').findAll('td')
    maxn = 0
    for p in pages_:
        try:
            if int(p.text) > maxn:
                maxn = int(p.text)
        except:
            pass
    return maxn

最后，将结果进行聚合。

results = []
results.extend(search_result(soup))
results.extend(search_wiki(soup))
results.extend(search_news(soup))
results.extend(search_videos(soup))
pages = get_total_page(soup)

print({
    'results': results,
    'pages': pages
})

总结

对google serp的解析流程大概是这样，但是这样的代码，并无法达到我们的要求。在下一节中，我们对代码进行一次重构，将会引出我们代码编写的第一个原则：面向对象编程。

功能简介

Qing — Sat, 22 May 2021 05:28:30 +0000

serp指Search Engine Results Page，中文叫做搜索引擎结果页。这里我们以google为例，实现对扫描结果的处理。

提醒：项目用于学习，不可用于商业用途。Google提供了一个免费的API，允许用户免费调佣100次。我们这里完成的爬虫案例如果尝试频繁获取大量数据，将会遇见reCAPTCHA 验证或IP被禁止，但是对于我们预想的目的来说，这个工具已经完全够用了。

我们需要从google搜索结果中提取以下要素：

搜索结果链接
相关链接
描述
摘要
推荐视频
结果页面数量
...