python爬虫爬取豆瓣电影信息

利用python爬虫技术爬取豆瓣top250的信息并保存为excel文件

#-*- coding = utf-8 -*-
#@Time : 2020/12/23 8:34
#@File : spyder.py
#@Software: PyCharm

from bs4 import BeautifulSoup  # 网页解析，获取数据
import re  # 正则表达式，进行文字匹配
import urllib.requesturllib.error  # 指定URL，获取网页数据
import xlwt  # 进行excel操作
import sqlite3  # 进行SQLite数据库操作


def main（）:
    baseurl = “https://movie.douban.com/top250?start=“
    # 1.爬取网页
    datalist = getData（baseurl）
    savepath = “豆瓣电影.xls“
    # 3.保存数据
    saveData（datalistsavepath）

    #askURL（“https://movie.douban.com/top250?start=“）

#影片详情链接的规则
findlink = re.compile（r‘‘）     #创建正则表达式对象，表示规则（字符串的模式）
#影片图片
findImgSrc = re.compile（r‘#影片片名
findtitle = re.compile（r‘tle“>（.*）‘）
#影片评分
findRating = re.compile（r‘（.*）‘）
#找到评价人数
findJudge = re.compile（r‘（\d*）人评价‘）
#找到概况
findInq = re.compile（r‘（.*）‘）
#找到影片的相关内容
findBd = re.compile（r‘（.*?）
‘re.S）

# 爬取网页
def getData（baseurl）:
    datalist = []
    for i in range（010）:      #调用获取页面信息的函数 ，10次
        url = baseurl + str（i*25）
        html = askURL（url）     #保存获取到的网页源码

      # 2.逐一解析数据
        soup = BeautifulSoup（html“html.parser“）
        for item in soup.find_all（‘div‘class_=“item“）:    #查找符合要求的字符串，形成列表
            #print（item）   #测试：查看电影item全部信息
            data = []  #保存一部电影的所有信息
            item = str（item）

            #影片详情的链接
            link = re.findall（findlinkitem）[0]            #re库用来通过正则表达式查找指定的字符串
            data.append（link）                              #添加链接

            imgSrc = re.findall（findImgSrcitem）[0]
            data.append（imgSrc）                            #添加图片

            titles = re.findall（findtitleitem）            #片名可能只有一个中文名，没有外国名
            if（len（titles） == 2）:
                ctitle = titles[0]                         #添加中文名
                data.append（ctitle）
                otitle = titles[1].replace（“/“““）         #去掉无关的符号
                data.append（otitle）                        #添加外国名

            else:
                data.append（titles[0]）
                data.append（‘ ‘）                           #外国名字留空

            rating = re.findall（findRatingitem）[0]
            data.append（rating）                             #添加评分

            judgeNum = re.findall（findJudgeitem）[0]
            data.append（judgeNum）                           #添加评价人数

            inq = re.findall（findInqitem）
            if len（inq） != 0:
                inq = inq[0].replace（“。“““）                  #去掉句号
                data.append（inq）                            # 添加概述
            else:
                data.append（“ “）                            #留空

            bd = re.findall（findBditem）[0]
            bd = re.sub（‘（\s+）?‘“ “bd）        #去掉

            bd = re.sub（‘/‘“ “bd）                        #替换
            data.a

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     文件        5472  2020-12-30 23:54  python爬虫爬取豆瓣电影信息\spyder.py
     文件      129024  2020-12-23 08:35  python爬虫爬取豆瓣电影信息\豆瓣电影Top250.xls
     目录           0  2020-12-30 23:52  python爬虫爬取豆瓣电影信息\