最近学习了用python爬取某网站电影Top250的数据，在这里记录一下。
需要引入几个模块
from bs4 import BeautifulSoup #网页解析，获取数据
import re #正则表达式，进行文字匹配
import urllib.request,urllib.error #制定URL，获取网页数据
import xlwt #进行Excel操作1、爬取网页
首先对该网站进行分析，发现Top250共有10页，每页25条信息。
第一页是：豆瓣电影 Top 250&filter=
第二页是：豆瓣电影 Top 250
以此类推...... 其中&filter是可以去掉的。
因此定义基础的url变量：baseurl = "https://movie.douban.com/top250?start="
将其置于for循环中，start=可以根据for循环的变量添加
for i in range (0,10): #调用获取页面信息的函数10次url = baseurl+str(i*25)1.1、获取网页源代码
这里的基础知识详见：python爬虫基础--------urllib模块学习_StudyWinter的博客-CSDN博客
首先我们要模拟浏览器对该网站进行访问。可以查看自己浏览器的代理，进行模仿。
用户代理，告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接受什么水平的文件内容）
然后用urllib.request.Request()方法进行请求的模仿，并返回得到的信息。
第三步将请求返回的内容作为参数，传递到urlopen方法中，进行网页信息的爬取。
最后在加入异常判断。
#得到指定一个URL的网页内容
def askURL(url):#用户代理，告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是告诉浏览器，我们可以接受什么水平的文件内容）#头部信息，模拟浏览器头部信息，向豆瓣浏览器发送消息head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"}#请求request = urllib.request.Request(url,headers=head)#存储html = ""try:response = urllib.request.urlopen(request)html = response.read().decode("utf-8")#print(html)except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return html2、对获取到的信息逐一进行解析
BeautifulSoup的基础知识详见：python爬虫基础--------BeautifulSoup模块学习_StudyWinter的博客-CSDN博客
我们这里用是HTML解析，因此，定义
soup = BeautifulSoup(html,"html.parser") #解析定义一个list保存一部电影的信息：data=[]
查看原码发现，每部电影都是 li标签，对于其中每一个电影，是从 开始的
那么我们就从这里开始查找网页中的字符串。
通过正则表达式来进行查找相应的字符串是比较方便的，正则表达式基础详见：
python正则表达式_python a?b:c_StudyWinter的博客-CSDN博客
影片详情的正则表达式规则
findLink = re.compile(r'')依次类推
#影片图片的链接规则
findImaSrc = re.compile(r'(.*)')
#评分
findRating = re.compile(r'')
#评价人数
findJudge = re.compile(r'(\d*)人评价')
#找到概况
findInq = re.compile(r'(.*)')
#找到影片的相关内容
findBd = re.compile(r'(.*?)
',re.S) #re.S让换行符包含在字符中 再用re库来通过正则表达式查找指定的字符串，并添加到data中
对影片详情的超链接的添加：
#影片详情的超链接link = re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串data.append(link) #添加链接其他的以此类推
imgSrc = re.findall(findImaSrc,item)[0]data.append(imgSrc) #添加图片titles = re.findall(findTitle,item)if (len(titles)==2):ctitle = titles[0]data.append(ctitle) #添加中文名otitle = titles[1].replace("/","") #去掉/data.append(otitle) #添加外国名else:data.append(titles[0])data.append(" ") #外国名留空rating = re.findall(findRating,item)[0]data.append(rating) #添加打分judgeNum = re.findall(findJudge,item)[0]data.append(judgeNum) #添加评价人数inq = re.findall(findInq,item)if len(inq)!=0:inq = inq[0].replace("。","") #去掉句号data.append(inq) #添加概述else:data.append(" ") #留空bd = re.findall(findBd,item)[0]bd = re.sub('
bd = re.sub('/'," ",bd) #替换/data.append(bd.strip()) #去掉前后的空格需要注意的是title有中文名和外文名(英文、韩语等)，需要特殊处理。概况和影片相关内容也需要处理。
最后再用一个datalist的列表将data进行存储。
3、保存数据
基础知识详见：python将99乘法表写入到Excel中_python文件操作将乘法表写入文件_StudyWinter的博客-CSDN博客
不同的是需要加入行说明
book = xlwt.Workbook(encoding="utf-8",style_compression=0) # 1创建workbook对象sheet = book.add_sheet("豆瓣电影Top250",cell_overwrite_ok=True) # 2.创建worksheet 创建工作表 cell_overwrite_ok=True覆盖以前的内容col = ("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")for i in range(0,8):sheet.write(0,i,col[i]) #写入列表再循环250次将之前datalist中的元素存写到worksheet中，并保存
for i in range(0,250):print("第%d条"%(i+1))data = datalist[i]for j in range(0,8):sheet.write(i+1,j,data[j])book.save(savePath) #保存名称4、运行结果
