python爬取数据并将数据写入execl表中

概要

提示：python爬取数据并将数据写入execl表中，仅供学习使用，代码是很久前的，可能执行不通，自行参考学习。

# -*- coding: utf-8 -*-
import datetime  # 日期库
import requests  # 进行网络请求
import xlwt  # 与excel相关的操作
from lxml import etree  # 引入xpath库，方便定位元素
import time  # 进行访问频率控制
import random  # 随机数生成
import math  # 数学库# main
def main(word, filename):word = wordfilename = filenameSavepath = "./test/" + filename + ".xls"  # 存储路径datalist = getdata(word)      # 获取爬取的关键词数据savedata(datalist, Savepath)  # 保存的数据和路径参数# 获取html源码
def ask_url(url):html = ""# 进行伪装头信息，防止416错误，模拟浏览器头部信息，向豆瓣服务器发送消息(最好加上cookie)headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/83.0.4103.116 Safari/537.36 "}try:response = requests.get(url, headers=headers,timeout=10)  # 用户代理，表示告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接收什么水平的文件内容）time.sleep(random.randint(1, 3))  # 每隔1-3s执行一次请求html = response.content  # 获取网页的html源代码print("请求访问成功")except requests.exceptions.RequestException as e:print("超时")  # 10秒请求无响应则显示超时print(e)return html# 获取站长工具网站关键词总数
def num(word):word = word  # 关键词url = 'http://rank.chinaz.com/' + word     # 站长工具查询关键词URLnum = ask_url(url)                         # 获取网页源码num1 = etree.HTML(num)                     # 解析网页try:global num2   # 全局变量 num2num2 = num1.xpath('/html/body/div[3]/div[7]/div[1]/div[1]/span/i[1]/text()')[0]  # 通过xpath获取网页关键词总数的值print(num2)                           # 输出获取的值num2 = int(num2)                      # 将值类型转化为intnum2 = str(num2)                      # 将值类型转化为strprint('关键词数：' + num2)              # 打印关键词数num2 = int(num2)if num2 <= 200:                       # if num2<=200,原值返回num2 = int(num2)elif num2 >= 1000:                    # if num2>=1000,赋值为1num2 = 1else:num2 = 200                        # else num2=200except:print("该网站没有关键词")                # if没有获取到值则显示无关键词pass                                  # 用pass防止报错return num2                               # 返回最终关键词总数num2# 获取爬取的关键词
def getdata(word):word = word      # URLnum2 = num(word)  # 获取关键词总数num2 = num2 / 20  # 获取页数num3 = math.ceil(num2)   # 去除小数取整num3 = str(num3)  # 转化为strprint('页面数:' + num3) # 输出总页数num3 = int(num3)Datalist = []  # 用来存储已经经过处理的信息print("{:^20}\t{:^12}\t{:^12}\t".format('关键词', '指数', '排名'))   # 打印表头for i in range(0, num3):  # 在1-num3页内爬取关键词的信息i = i + 1             # i + 1 用于翻页操作i = str(i)url = 'http://rank.chinaz.com/' + word + '-0---0-' + i  # 这个根据网页的翻页特点 站长工具网址翻页后参数变化是每页的数字+1data = ask_url(url)  # 获取到源代码data = data.decode('utf-8')    # 将数据进行utf-8编码# 从源代码中提取信息if data != "":html_data = etree.HTML(data)  # 解析网页# 使用xpath定位到全部要获取的内容   然后在这个里面循环提取div_list = html_data.xpath('//ul[@class="_chinaz-rank-new5b"]')for item in div_list:data_item = []  # 在循环里面建立一个空的列表存储关键词一页的全部数据# 关键词movie_rank = item.xpath('li[1]//a[1]//text()')[0]data_item.append(movie_rank)# PC指数movie_name = item.xpath('li[4]//text()')[0]data_item.append(movie_name)# 排名paiming = item.xpath('li[2]//a//text()')[0]data_item.append(paiming)print("{:^20}\t{:^8}\t{:^8}\t".format(movie_rank, movie_name, paiming))# 先将一行的数据存储在data_item中,再将data_item存入DatalistDatalist.append(data_item)return Datalist# 将html获取的信息存入Excel表格中
def savedata(Datalist, Savapath):col = ("关键词", "PC指数", "排名")  # Excel的表头 也就是列数house_list = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建workbook对象worksheet = house_list.add_sheet("同行网站关键词", cell_overwrite_ok=True)  # 新建工作区，设为可覆盖for i in range(0, 3):  # 写入表头 一共3列worksheet.write(0, i, col[i])  # 写入表头 一共3列try:for i in range(0, num2):  # 写入数据  也就是行数 num2为总行数print("正在写入第%d条数据" % (i + 1))item = Datalist[i]  # 获取的数据的索引for j in range(0, 3):  # 列数worksheet.write(i + 1, j, item[j])  # i + 1是从第1行开始写 第0行被表头占用了  item[j]将数据按照数据的索引进行写入house_list.save(Savapath)  # 存储except:print('存入Execl失败')pass# 读取文本中关键词
def lead_keywords():print('>> 正在导入关键词列表..')try:with open('./url_list.txt', 'r', encoding='gbk') as f:  # 打开文本keywords = f.readlines()         # 按行读取关键词except:with open('./url_list.txt', 'r', encoding='utf-8') as f:keywords = f.readlines()print(keywords)print('>> 正在导入关键词列表成功！')return keywords# 主函数
def seomain():words = lead_keywords()  # 从文本中导入批量URLfor word in words:       # 循环URLword.strip()         # 对URL去除空格word = word.replace("\n", "")  # 对URL去除换行符star_time = time.time()   # 开始时间print(word)               # 输出当前执行的URLfilename = str(word + datetime.datetime.now().strftime('%Y%m%d-%H-%M-%S'))  # 形成文件名(URL+系统时间)try:main(word, filename)    # 执行main()函数,将(URL,文件名)传入main()函数end_time = time.time()  # 结束时间print("爬取完毕! 一共耗时: %.2f秒" % (end_time - star_time))  # 打印耗时except:passprint('已写入Execl到程序当前目录下,文件名为系统时间.xls')time.sleep(10)   # 停止10秒# 程序入口
if __name__ == '__main__':seomain()  # 执行主函数