搞量化先搞数（上）：A股股票列表免费抓取实战

到了这一步，我们学习了基础的爬虫请求库urllib和requests，尤其是后者，强大且易用，极其适合新手使用。那么今天我们就找一个相对简单的案例，来看一下如何在实战中应用爬虫技能。

相信很多朋友都对股票感兴趣，甚至有些朋友想要通过量化研究来获得超额收益。然而，想要进行量化研究，我们首先得先有数据。暂且不说各种财务数据、行业数据、新闻公告等相对复杂的，我们至少得有个股票列表和历史行情数据吧？

如今市场上能为散户提供数据的，有一些公开的接口，不过为了得到比较好的体验，基本上还是得花一些钱，比如强大的tushare接口，提供了极为丰富的数据。但是不同的数据以及不同的请求频次对应着不同的门槛，每年成本从数百到数千不等。还有一些如baostock、IG507、Ashare等，但都有一定的使用限制（主要是指请求量级和频次）。

如果我们想要快速对历史全量的行情数据进行建模分析，使用这些接口是极为不便的。毕竟以这些接口的请求速度，我们实际花费在数据请求上的时间会远远超过我们进行建模、计算的时间。

因此，把历史数据抓取并保存到数据库中，就势在必行了。当然，如果已经是这些接口的高级版/付费版用户，通过这些接口请求格式化数据并存储到数据库会更加简单。但是肯定还是有很多用户想要先用免费数据体验一下，今天，老Q就带大家看看怎么搞到免费的A股历史行情数据。

抓取A股股票列表

一、找到合适的网站

首先，我们的数据肯定是来自公开的互联网。因此我们先用搜索引擎搜一下“A股