如何优雅地使用c语言编写爬虫

前言大家在平时或多或少地都会有编写网络爬虫的需求。一般来说编写爬虫的首选自然非python莫属除此之外java等语言也是不错的选择。选择上述语言的原因不仅仅在于它们均有非常不错的网络请求库和字符串处理库还在于基于上述语言的爬虫框架非常之多和完善。良好的爬虫框架可以确保爬虫程序的稳定性以及编写程序的便捷性。所以这个cspider爬虫库的使命在于我们能够使用c语言依然能够优雅地编写爬虫程序。爬虫的特性配置方便。使用一句设置函数即可定义user agentcookietimeoutproxy以及抓取线程和解析线程的最大数量。程序逻辑独立。用户可以分别定义爬虫的解析函数和数据持久化函数。并且对于解析到的新url用户可以使用cspider提供的addUrl函数将其加入到任务队列中。便捷的字符串处理。cspider中提供了基于pcre的简单的正则表达式函数基于libxml2的xpath解析函数以及用于解析json的cJSON库。高效的抓取。cspider基于libuv调度抓取线程和解析线程使用curl作为其网络请求库。使用cspider的步骤获取cspider_t。自定义user agentcookietimeoutproxy以及抓取线程和解析线程的最大数量。添加初始要抓取的url到任务队列。编写解析函数和数据持久化函数。启动爬虫。例子先来看下简单的爬虫例子会在后面详细讲解例子。#include/* 自定义的解析函数d为获取到的html页面字符串 */voidp(cspider_t *cspider,char*d) {char*get[100];//xpath解析htmlintsize xpath(d,//body/div[classwrap]/div[classsort-column area]/div[classcolumn-bd cfix]/ul[classst-list cfix]/li/strong/a,get,100);inti;for(i 0; i size; i) {//将获取到的电影名称持久化saveString(cspider,get[i]); } }/* 数据持久化函数对上面解析函数中调用的saveString()函数传入的数据进行进一步的保存 */voids(void*str) {char*get (char*)str; printf(%sn,get);return; }intmain() {//初始化spidercspider_t *spider init_cspider();char*agent Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0;//char *cookie bids3/yuH5Jd/I; ll108288; viewed1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma30149280.927537245.1446813674.1446983217.1449139583.4; __utmz30149280.1449139583.4.4.utmcsraccounts.douban.com|utmccn(referral)|utmcmdreferral|utmcct/login; psy; ue965166527qq.com; dbcl258742090:QgZ2PSLiDLQ; ckT9Wn; push_noty_num0; push_doumail_num7; ap1; __utmb30149280.0.10.1449139583; __utmc30149280;//设置要抓取页面的urlcs_setopt_url(spider,so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html);//设置user agentcs_setopt_useragent(spider, agent);//cs_setopt_cookie(spider, cookie);//传入解析函数和数据持久化函数的指针cs_setopt_process(spider, p); cs_setopt_save(spider, s);//设置线程数量cs_setopt_threadnum(spider, DOWNLOAD,2); cs_setopt_threadnum(spider, SAVE,2);//FILE *fp fopen(log, wb);//cs_setopt_logfile(spider, fp);//开始爬虫returncs_run(spider); }例子讲解cspider_t *spider init_cspider();获取初始的cspider。cs_setopt_xxx这类函数可以用来进行初始化设置。其中要注意的是:cs_setopt_process(spider,p);与cs_setopt_save(spider,s);它们分别设置了解析函数p和数据持久化函数s这两个函数需要用户自己实现。在解析函数中用户要定义解析的规则并对解析得到的字符串可以调用saveString进行持久化或者是调用addUrl将url加入到任务队列中。在saveString中传入的字符串会在用户自定义的数据持久函数中得到处理。此时用户可以选择输出到文件或数据库等。最后调用cs_run(spider)即可启动爬虫。具体的API参数可在这里查看总结赶快使用cspider爬虫框架来编写爬虫吧如果在使用过程中发现bug欢迎反馈。