我和爬虫的故事

爬虫简介

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

个人经历

• 本人有幸在大二时接触到爬虫（非计算机专业），于是开始走向 自学Python，放弃Python，再学Python，再次放弃，继续学

到这时已经很迷茫了，因为一来就接触语言，很模糊，不知道该学啥，学来有什么用，所以徘徊，我大概学了四遍python基础（完整看完过 小甲鱼（零基础到飞机大战设计）、慕课的python两门课程、黑马培训的python课），才对python有了一点掌握和了解，当然期间接触到了c和java的学习

• 辅修计算机学位（c,java,前端设计,java后端,计算机网络,数据结构,mysql,操作系统等等课程）。

其实上课和枯燥，学校主要还是教授以前端和后端为主，我并不感冒这些课程，所以学的时候也是三天打鱼两天晒网。课程都是以最低标准去完成要求，越学习，越觉得无趣，后来还是拾起了python。

• 实习，太幸运太幸运了，没有这一段，就没有现在的我，通过在计算机学院的朋友（杨兄），又推荐了计算机学院的就业指导老师，推荐了一份在重庆一家公司做（兼职实习生），后来成为正式实习生，最后经过试用期，转正成为正式员工

最近看到一种观点，大学只有三年学习时间，最后一年是找工作和写论文的，很庆幸当时的我笨鸟先飞，在大三下学期就开始去找实习工作，因为我已经有了点基础（不知天高地厚），但是不知道现在岗位需要什么样的人，所以就开始刷招聘软件，疯狂去争取面试，（期间发生了很多摧毁我信心的，差点还被骗进培训班，2w包就业的那种，贷款上班，o(╥﹏╥)o），最后是杨兄帮我找到就业指导老师，刚好有一家公司的管理来我们学校找兼职实习生（不需要基础），于是很幸运很幸运，再晚几天找老师可能就错过了。在这里遇到了，可以说是从0到1的 李师傅带上岸的，敢相信，当时 只会 requests.get，连post都不会，我真的哭死，后来在李师傅和其他小伙伴的带领下，开始 base64加密、cookie加密、js逆向、混淆、正则匹配、mysql的实际运用、服务器的使用等等，后来又有婷姐教了很多后端的知识，字符匹配，代码的规范等待，真的在这里学到的太多太多了。我在这里学到这么多，为什么离职？（重庆的就业环境太差了，想挑战自己，想去外面看一看，因为我还有小弟这里面，具体就不到那么具体了，不能动摇军心，但是我对前公司都是抱感激的态度，而我更想一个白眼狼，养大了就跑，我都替公司感到不值，如果能重来，我还是会选这家公司）

• 第一次跳槽，在去年年底，正好赶上新公司（现在的公司，定位：广东东莞）缺人，工资开到前公司的一倍，心动不如行动，星期天就提离职，星期四早上走完流程，星期四晚上已经在新公司宿舍了，星期五就已经在工位上开始工作，一直工作到现在。

和前公司提离职时，我还没说我已经确定下来工作了，只是想快点交接完工作，主要还是和李师傅和婷姐，我有提前跟他们说，所以交接很快，在3天内就做完了交接，最后离职。我承认我有赌的成分，我也对未知也有恐惧，但是奈何新公司给的太多（当时），换算下来比在重庆的待遇翻了一倍还多。新公司为小型的科技公司，所以很多都是需要独立完成，我在这里学的东西还是很有限的，自能靠自学，前任同事留下来的代码，可以毫不夸张的说一个星期看完了，但是留下来的代码没有规范化的书写，所以我也不打算重构，只是面试往里面塞，诠释了“能跑就行”，再不行，就我跑！！！

（2024.05.13）

未来

（2024.05.13）

• 未知

其实我很想穿越到未来看我到底过得怎么样，我是以放弃结尾还是小有成就。

• 短期目标

找到一家新公司，给的足够多，赚点存款 or 找到一个好的项目，带回重庆发展。两条线路并行

• 长期目标

找到合适自己的项目，花几年经营，然后躺平赚被动收入；
or
有某项了不起的能力，能够回重庆当管理层；
or
就看我的朋友有没有发财的，养我了。

总结

（2024.05.13）

• 搞清楚兴趣；学习

兴趣是最好的老师，我是因为喜欢逆向，所以才能走到现在这一步，并不是喜欢写程序，前端和后端明明有更好的选择，但是我还是选择了离我最遥远的python-爬虫，并在这条路上越走越远。

• 需要正向反馈；

在一定程度上，如果从一件事情上没有任何反馈，就没有动力；我的动力来源于能够靠这个赚到$了，为什么我放弃了python两次，因为在学python基础的时候，就像我一个人走在条无尽的黑路上，我不知道能得到什么反馈；但是自从我学会了爬虫，能够独自赚钱了，我发现我只能做几十到一两百的单子，但是技术越高，能得到的越多，这是我学技术这么拼命的一个很重要的原因。这个反馈不一定是要是钱，也可以是其他的奖励，但是一定要有，否则一个人太难了。

• 学习

其他行业不清楚，但是爬虫行业，必须得跟上技术的脚步，因为反爬是在最近几年才兴起的，而且有更多更难的，是爆发式的增长，这个行业也是 一个人与整个团队的斗智斗勇，我太喜欢这种感觉了，这也是我的兴趣点，所以喜欢这个行业，我不是证明我比一个安全团队更厉害，只是享受在破解后的那一刻“爽”。

---

ps: 其实这是一篇为了凑发布量的一篇文章，我也不知道为啥要写这个，还憋了1个小时，写了2k+字，真是睡不着觉，后面我也会不定期更新这篇文章，保证文章不改的同时，向里面添加新的内容，欢迎关注，也期待听到其他人的故事。

欢迎交流：

vx: lyj_txd
qq: 1416279170