用GO写爬虫脚本抓去拉勾上的职位信息

by vitrumblog


偶然看到一个用GO写的爬虫项目:Pholcus(幽灵蛛),支持并发,支持脚本配置,可以使用GO和JAVASCRIPT写脚本。

稍微研究了一下。

首先,安装Pholcus的爬虫:

“`
go get -u -v github.com/henrylee2cn/pholcus
“`

下载试例脚本:
“`
go get -u -v github.com/vitrum/pholcus-lib-lagou
“`

使用demo目录的demo.go

“`
cd demo
go run demo.go
“`

参考文章:
https://mp.weixin.qq.com/s?__biz=MzI3MjU4Njk3Ng==&mid=100000223&idx=1&sn=9e72f16d5879efb8963118fce0ff4c69&chksm=6b3100505c468946a2812ef3f82959c1c9fd037c4c51451c022d5b1c4da9809fb5b77885e842&mpshare=1&scene=23&srcid=1220xbaPVRVPIpq40af5lQDv#rd

参考资料:https://github.com/henrylee2cn/pholcus