用GO写爬虫脚本抓去拉勾上的职位信息
by vitrumblog
偶然看到一个用GO写的爬虫项目:Pholcus(幽灵蛛),支持并发,支持脚本配置,可以使用GO和JAVASCRIPT写脚本。
稍微研究了一下。
首先,安装Pholcus的爬虫:
“`
go get -u -v github.com/henrylee2cn/pholcus
“`
下载试例脚本:
“`
go get -u -v github.com/vitrum/pholcus-lib-lagou
“`
使用demo目录的demo.go
“`
cd demo
go run demo.go
“`
参考资料:https://github.com/henrylee2cn/pholcus