如何实现一个高效率的爬虫
发布网友
共1个回答
热心网友
你想达到每天千万级别的速度，建议试试前嗅的ForeSpider数据采集软件。我之前用火车、八爪鱼，开服务器采集，一个月采100多万条。用ForeSpider，用笔记本采集的，一天就几百万条。
从一个专业C++程序猿的角度说，网上流传的各种Java爬虫，Python爬虫，Java需要运行于C++开发的虚拟机上，Python只是脚本语言，采集效率和性能如何能与强大的C++相提并论？C++直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的。ForeSpider的开发语言是C++，从语言层面来讲，火车采集器是不具备这样的能力的。
forespider在台式机上运行一天可以采400万，在服务器上一天可以采8000万，而且自带免费的千万级别数据库，免安装，可以直接入库。还支持MySQL、ODBC数据库。
