这个爬虫类似于 Googlebot,但它将被 Google 团队内部使用,用于爬取公共网络上的信息。Google 推出了 GoogleOther,这是一个全新的网络爬虫。GoogleOther 将被
go写的一款企业级的管理爬虫的工具,文档很全,该有的功能都有,个人用于用于管理日常的一些爬虫任务,绰绰有余,企业内部如果有一些爬虫内容,开源版本用于管理也是足够的,对于运维来讲,完全可以用来作为作业平