沙妙秒的个人博客

根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。

通用爬虫

通用网络爬虫 是 搜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。