Scrapy爬虫笔记【1-基本框架】
- - CSDN博客研发管理推荐文章Scrapy 是一款抓取网页并从中提取结构化数据的应用程序框架，它具有非常广泛的应用场景，如：数据挖掘、信息处理和历史信息归档等. 尽管 Scrapy 最初被设计用于 屏幕抓取（准确地说是 网页抓取），但您也可以仅使用它的
API 来提取数据（就像. Amazon Associates Web Services）或作为通用的网页爬虫来使用.
一个方便易用的爬虫框架
标签：
爬虫
框架
| 发表时间：2015-01-03 21:41 | 作者：wdmsyf
出处：http://www.iteye.com
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
官方网站 http://webmagic.io/
webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。作者曾经在前公司进行过一年的垂直爬虫的开发，webmagic就是为了解决爬虫开发的一些重复劳动而产生的框架。
web爬虫是一种技术，webmagic致力于将这种技术的实现成本降低，但是出于对资源提供者的尊重，webmagic不会做反封锁的事情，包括：验证码破解、代理切换、自动登录等。
webmagic的主要特色：
- 完全模块化的设计，强大的可扩展性。
- 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。
- 提供丰富的抽取页面API。
- 无配置，但是可通过POJO+注解形式实现一个爬虫。
- 支持多线程。
- 支持分布式。
- 支持爬取js动态渲染的页面。
- 无框架依赖，可以灵活的嵌入到项目中去。
http://git.oschina.net/flashsword20/webmagic#readme
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [爬虫 框架] 推荐：
开源Python网络爬虫框架Scrapy
- - 互联网实践所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据. 不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了. 一般的方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样.
webmagic 0.3.0 发布，高性能Java爬虫框架
- - 开源中国社区最新新闻webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫. 之前两个版本的主题分别是"灵活"，"方便"，而此次更新的主题是"性能". 重写了XPath解析器，替换了HtmlCleaner. 这个XPath解析器(我另外建立了一个项目 Xsoup)基于Jsoup完成，比HtmlCleaner性能好一倍以上，同时有更友好的错误提示.
一个方便易用的爬虫框架
- - 互联网 - ITeye博客webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫. 官方网站 http://webmagic.io/. webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发. webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料.
社会化海量数据采集爬虫框架搭建
- - 互联网 - ITeye博客随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前. 如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集. 这篇文章结合我们自身项目经验谈一下. 我们来看一下作为人是怎么获取网页数据的呢. 1、打开浏览器，输入网址url访问页面内容.
网络爬虫框架scrapy介绍及应用——抓取新浪新闻的标题内容评论
- - CSDN博客综合推荐文章开始这篇博文之前，调研了相关的爬虫方法，简单罗列冰山一角. 手动编写爬虫，httpclient 是常用工具. 常见的请求方式有httpget 和httppost. http://www.yeetrack.com/?p=779 这个教程很全面. httpclient 对js 的支持比较差，有时候需要使用htmlunit 或者selenium.
网络爬虫
- - 四火的唠叨文章系本人原创，转载请保持完整性并注明出自 《四火的唠叨》. 最近在写一个程序，去爬热门事件和热门关键词网站上的数据. 网络爬虫也叫做网络蜘蛛，是一种互联网机器人，把需要的网页撷取下来，组织成适当格式存储. 它是搜索引擎的重要组成部分，虽然从技术实现上来说，它的难度往往要小于对于得到的网页信息的处理.
Google 图片爬虫
- - 吴良超的学习笔记这里的 Google 图片爬虫指的是爬取在 Google 上通过关键词搜索得到的图片，由于最近需要一些特定领域的图片，而且现有的数据库满足不了要求，因此就想通过 Google 搜索筛选出这些特定领域的图片，然后下载下来后再进行人工筛选. 这里采用了两种方法，区别在于是否需要解析网页端的 JS 代码.
JSOUP实现简单爬虫
- - ITeye博客这个说是简单爬虫 其实连个爬虫也算不上吧 功能太精简了.... 流程很简单: 输入几个初始的网页 然后通过JSOUP获取网页中的a标签的href的值. 接着把新得到的地址放入任务队列中. 实现中的worker是一个单线程的派发器 用于产生Parser. Parser用于完成网页的保存 网页的解析 以及入队列操作.