网页正文抽取工具

标签： 技术 网页抽取 | 发表时间：2013-03-19 08:50 | 作者：丕子
出处：http://www.zhizhihu.com
PS：你知道weibo问答的力量有多么的强大了吧？？？
==
总结我用过的网页正文抽取工具： decruft  http://t.cn/S7bVEC python-readability http://t.cn/zYeoZ8b boilerpipe  http://t.cn/h41EEs python-boilerpipe http://t.cn/zYeoyPw pismo  http://t.cn/zYeoyP2 Goose  http://t.cn/zYeoZ8G Python Goose  http://t.cn/zYeoZ8q
@丕子:有个测试链接： http://jimplush.com/blog/goose 测试了个链接，goose没提出来，cx-ectractor提出来了；不过goose的metadata以及image等不错；谁有空写个吧，两者优点结合一下。
@52nlp: 转cx-ectractor( http://t.cn/hDO2xf )的维护者  @陈鑫Shin  @王利锋Fandy // @陈阿荣: cx-extractor // @马少平THU: 这个确实有难度，我们也没有什么好方法。 @王利锋Fandy: 在我的硕士论文中给出了形式化数学表示，详细请见： http://t.cn/zYeAJSc，希望对大家有帮助
开源中国：可看看这个开源项目  http://t.cn/zYeL9Jn
数据挖掘研究院：h2w.iask.cn
licstar：NReadability  http://t.cn/zYewPMn
我不是勒瑟：搜一下这篇论文：DOM Based Content Extraction via Text Density
@梁斌 推一下，各大公司都有做这个的，搜狗这个叫PA，page analysis，我也短期维护过，目前是某哥们再搞
您可能也喜欢：

抓取网页碰到500错误时：User Agent
100个设计Blog，灵感或来于此
[酷图] 设计展览：”联系我”、沉浸型、清新型
CSS网页颜色代码表
SNS下的推荐系统、问答系统、自然语言以及Page Rank
无觅

相关文章

相关 [网页 工具] 推荐：

网页抓取工具

- - Web前端 - ITeye博客
       Webdup能够把您想要浏览的信息(如网页和图片等)预先下载下来，保存在本地硬盘，使您可以从本地进行离线浏览，这样不仅可以大大减少上网时间，降低上网费用，还可以加快浏览速度；并且将来无须上网就可以很方便地查阅这些信息. 不仅如此, Webdup更提供了备份历次下载记录和比较完善的管理功能，使您能够方便地分类保存和管理有价值的下载信息.

网页审查工具介绍

- 溪梦 - 崔凯,前端开发
其实除了 firebug 之外，在其他浏览器上，也存在 Developer Tools、Dragonfly 等等开发者工具. 在此简要介绍一下 Web Inspector（网页审查工具），希望可以方便大家在多领域进行网页开发. 在支持该功能的浏览器上（Chrome/Maxthon3/Safari），点击右键，调用“审查元素”：.

Kraken.io：网页优化最佳工具

- - TechWeb 新酷网站 RSS阅读
　　Kraken Web Optimizer 是一个集图片压缩、ICO图片格式转换、JavaScript 检查等功能于一体的在线网页优化工具. 如果你想优化网站速度、加快网站的开启速度或是减少浏览浪费的话，把图片压缩一下就是会个不错的方法，可达到立竿见 影的效果. 倘若网站使用了不JavaScript、CSS 或 HTML，Kraken.io 也能针对这些程序代码进行优化.

网页正文抽取工具

- - 丕子
PS：你知道weibo问答的力量有多么的强大了吧. @丕子:有个测试链接： http://jimplush.com/blog/goose 测试了个链接，goose没提出来，cx-ectractor提出来了；不过goose的metadata以及image等不错；谁有空写个吧，两者优点结合一下. @52nlp: 转cx-ectractor( http://t.cn/hDO2xf )的维护者  @陈鑫Shin  @王利锋Fandy // @陈阿荣: cx-extractor // @马少平THU: 这个确实有难度，我们也没有什么好方法.

网页设计师的新宠，可以触摸的网页原型工具

- 蕗 - 互联网的那点事
电子书再好，还是有很多人喜欢纸质的书本，喜欢那份书香和质感. 很多设计师也一样，他们喜欢可以触摸得到的设计工具. 譬如下面这款用于网页原型设计的草稿本：. 它如同那些可视化的原型设计软件一样，常用元素都给你准备好了，信手拈来，任你摆放. 不同的是，这可是真正的信手拈来. 搭起一个实体的感觉，是对着屏幕画个界面所难以比拟的，这就是所谓的存在感吧.

网页完美保存工具：SaveAs Plus绿色版

- gloomy - 精品绿色便携软件
SaveAs Plus也是为唐失惊绿化的一个免费小软件，由WizBrother开发，是一个浏览器网页保存增强软件，有极好的网页保存效果. 浏览器提供的网页另存功能有诸多不足，如对特定页面不兼容、丢失HTML和DOM对象等，SaveAs Plus旨在弥补浏览器保存网页的缺陷，通过内置MIME优化引擎，达到完整保存的效果，真正的所见即所得，完美解决脱机保存网页.

Google发布Chrome网页安全检测工具DOM Snitch

- zou guangxian - 36氪
Google今天发布了一个名为DOM Snitch的开源工具，可以帮你找出网站上的恶意软件. 这个工具是一个Chrome扩展，可以检查网站的代码执行情况，看是否有命令可以导致跨站脚本和其他通过网页浏览器发起的攻击行为. Google表示DOM Snitch可以帮助开发者和测试人员发现潜藏在客户端代码里的非安全惯例.

Adobe 发布 HTML5 网页动画工具 Adobe Edge

- Joji - ITeye资讯频道
    Flash VS HTML5之争似乎即将见分晓. Adobe刚刚发布了一个新的工具Adobe Edge，允许设计师通过HTML5、CSS和JavaScript制作网页动画，无需Flash.     Adboe Edge的目的是帮助专业设计师制作网页动画乃至简单游戏. 目前该工具的重点放在动画引擎上，但未来将增加更多HTML5功能，比如Canvas、HTML5音频/视频标签等.

Adobe发布HTML5网页动画工具{Adobe Edge}

- Zen - 36氪
Flash VS HTML5之争似乎即将见分晓. Adobe刚刚发布了一个新的工具{Adobe Edge}，允许设计师通过HTML5、CSS和JavaScript制作网页动画. Adboe Edge的目的是帮助专业设计师制作网页动画乃至简单游戏. 目前该工具的重点放在动画引擎上，但未来将增加更多HTML5功能，比如Canvas、HTML5音频/视频标签等.