WEB-DICT词库计划

标签: web dict 计划 | 发表时间:2013-10-09 19:35 | 作者:jj12345jj198999
出处:http://blog.csdn.net

欢迎大家支持晓阳童鞋的词库计划,建立一个庞大的中文词库


地址如下: http://webdict.info/


什么是WEB-DICT词库计划?

WEB-DICT词表计划目标是通过机器学习算法以及人工标注构建一个包含大量网络词汇的、无版权限制的中文词库,从而提高中文网络文本自然语言分析以及开源中文输入法的效果。

现在有很多词库,为什么还要创建新的词库?

虽然目前互联网上可以得到的词库很多,但是包含网络词汇的非常少,而且都是有版权的,反之没有版权或者免费使用的词库大多比较旧。

目前的词库是怎么得到的?

目前的词库首先是通过网络爬虫从Twitter中抓取中文推(约4G左右纯文本),然后使用Stanford word segmenter进行分词,统计词频。最后用CRF模型进行筛选,比较不确定的词语放到网络上进行人工标注,最后汇合生成词库。

怎样获得WEB-DICT词库?

可以从 GitHub中下载

WEB-DICT词库有版权吗?

WEB-DICT词库是Public Domain的,没有任何的版权限制。


一些判断标准

判断是否是一个词的最主要标准就是,拆开之后是否意思会发生改变,如果拆开意思不变则不是一个词语,比如“发微博”。 末尾带有“的”“地”“得”的很明显不是一个词语。
常用的短语,如果拆分之后不能表示原来的意义,也算作是一个词语,比如“混口饭吃”。
很明显由两个词语构成的,不是一个词语,比如“别到”、“扭出”等。
数字不是一个词语,比如“三二五”、“五千五”等。
人名、地名和机构名等命名实体是一个词语,比如“南京市”、“张小贱”等。

最近记录

[10-9 16:43] "社区店"不是一个词语
[10-9 16:43] "盗贼们"不是一个词语
[10-9 16:43] "冷笑篇"不是一个词语
[10-9 16:43] "撤得"不是一个词语
[10-9 16:43] "瑟吧"不是一个词语
[10-9 16:43] "等面"不确定
[10-9 16:43] "共生"是一个词语
[10-9 16:43] "爱太"不是一个词语
[10-9 16:43] "半天才"不是一个词语
[10-9 16:43] "券还"不是一个词语


作者:jj12345jj198999 发表于2013-10-9 19:35:20 原文链接
阅读:34 评论:0 查看评论

相关 [web dict 计划] 推荐:

WEB-DICT词库计划

- - CSDN博客互联网推荐文章
欢迎大家支持晓阳童鞋的词库计划,建立一个庞大的中文词库. 地址如下: http://webdict.info/. 什么是WEB-DICT词库计划. WEB-DICT词表计划目标是通过机器学习算法以及人工标注构建一个包含大量网络词汇的、无版权限制的中文词库,从而提高中文网络文本自然语言分析以及开源中文输入法的效果.

Web未死

- Sinan - GeekPark 捕风捉影
App的极限已经浮现,而Web则是突破此极限,推动下一个数字时代革命的起点. 距离美国《连线》杂志发表《Web已死,互联网永生》这篇文章还不到一年的时间,业界为Web平反的声音渐起. 2010年1月,苹果发布iPad,紧随其后在6月又发布了iPhone4. 没有人质疑过苹果的iTunes+App的商业模式,App可谓如日中天.

web的演变

- 酿泉 - 前端观察
这是一个基于GAE的项目,有mgmt design、GOOD、Hyperakt和Vizzuality开发,也有Google chrome团队的参与,记录了浏览器与互联网技术的演变. 不多介绍,直接去看看吧:Evolution Of Web. 值得一提的是,这个项目的代码很不错,值得学习一下.

Web Service入门

- - 博客 - 伯乐在线
本文来自文章作者 @Jeremy黄国华 的投稿. 伯乐在线也欢迎其他朋友投稿,投稿时记得留下您的新浪微博账号哦~. 目前对Web Service没有统一的定义,定义一:Web Service是自包含的、模块化的应用程序,它可以在Web中被描述、发布、查找以及调用. 定义二:Web Service是基于网络的、分布式的模块化组件,它执行特定的任务,遵守具体的技术规范,这些规范使得Web Service能与其他兼任的组件进行操作.

Web Apps来袭

- - HTML5研究小组
如同历史上任何一次互联网基础标准的变化都会在随后几年中带来应用创新的大爆发一样,当HTML5在2011年逐渐被主流厂商所接受之后,围绕Web Apps领域的创新风暴正山雨欲来. 2012年1月12日,老牌传媒集团《金融时报》(Financial Times,以下简称FT)宣布收购为其开发移动Web App的研发公司Assanka ,这样,FT将不再以外包的形式雇佣Assanka为其打造移动Web App,而可以直接让它在内部进行开发.

Google 的 Web Desinger

- - 极客公园-GeekPark
[核心提示]Google 的免费 Web 设计工具虽然现在主要目的是为广告设计,今后会不会成为 Chrome 应用的开发工具. 听到 Google 推出了一个名为 Google Web Designer 的网页设计还有点惊讶. 虽然 Google 是 Web 技术的大力倡导者,毕竟自己严重依赖这个平台,但市面上相关的产品太多了,从专业的开发工具到小白的所见即所得软件数不胜数,还有 Adobe 这个专业玩家.

Chrome 的 Web Intents 会改变 Web 吗?

- hailin - 爱范儿 · Beats of Bits
2011年8月4日,Chrome 团队宣布将支持一个新的技术—— Web Intents. 这个技术未来可能会极大的影响网络应用和浏览器. 什么是 Web Intents. 如果您用过 Android 手机可能就会对这个技术有所了解. Android Intents 可以让两个独立的程序之前通信互相,神奇的是这两个程序中的任何一个程序可能不知道它在和谁通信.

[Web] 連結分享

- yasy - 網站製作學習誌
关于做PHP扩展开发的一些资源. 我对PHP5.4的一个改进. schema-database – 查詢結果與 PDO::FETCH_CLASS. 讓AJAX動態內容支援瀏覽器回上頁功能. LESS介紹及其與Sass的差異. 網頁設計該用哪種字級單位:px、em或rem. IE10将增强对HTML5和CSS3的支持.

艺术与web:线

- 南风 - 译言-每日精品译文推荐
来源Art and the Web: Line | Think Vitamin. 初识各类艺术要素与原则时,你或许会以为它们太过简单甚而不屑一顾. 然而,多花些时间,对每一类要素与原则都仔仔细细地沉思默想一番,却是十分重要的. 在学习艺术要素与原则时,这些便是你要问自己的基本问题. 思考一下如何你才能将它们融入到你的创意思维里,如何才能卓有成效地将它们应用于你自己的web项目中.