东风何处是人间

标签: R 生活 宋词 文本挖掘 频数 | 发表时间:2011-03-02 00:29 | 作者:yixuan Avenger
出处:http://www.chedong.com/blog/

再次神经短路,突然想看看宋词里面什么样的意象是最常见的,比如可以做个频率分析什么的。当然文本挖掘需要分词,我没法在其中花太多时间,于是想出了一个土办法。宋词的句子都很短,如果穷举可能的字的组合的话并不是太多,况且最常见的词语一般是两三个字,这样可能的组合就更少了。比如“犹解嫁东风”这句话,可能的二字组合是“犹解”“解嫁”“嫁东”“东风”,三字组合是“犹解嫁”“解嫁东”“嫁东风”,词的字数越多,可能的组合就越少。如果把每句话可能的字的组合都列举出来,就可以整体统计频率了。

当然里面会有很多无意义的字的组合,不过这类“词语”本身的出现就是一个偶然,所以可以预期的是它们整体的频数会很低,是入不了“大雅之堂”的。话不多说,直接上代码和结果。

数据:《全宋词》文本

代码:

l=scan("Ci.txt","character",sep="\n");
l.len=nchar(l);

# 某些行是作者和标题,所以选取长度大于10的行;
# 另外这个文本文件不太规整,有些网址什么的,
# 所以也要排除那些长度太长的。
ci=l[l.len>10 & l.len<500];

# 句子用标点符号分割。
sentences=strsplit(ci,",|。|!|?|、");
sentences=unlist(sentences);
sentences=sentences[sentences!=""];
s.len=nchar(sentences);

# 单句太长了说明有可能是错误的字符,去除掉。
sentences=sentences[s.len<=10];
s.len=nchar(sentences);

# 暴力挨个拆分,比如“犹解嫁东风”的所有二字组合为
# “犹解”“解嫁”“嫁东”“东风”,
# 无意义的词其频数自然就落在后面了。
splitwords=function(x,x.len) substring(x,1:(x.len-1),2:x.len);

words=mapply(splitwords,sentences,s.len,SIMPLIFY=TRUE,USE.NAMES=FALSE);
words=unlist(words);
words.freq=table(words);
words.freq=sort(words.freq,decreasing=TRUE);
data.frame(Word=names(words.freq[1:100]),Freq=as.integer(words.freq[1:100]));

结果(排在第一的是无效字符,这跟数据源有关):

   Word Freq           Word Freq
1       1485        51  天上  368
2   东风 1382        52  杨柳  362
3   何处 1230        53  西湖  356
4   人间 1202        54  桃花  354
5   风流  857        55  扁舟  353
6   归去  812        56  消息  351
7   春风  802        57  憔悴  344
8   西风  779        58  何事  339
9   归来  771        59  芙蓉  338
10  江南  765        60  神仙  334
11  相思  753        61  一片  334
12  梅花  732        62  桃李  333
13  千里  676        63  人生  332
14  回首  656        64  十分  331
15  明月  651        65  心事  329
16  多少  648        66  黄花  328
17  如今  642        67  一声  325
18  阑干  630        68  佳人  324
19  年年  613        69  长安  321
20  万里  590        70  东君  319
21  一笑  582        71  断肠  316
22  黄昏  550        72  而今  315
23  当年  542        73  鸳鸯  314
24  天涯  537        74  为谁  313
25  相逢  528        75  十年  310
26  芳草  527        76  去年  309
27  尊前  516        77  少年  308
28  一枝  512        78  海棠  307
29  风雨  505        79  寂寞  306
30  流水  472        80  无情  306
31  依旧  472        81  不是  305
32  风吹  471        82  时候  304
33  风月  461        83  肠断  303
34  多情  457        84  富贵  303
35  故人  451        85  蓬莱  303
36  当时  450        86  昨夜  303
37  无人  445        87  行人  302
38  斜阳  438        88  今夜  301
39  不知  430        89  谁知  300
40  不见  429        90  不似  299
41  深处  422        91  江上  298
42  时节  403        92  悠悠  296
43  平生  398        93  几度  295
44  凄凉  398        94  青山  295
45  春色  394        95  何时  294
46  匆匆  383        96  天气  293
47  功名  383        97  惟有  293
48  一点  378        98  一曲  291
49  无限  377        99  月明  291
50  今日  369        100 往事  290

不知各位看官看到上面这些既熟悉又悠远的话语又将作何感想?或许,她们就是我们千百年来的精神寄托吧。

相关 [东风 人间] 推荐:

东风何处是人间

- Avenger - 车东[Blog^2]
再次神经短路,突然想看看宋词里面什么样的意象是最常见的,比如可以做个频率分析什么的. 当然文本挖掘需要分词,我没法在其中花太多时间,于是想出了一个土办法. 宋词的句子都很短,如果穷举可能的字的组合的话并不是太多,况且最常见的词语一般是两三个字,这样可能的组合就更少了. 比如“犹解嫁东风”这句话,可能的二字组合是“犹解”“解嫁”“嫁东”“东风”,三字组合是“犹解嫁”“解嫁东”“嫁东风”,词的字数越多,可能的组合就越少.

人间烟火

- Benny - 牛博国际
  最初,阿才告诉我,他的小店一天可以卖出三百碗米粉,我觉得是吹牛. 后来再去蓟门里小区这家“螺蛳粉先生”,人山人海,排半天才能吃上一碗,我不得不信了.   湖南青年马中才,曾经是萌芽系“新概念作文大赛”的一等奖得主,出版过几本小说. 然而如果没有螺蛳粉,我可能一辈子也不会认识这位青年作家. 阿才很会经营,以我的判断,这家螺蛳粉并不是最地道的柳州味,阿才根据本地客人的需求,做了很多主动的妥协和细微的改良.

《人间词话》摘录

- Jim - 牛博国际
《生查子 独游雨岩》辛弃疾 溪边照影行,天在清溪底. 《饮酒 其五》陶渊明 结庐在人境,而无车马喧. 《水槛遣心二首 其一》杜甫 去郭轩楹敞,无村眺望赊. 严沧浪《诗话》谓:“盛唐诸公唯在兴趣,羚羊挂角,无迹可求. 故其妙处,透澈玲珑,不可凑拍,如空中之音,相中之色,水中之影,镜中之象,言有尽而意无穷.

人间别久不成悲

- 宋大妈 - 吾讲斯美
南宋词家姜夔,用情至深而出语不腻,正是敝人喜欢的风格. 他曾写过两首怀念所爱的《鹧鸪天》,其中之一云:. 肥水东流无尽期,当初不合种相思. 梦中未比丹青见,暗里忽惊山鸟啼. 春未绿,鬓先丝,人间别久不成悲. 谁教岁岁红莲夜,两处沉吟各自知.   写这首诗之前二十年,姜先生客居合肥,在当地有一对姊妹相好(题头图:她俩如今也是合肥的城标了).

西藏——人间的天堂…【精品美图】

- Jerry - 纯情即堕;纯想即飞
    西藏的风景是变化无穷的. 季节的更替使西藏拥有了多种截然不同的主题;天气的变换使同一个地点的风景有无穷多种变幻;动物的迁徙使西藏的风景有了生机. 这里有荒芜的高原,有一望无际的原野,有丰茂的绿林,也有高耸入云的雪山;这里还有奇特的寺院,有精美的壁画,有睿智的喇嘛,有虔诚的信徒……游在西藏,人们只有时间上的限制,却没有空间上的限制.

天使在人间,有关奥黛丽·赫本[150P]

- Viel - 乐淘吧
奥黛丽·赫本(1929.5.4—1993.1.20)),著名影星,奥斯卡影后,世人敬仰她为"人间天使". 身为好莱坞最著名的女星之一,她以高雅的气质与有品味的穿着著称. 1999年,她被美国电影学会选为百年来最伟大的女演员第3名. 赫本晚年投身于慈善事业,是联合国儿童基金会亲善大使的代表,1992年被授予"总统自由勋章".

天上换了人间,宇宙科技自家用

- zhong - 果壳网 guokr.com - 果壳网
01 添加膳食补充剂的婴儿奶粉. 美国销售的95%的婴儿食品都含有NASA配方的膳食补充剂,这种补充剂基于藻类,含有据信以前只有母乳才包含的营养物质,对大脑和眼部的脂肪组织发育至关重要. 固特异(Goodyear )数次与NASA合作,最新成果是一种不需要充气的弹力轮胎. 轮胎业有很多构思和产品都来自NASA,比如一种比起普通产品能多跑16000公里的轮胎就归功于NASA提供的纤维材料.

30张绝美的人间仙境摄影照片

- ji - 创意悠悠花园
什么是人间仙境,就是你到了这样子的地方,也会忍不住留下来不想走了,在现实中我们可能很难找到这样子的地方,不过今天分享:30张绝美的人间仙境摄影照片,希望有你喜欢的,也许有一天你也能在现实中见到你眼中的人间仙境. Read the rest of 30张绝美的人间仙境摄影照片 (102 words).