关于推荐个人观点

标签: 个人 | 发表时间:2014-06-12 07:36 | 作者:liyonghui160com
出处:http://www.iteye.com


回想起来,我也做推荐了3年多了,最近公司做了调整招聘了很多算法工程师,以为需要多么高大上的算法才能搭建起来的,从实践中走

过来,我只想说【不是这样的】

第一次接触推荐系统是在四年前入职的时候,那时候,机器学习和大数据都是没有的概念,什么大数据处理开源软件根本不存在,我们

用多台计算机web程序记录用户行为,用.net的wcf框架实现了和现在mapreduce一样的功能,分析了用户的日志,一台分发任务,其余计

算计算完回传到分发任务的这台计算机,这台计算机合并各台回传数据批量入库,到现在程序还在使用中。而现在就是每天晚上数据部

会同步到他们的数据仓库中。也许在现在很多人眼里看来很可笑吧!

当然推荐的数据量也咩有想想的那么多用mysql和mongodb完全支持,当然不是说没有必要搭建hadoop。

推荐不是仅仅靠算法,还要结合实际的场景,不同的产品进行推荐,来调整算法。要有各种各样的过滤引擎支持对数据的过滤处理。

推荐算法还要分品类进行调整,不是一个算法适用于所有品类,图书和3C完全不同的概念。

推荐是在实践当中不断积累和完善的。

我也看了那些认为算法很牛逼人物们的博客文章,比如用文本写了几行测试数据自认为会了ItemCF的算法,可是你有没有考虑过,如果

商品过亿,评论过亿,订单过亿的时候你的这个例子怎么搬到线上去运行呢?难道你要一下子塞到机器内存,我想机器会疯掉的吧!

当然理论大家还是要学的,呵呵!



写以上应为我看了一篇文章,一遍一遍的读我读了好几遍,转载给大家:

http://www.aszxqw.com/work/2014/06/01/tuijian-xitong-de-nadianshi.html



回想起来,我也算是国内接触推荐系统较早的人之一了,最近和人聊天,觉得不少人对推荐系统有所误解,以为需要多么高大上的算法

才能搭建起来的,我只想说我经常说的那句话【不是这样的】,所以有了这篇文章。

第一次接触【推荐系统】是在两年前在某高校的互联网信息处理实验室的时候,那时候,【机器学习】和【大数据】都是新概念,但是

差不多半年后,【大数据】的概念就开始风靡全球了,到现在已经被爆炒得面目全非。

那年还因此买了一本项亮的书《推荐系统实践》,那本书和现在的很多热门书籍一样,都是跟着概念热起来的。 虽然有一些作者自己的

实战经验在里面,但是总体上来说并没有太多值得重复翻开的地方。

几乎所有宣扬【推荐系统】的人,都要拿【啤酒和尿布】,【亚马逊推荐占营收20%】之类的经典例子来说力证推荐系统的牛逼之处。到

处宣扬【推荐系统】插上【机器学习】等算法的翅膀,就能让电子商务变得精准无比,能智能的猜出用户想买的东西。

殊不知,其实这两个例子和所谓的【算法】其实关系不大。

1. 啤酒和尿布

首先是【啤酒和尿布】,超市的人员发现买啤酒的男人容易顺手买尿布。这其实是一种数据分析,是根据数据统计加上人工分析得出,

是一种以经验来改善销售的行为。和【机器学习】【数据挖掘】等算法的关系不大。 刚接触【推荐系统】的时候,【协同过滤算法】大

热, 我也曾经迷恋得研究过该算法,以为发现了什么宝贝一样。但是实际上,在工程中【协同过滤】出来的效果往往惨不忍睹,所谓的

【算法工程师】每天能做的就是在那调整【协同过滤】算法的相关参数,然后看看第二天的点击率有没有上升。然后调整到最后你会发

现,牛逼哄哄的【协同过滤】其实还不如简简单单的【看了又看】效果来的好,虽然协同过滤算法本质上也是一种【看了又看】的思想

。但是所谓的【算法工程师】不会因此停下他们探索的脚步,他们会继续去寻找更高大上的算法来实验,才能显得他们有在为自己的工

资付出每天的辛勤劳动。

2. 亚马逊的推荐系统

亚马逊的推荐系统占了营收比,我记得是20%,不知道现在上升了还是下降了。这个说辞会让很多人误以为只要你搞好了推荐系统,你的

营收就能上升20%以上一样。其实不然,对于亚马逊来说,为什么推荐能起到这么高的销量,一个很重要的原因在于,【亚马逊的首页点

击率高的部分位置划分给了推荐系统的】,从广告学上讲,广告位置的好坏极大的决定了广告的销量。这个很容易理解

当然不可否定的是亚马逊的推荐系统应该是很牛逼的,但是这并不说明他们采用的【推荐算法】非常牛逼。推荐系统我认为其实和搜索

系统并无太大差异,我一直认为推荐系统其实只是一个个性化的搜索引擎。之前在【秘密】上很火的有个爆料是:“360搜索的Rank刚开

始就是用【机器学习】的算法去做,屎一样的效果,是我把百度的基于规则的算法偷过去之后才变好的。” ,这个爆料出来不少人讽刺

【基于规则】,觉得这是在黑百度的算法。 其实不是这样的,记得当时阿里搜索挖了一个谷歌搜索的员工,该人在阿里分享的时候就说

过:【谷歌的搜索效果比别人好的原因就是规则库牛逼,关于算法使用的都是成熟的人尽皆知的算法,并没什么新奇酷的算法】。 可能

也是这个原因,谷歌研究院的科学家几乎全是【工程师背景】出身的。还记得上次【CCF推荐系统前言讲座】,刚开始叫了几个学院派的

讲师在那大讲特讲各种酷炫掉渣天的算法,然后淘宝打大数据负责人车品觉 上台之后直接来了句【我们实验出各种算法效果不太好,还

不如最基本的 关联规则 效果来的好】直接把前面的学院派专家们打脸打得都肿了。
我心目中的推荐系统

不管是电商,或者是新闻,都有【个性化推荐】和【热门推荐】的取舍。一个商品热门或者点击量高是有其原因的。所以将热门的东西

推荐给用户是非常合情合理的,因为既然热门,也侧面说明了很大概率上该用户也会喜欢该商品。而【个性化推荐】本质上是为了解决

【长尾】问题,把那些不热门的东西,但是很可能符合某特定用户品味的商品【挖掘】出来,推荐给特定的用户群。

首先,在推荐中,醒目的推荐位应该是【热门推荐】或者【人工推荐】,【人工推荐】是指比如在体育新闻中,巴萨夺冠之类的大新闻

是直接让编辑来【人工推荐】即可,就是此新闻一出,马上登上头条,而不是在那磨磨唧唧的计算特征值,计算是相似度,计算是否符

合用户兴趣。 对于推荐中的【冷启动】,最理想的推荐就是【相关推荐】。说到这里,整个推荐系统的 80% 已经搭建完毕,【热门推

荐+人工推荐+相关推荐】,这三者都是【个性化】都没什么关系,也算法关系也不大,但是这三者效果的好坏就决定了整个系统推荐效

果好坏的 80% 。好多人连最基本的这三者都没有做好,就开始想一步登天,很可惜,这样的捷径是不存在的。 接下来是 20% 的【个性

化】的做法,如上所说,个性化是为了解决【长尾】问题,正是因为长尾占商品的 20% ,所以在此我任务【个性化】其实也只有 20%

。要解决个性化,首先就是要对用户分析,最成熟的办法就是对用户打标签(是否让你想起来社交网络为什么经常让你选用合适的标签

描述自己,没错,就是为了分析你)。

其实,给用户打标签,逼格更高的说法叫【用户特征提取】或者【用户行为分析】。说到这两个词,那些所谓的【算法工程师】可能就

会开始扯什么高大上的算法,机器学习,自然语言处理,数据挖掘等各种算法。其实在我看来,算法很大情况根本派不上用场,我认为

这方面的关键在于【数据统计 + 人工分析】。将用户的浏览记录等记录下来,统计他最常点击的东西,最常去的频道,然后给他打上这

些频道或者商品的标签。或者收集更详细的信息,比如年龄,打上【青少年,男人,女人,老人】等标签,根据这些标签进行推荐。比

如当推荐护肤的商品时,就可以偏向于女人,推荐运动产品时,就可以偏向于男人和青少年,推荐保健品时,就可以偏向于老年人。所

以,光看年龄这个标签的维度,就可以做很多文章。所以标签库的设计和积累,是非常广泛和重要的,而这方面需要大量依赖于【人工

分析】,而不是看论文调算法能做到的。 就好比现在的中文分词,拼到最后大家都在比词库的积累,谁的词库好,谁的效果就好,【搜

狗】的【拼音输入法】效果好也是因为词库比别人好。

最后就是根据标签的定向推荐,这个推荐概率是有【权重设置】在里面,就比如刚才对年龄这个维度的权重,是需要给予对应的权重值

,如何给定呢?其实就是【拍脑袋】,当然,如果有某些公司已经得出经验值了直接可以拿来用就会更好。但是在拍完脑袋之后需要做

的就是观察点击率变化,查Bad Case,然后再对权重进行调整,也就是根据评测和反馈来调整,没有【评测和反馈】,整个系统等于是

一个黑盒,谈何优化?在我看来,【推荐系统】本质上首先是一个系统,需要不断的对各种效果进行【评测】,查各种【Bad Case】,

而这些都不是看论文可以学到的东西。
总结

    实力派的【算法工程师】往往都是ABC[always be coding],这样的算法工程师才能根据实际问题建立模型或者建立规则库,是真正

能解决问题的人。往往是一些有研究背景,经验丰富的研究员,更加重视工程,因为工程架构上一些恰当合理的设计,效果往往就能远

远高过于模型算法优化。
    学院派的【算法工程师】往往是为了算法而算法,而不是为了解决推荐系统的问题去找最适合算法。这也是为什么大公司经常招了

一些博士毕业的算法工程师后,不是研究算法而是让他们整天在那看数据报表?【因为发现算法没啥好研究,而且他们的工程能力又太

蹩脚,只能让他们在那看看报表找找规律了。】
    【几乎所有所谓的智能推荐算法都是花拳绣腿】
    当一个做推荐系统的部门开始重视【数据清理,数据标柱,效果评测,数据统计,数据分析】这些所谓的脏活累活,这样的推荐系

统才会有救。




已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [个人] 推荐:

个人飞行

- 国铸 - 译言-每日精品译文推荐
来源Personal Flight - Pictures, More From National Geographic Magazine. 译者Lost and Found.               假如我们有翅膀.                  勇敢的个人飞行之梦.   站在北卡罗莱纳州一座寒风吹拂的沙丘上,我准备实现与莱昂纳多·达·芬奇共有的那个梦想:飞翔.

敏捷个人:个人知识管理

- zhoujg - 博客园-周金根
PDF下载:个人知识管理 - 周金根. 敏捷个人,认识自我,管理自我. 欢迎加入敏捷个人北京俱乐部 http://t.cn/hdEWPf. 推荐:你可能需要的在线电子书   . 我的微博:http://weibo.com/openexpressapp. 敏捷个人sina围裙:http://q.t.sina.com.cn/135484  .

一个人走,一个人忙,一个人沉醉,一个人体会

- Susie - 佳人
一个人走,一个人睡,一个人思索,一个人沉醉. 一个人忙,一个人累,一个人烦躁,一个人体会. 作者安布洛斯·莱尔(Ambros Lyle),深深感受到作者的爱与痛. 一个人走,一个人睡,一个人思索,一个人沉醉. 一个人忙,一个人累,一个人烦躁,一个人体会. 想念那个肯为我付出一切的你,. 想念那个用充满爱意的眼神凝视我的你,.

谈个人技能

- - 人月神话的BLOG
最近我准备再写一些文章,围绕个人谈谈个人技能,个人管理,个人思维意识,个人价值观,个人工作方法等方面的内容. 个人和团队始终是相互促进的两个方面,一个高效的团队需要的就是高效和敏捷的个人. 前面谈到过知识和技能两个概念,个人通过知识学习,持续的实践掌握了一门技能,而技能在团队和企业中得到应用最终创造为企业和个人创造价值.

这个人就是老爸

- j - 左岸读书_blog
世界上有这么一个男人,小时候你怕他的威严,长大了你学他沉稳,他的爱很深沉但不求回报;你跟他耍 赖、不讲理,你瞎胡闹,你闯祸回家,他批评训斥你,但他对你的爱却从不改变;你只一句话,他就成为你的超人兼跑腿兼保镖兼顾问……神马男人都是浮云,全球 最靠谱的男人就是他!——这个人就是老爸. 这篇文章共有四个篇章,谨于父亲节到来之即献给为人子为人父的你我他.

把个人生活外包

- Elly66 - 学而时嘻之
如果你认为你个人时间的价值大于每小时$8,我最近听说了一个网站. 这个网站叫做 Ask Sunday,它提供的服务是个人助理. 生活中有很多必须去做但是又很无聊的事情,这种事情某些人一般都让秘书完成. 这个网站的工作原理就是给没有秘书的人提供有限的秘书服务. 比如说你需要给有线电视公司打个客服电话,但是你懒得花时间跟那帮人废话.

假期与个人空间

- 枫 - 小步的漫画日记
啧啧...发上来才发现这次的字有点小...下不为例吧= =|||. 希望大家都能以愉快的心情去迎接假期后的学习和工作~ (^^)/. PS:上一篇微博...我稍微透露点...除了字面意思外,“差”字还是多音字.... MSN空间完美搬家到新浪博客!.

什么是个人发展?

- 林子 - 译言-每日精品译文推荐
来源What is Personal Development?.                                                 什么是个人发展?.     个人的发展是一个多技能或素质的集合. 这种素质是指一个人试图获得一个更快乐,更健康和更充实的未来的素质.     个人的发展是一个非常宽泛的话题.

就我一个人... zz

- georgexsh - 水木社区 Joke/笑话连篇 保留区
发信人: zycwz (别看俺,俺是来打酱油滴...), 信区: Joke. 发信站: 水木社区 (Wed Sep 14 16:17:34 2011), 站内. 天渐暗,车上的男子从睡梦中醒来……突然,他发现,车上的游客都不见了,就连司机也消失了,而车却沿着山路缓慢行驶着. 男子浑身一颤,大声喊道:“有鬼.

个人开公司流程

- - CSDN博客推荐文章
一、选择公司的形式:¬. 普通的有限责任公司,最低注册资金3万元,需要2个(或以上)股东,从06年1月起新的公司法规定,允许1个股东注册有限责任公司,这种特殊的有限责任公司又称“一人有限公司”(但公司名称中不会有“一人”字样,执照上会注明“自然人独资”),最低注册资金10万元. 如果你和朋友、家人合伙投资创业,可选择普通的有限公司,最低注册资金3万元;如果只有你一个人作为股东,则选择一人有限公司,最低注册资金10万元.