RecULike 论文推荐系统初步上线

今天这篇博文主要总结一下reculike的系统架构. 两周前我们宣布发布了reculike的alpha版. 本着分享的原则，今天在这儿介绍一下我们的各个模块的设计方法. 我们这个项目一开始叫paperlens，这是因为我们想学习业界的前辈movielens，开发一个源代码和数据都开源的系统. 关于数据的开源，我想当用户数达到一定程度后，每个月会dump一次我们所有的数据库（密码等隐私信息除外），放到网络上供大家下载.

我们开发的论文推荐系统RecULike (http://www.reculike.com) 已经初步上线，不过目前还有很多bug，但基本能用，还在不断的改善中. 该系统是一个开源项目，他的源代码可以从下面获取. WangXing 和 GuoJing. 从推荐的角度看搜索和社会网络. Aardvark 专家推荐式的问答系统.

Survey方面的文章及资料. Knowledge and Data Engineering, IEEE Transactions on, 2005, 17(6): 734-749. 2005年的state-of-the-art的推荐综述，按照content-based, CF, Hybrid的分类方法进行组织，并介绍了推荐引擎设计时需要关注的特性指标，内容非常全.

这里是 王喆的机器学习笔记 ，每隔一到两周我会站在算法工程师的角度讲解一些计算广告、推荐系统相关的文章. 二是阿里、facebook、google等一线互联网公司出品的；. 这周我们一起讨论一下Youtube的深度推荐系统论文 《Deep Neural Networks for YouTube Recommendations》 ，这是2016年的论文，按照今天的标准来看，已经没有什幺新颖的地方，我也是两年前读过这篇文章之后就放下了，但前几天重读这篇文章，竟让发现了诸多亮点，几乎处处是套路，处处是经验，不由惊为神文.

前几年看Google News Recommendation的那篇Paper，对里面提到的MinHash的算法基本没有注意，因为之前的习惯都是只注意论文的模型那块，至于怎么优化模型一般都只是扫一眼. 不过最近看了大量的Google Paper，发现Google在实现一个算法方面确实有很多独到之处. 其实，Min-Hash是LSH（Locality Sensitive Hash）的一种，我之前对LSH的了解仅仅限于知道它能把两个相似的东西Hash成两个汉明距离接近的2进制数.

推荐算法：基于特征的推荐算法. 推荐算法准确度度量公式：. 其中，R(u)表示对用户推荐的N个物品，T(u)表示用户u在测试集上喜欢的物品集合. 集合相似度度量公式(N维向量的距离度量公式)：. 其中，N(u)表示用户u有过正反馈的物品集合. 其中，S(u,k)表示和用户u兴趣最接近的K个用户集合；N(i)表示对物品i有过正反馈的用户集合；w(u,v)表示用户u和用户v的兴趣相似度；r(v,i)表示用户v对物品i的兴趣.

推荐系统是近些年非常火的技术，不管是电商类软件还是新闻类app，都号称有精准的推荐系统能给你推送你最感兴趣的内容. 现象级的资讯类app“今日头条”就得益于此成为了势头非常猛的一款产品. 本文就针对推荐系统讲述一些相关概念和实践经验. 首先需要明确的就是推荐系统的目标，一般来说不外乎以下几个：. 用户满意性：首当其冲的，推荐系统主要就是为了满足用户的需求，因此准确率是评判一个推荐系统好坏的最关键指标.

上个月写过一篇产品推荐的文章，详情请见《我所了解的产品推荐》，内容很泛，多为工作心得. 本周读了几篇相关的论文，收获颇多，分享点干货. 以下内容摘自《个性化推荐系统的研究进展》，该文发表于2009年1月的《自然科学进展》专题评述，作者是刘建国、周涛、汪秉宏. 我略去了具体的算法和许多公式，重点看原理、思路和比较.

SVDFeature是我们（上海交大Apex实验室）在参加KDDCUP 2011期间开发的. 通过这个工具，我们和港科大（HKUST）的联合小组InnerPeace在KDDCUP 2011中获得Track 1第三名，并创造单模型最好成绩. 在此分享给大家，并希望和大家有更多的交流. （1）基于feature的可扩展性 —— SVDFeature实现了我们的基础模型feature-based matrix factorization.

知识库：用户知识库，Item知识库，用户评分数据（显性和隐性）等.不同的业务背景不一样，譬如电商，社交网络，视频，app应用等. 协同过滤引擎：根据用户评分数据集，通过collaborative filtering方法，计算用户喜欢的top N item. 数据格式： userid， itemid，score.