Mahout: SVDRecommender SVD推荐算法

标签: mahout svdrecommender svd | 发表时间:2017-09-21 16:14 | 作者:
出处:https://self-learning-java-tutorial.blogspot.com

Mahout: SVDRecommender

SVD stands for singular value decomposition. It is a method for matrix decomposition factorization. Singular value decomposition mainly used in signal processing and statistics.

You can go through following wiki article, to get more information.


You can initialize SVDRecommender using Factorizier.

Following are the implementations for Factorizer class.

a.   ALSWRFactorizer (factorizes the rating matrix using "Alternating-Least-Squares with Weighted-λ-Regularization").
b.   ExpectationMaximizationSVDFactorizer (Calculates the SVD using an Expectation Maximization algorithm).
c.    ImplicitLinearRegressionFactorizer

Let’s say I had following input data.

Book id
Title
1
Meet Big Brother
2
Explore the Universe
3
Memoir as metafiction
4
A child-soldier's story
5
Wicked good fun
6
The 60s kids classic
7
A short-form master
8
Go down the rabbit hole
9
Unseated a president
10
An Irish-American Memoir

User id
Name
1
Hari Krishna Gurram
2
Gopi Battu
3
Rama Krishna Gurram
4
Sudheer Ganji
5
Kiran Darsi
6
Joel Chelli
7
Sankalp Dubey
8
Sunil Kumar
9
Janaki Sriram
10
Phalgun Garimella
11
Reshmi George
12
Sailaja Navakotla
13
Aravind Phaneendra
14
Keerthi Shetty
15
Sujatha
16
Vadiraj Kulakarni
17
Arpan
18
Suprabath Bisoi
19
Sravani
20
Gireesh Amara

Following csv file contains customers purchages and their ratings on books.


customer.csv
1,1,3
1,2,1
1,4,5
1,5,3
1,9,3
1,10,2
2,1,2
2,3,2
2,4,1
2,7,5
3,1,5
3,2,1
3,3,1
3,6,1
3,8,1
4,1,1
4,2,1
4,6,3
4,7,1
4,9,2
5,2,1
5,3,3
5,6,5
5,10,3
6,1,1
6,2,4
6,3,4
6,7,2
6,8,3
7,1,3
7,2,3
7,3,1
7,5,3
7,6,3
7,7,3
8,1,1
8,3,3
8,4,5
8,8,1
8,9,2
9,4,2
9,6,5
9,8,3
9,9,3
10,2,5
10,3,1
10,4,2
10,5,1
10,9,4
11,2,3
11,4,2
11,5,2
11,8,1
12,1,1
12,3,4
12,7,3
12,8,2
13,1,3
13,2,4
13,3,2
13,5,3
13,9,3
14,2,3
14,3,2
14,5,1
14,7,1
14,8,5
14,9,2
15,1,3
15,2,2
15,3,2
15,6,5
15,7,1
15,9,3
16,2,2
16,3,4
16,6,1
16,7,3
16,10,1
17,3,1
17,4,3
17,7,4
17,8,4
18,3,3
18,5,2
18,6,3
18,9,1
18,10,2
19,1,1
19,2,5
19,6,2
19,7,2
19,8,3
19,10,3
20,1,2
20,2,2
20,3,1
20,4,4
20,8,1

20,8,1 means User20 liked item8 and given rating 1.


Following application finds recommendations for customer 1.
import java.io.File;
import java.io.IOException;
import java.util.List;

import org.apache.mahout.cf.taste.common.TasteException;
import org.apache.mahout.cf.taste.impl.model.file.FileDataModel;
import org.apache.mahout.cf.taste.impl.recommender.svd.ImplicitLinearRegressionFactorizer;
import org.apache.mahout.cf.taste.impl.recommender.svd.SVDRecommender;
import org.apache.mahout.cf.taste.model.DataModel;
import org.apache.mahout.cf.taste.recommender.RecommendedItem;

public class SVDRecommenderEx {
 private static String input = "/Users/harikrishna_gurram/customer.csv";
 private static DataModel model = null;
 private static SVDRecommender recommender = null;
 private static ImplicitLinearRegressionFactorizer fatorizer = null;

 private static String[] books = { "Meet Big Brother",
   "Explore the Universe", "Memoir as metafiction",
   "A child-soldier's story", "Wicked good fun",
   "The 60s kids classic", "A short-form master",
   "Go down the rabbit hole", "Unseated a president",
   "An Irish-American Memoir" };

 private static String[] userNames = { "Hari Krishna Gurram", "Gopi Battu",
   "Rama Krishna Gurram", "Sudheer Ganji", "Kiran Darsi",
   "Joel Chelli", "Sankalp Dubey", "Sunil Kumar", "Janaki Sriram",
   "Phalgun Garimella", "Reshmi george", "Sailaja Navakotla",
   "Aravind Phaneendra", "Keerthi Shetty", "Sujatha",
   "Vadiraj Kulakarni", "Arpan", "Suprabath Bisoi", "Sravani",
   "Gireesh Amara" };

 public static void main(String args[]) throws IOException, TasteException {
  model = new FileDataModel(new File(input));
  fatorizer = new ImplicitLinearRegressionFactorizer(model);
  recommender = new SVDRecommender(model, fatorizer);

  List<RecommendedItem> recommendations = recommender.recommend(1, 5);

  System.out.println("Recommendations for customer " + userNames[0]
    + " are:");
  System.out.println("*************************************************");

  System.out.println("BookId\title\t\testimated preference");
  for (RecommendedItem recommendation : recommendations) {
   int bookId = (int) recommendation.getItemID();
   float estimatedPref = recommender.estimatePreference(1, bookId);
   System.out.println(bookId + " " + books[bookId - 1] + "\t"
     + estimatedPref);
  }

  System.out.println("*************************************************");

 }
}


Output

Recommendations for customer Hari Krishna Gurram are:
*************************************************
BookId itle  estimated preference
6 The 60s kids classic 3.3652906
7 A short-form master 0.87520653
8 Go down the rabbit hole 0.19163734
3 Memoir as metafiction -1.8170359
*************************************************

相关 [mahout svdrecommender svd] 推荐:

Mahout: SVDRecommender SVD推荐算法

- -

[原]SVD综述和Mahout中实现

- - huruzun的专栏
伴随的电商业务蓬勃发展,推荐系统也受到了格外重视,在通常电商系统中都是采用基于CF(Collaborative filtering)算法原型来做的. 该算法是基于这样 基本假设:people who agreed in the past will agree in the future. 说到SVD算法不能不说到Netflix举办的推荐大赛,这次比赛对推荐系统工业界产生了很大影响,伴随着提出了很多算法思路,所以本文也是以这次比赛为主线,参考其中相关的两篇经典论文,两篇文章会上传.

Mahout介绍

- - 互联网 - ITeye博客
Mahout 是机器学习和数据挖掘的一个分布式框架,区别于其他的开源数据挖掘软件,它是基于hadoop之上的; 所以hadoop的优势就是Mahout的优势. http://mahout.apache.org/ 上说的Scalable就是指hadoop的可扩展性. Mahout用map-reduce实现了部分数据挖掘算法,解决了并行挖掘的问题.

mahout部署实践

- - CSDN博客云计算推荐文章
一 下载mahout并解压. JAVA_HOME mahout运行需指定jdk的目录. MAHOUT_JAVA_HOME指定此变量可覆盖JAVA_HOME值. HADOOP_HOME  如果配置,则在hadoop分布式平台上运行,否则单机运行. HADOOP_CONF_DIR指定hadoop的配置文件目录.

mahout 实用教程之一

- - CSDN博客云计算推荐文章
mahout 实用教程 (一). 本文力求把mahout从使用的角度为读者建立一个框架,为后续的使用打下基础. 本文为原创文章转载请注明原网址 http://blog.csdn.net/comaple,谢谢. 下面首先给出源代码svn地址以及用于测试的公共数据集,大家可以下载并测试. mahout svn仓库地址: http://svn.apache.org/repos/asf/mahout/trunk.

Mahout实现的机器学习算法

- - ITeye博客
使用命令:mahout -h.   在Mahout实现的机器学习算法见下表:. EM聚类(期望最大化聚类). 并行FP Growth算法. 并行化了Watchmaker框架. 非Map-Reduce算法. 扩展了java的Collections类. Mahout最大的优点就是基于hadoop实现,把很多以前运行于单机上的算法,转化为了MapReduce模式,这样大大提升了算法可处理的数据量和处理性能.

[转]Mahout推荐算法基础

- - 小鸥的博客
Mahout推荐算法分为以下几大类. 2.相近的用户定义与数量. 2.用户数较少时计算速度快. 1.基于item的相似度. 1.item较少时就算速度更快. 2.当item的外部概念易于理解和获得是非常有用. 1基于SlopeOne算法(打分差异规则). 当item数目十分少了也很有效. 需要限制diffs的存储数目否则内存增长太快.

Apache Mahout 0.8 发布,机器学习库

- - 开源中国社区最新新闻
Apache Mahout 0.8 发布了,Apache Mahout 是 Apache Software Foundation (ASF) 开发的一个全新的开源项目,其主要目标是创建一些可伸缩的机器学习算法,供开发人员在 Apache 在许可下免费使用. 该项目已经发展到了它的最二个年头,目前只有一个公共发行版.

基于Mahout的电影推荐系统

- - CSDN博客推荐文章
Apache Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序. 经典算法包括聚类、分类、协同过滤、进化编程等等,并且,在 Mahout 中还加入了对Apache Hadoop的支持,使这些算法可以更高效的运行在云计算环境中.

使用Mahout实现协同过滤 spark

- - zzm
Mahout使用了Taste来提高协同过滤算法的实现,它是一个基于Java实现的可扩展的,高效的推荐引擎. Taste既实现了最基本的基 于用户的和基于内容的推荐算法,同时也提供了扩展接口,使用户可以方便的定义和实现自己的推荐算法. 同时,Taste不仅仅只适用于Java应用程序,它 可以作为内部服务器的一个组件以HTTP和Web Service的形式向外界提供推荐的逻辑.