本文测试的Spark版本是1.3.1本文将在Spark集群上搭建一个简单的小型的电影推荐系统,以为之后的完整项目做铺垫和知识积累整个系统的工作流程描述如下:
1.某电影网站拥有可观的电影资源和用户数,通过各个用户对各个电影的评分,汇总得到了海量的用户-电影-评分数据
2.我在一个电影网站上看了几部电影,并都为其做了评分操作(0-5分)
3.该电影网站的推荐系统根据我对那几部电影的评分,要预测出...
分类:
数据库 时间:
2015-05-27 22:56:56
阅读次数:
377
由于之前的改造,现在将爬虫的功能做了一些改变,具体实现的功能是将推荐的日志全部抓取下来,并存放在以文章标题命名的文件中,代码如下:
import urllib
import os,re
import sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding("utf-8")
def if_st...
分类:
其他好文 时间:
2015-05-26 09:10:41
阅读次数:
229
Slope one 是一个简单,效率较高的协同过滤推荐算法。
Slope One 算法是由 Daniel Lemire 教授在 2005 年提出.距今已经10年。
基于如下五点被设计出来:
1. 算法容易实现和维护
2. 对新的评分应该立即给予响应
3. 查询速度要快(虽然可能以牺牲存储量为代价)
4. 对新的用户也要能给出有效的推荐
5. 精度...
分类:
编程语言 时间:
2015-05-22 21:16:55
阅读次数:
153
SVD++是基于SVD(Singular Value Decomposition)的一种改进算法。SVD是一种常用的矩阵分解技术,是一种有效的代数特征提取方法。SVD在协同过滤中的主要思路是根据已有的评分情况,分析出评分者对各个因子的喜好程度以及电影包含各个因子的程度,最后再反过来分析数据得出预.....
分类:
编程语言 时间:
2015-05-22 18:37:51
阅读次数:
4869
1、基于user的协同过滤: ????先挖掘出与用户相似兴趣的人群,再从这些相似人群中的人所喜欢的东西但是用户还没喜欢过的内容。? ????举个例子:对于做android开发的初学者来说,他想要知道android开发要...
分类:
其他好文 时间:
2015-05-22 15:22:20
阅读次数:
119
1、背景简介 互联网的出现和普及给用户带来了大量的信息,满足了用户在信息时代对信息的需求,但随着网络的迅速发展而带来的网上信息量的大幅增长,使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息,对信息的使用效率反而降低了,这就是所谓的信息超载(informationoverload)问题....
分类:
其他好文 时间:
2015-05-22 11:10:44
阅读次数:
297
今天有了一个想法,想自己用Python写一个新浪明星日志推荐系统
那么第一步要完成的工作就是获得新浪明星日志的数据,于是自己写了一个爬虫,实现的功能是爬取新浪明星日志的作者,推荐的文章链接,以及作者日志列表或者首页链接,具体程序如下:
# -*- coding: utf-8 -*-
"""
Created on Wed May 20 13:55:00 2015
@autho...
分类:
其他好文 时间:
2015-05-21 09:07:49
阅读次数:
296
《推荐系统实践》是一本入门级书籍,全书不到200页,通熟易懂,非常适合初学者。记不起上次阅读该书是什么时候,可以确定的是很定不超过三个月,今天回想梳理全书结构,甚是模糊,而是打算重读一遍。并在这里留下些许痕迹,以帮助日后回忆之用。对本笔记内容感兴趣的读者还请购买正版书籍,尊重作者权益! 作者介...
分类:
其他好文 时间:
2015-05-20 01:58:18
阅读次数:
182
基于内容的推荐的基本推荐思路是:用户喜欢幻想小说,这本书是幻想小说,则用户有可能喜欢这本小说 两方面要求:(1)知道用户的喜好;(2)知道物品的属性 基于内容的推荐相比协同过滤方法(个人观点):协同过滤用到了大量用户的群体行为特征,两个特点,(1)要大量用户,(2)除了用户的行为之外,不需要...
分类:
其他好文 时间:
2015-05-20 00:18:52
阅读次数:
114