本项目是基于Spark MLLib的大数据电商推荐系统项目，使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前，需要有以下基础：1.linux的基本命令2.至少有高中及以上的数学基础。3.至少有java se基础，会scala语言和Java
EE更佳(Jave EE非必需，但是可以帮助你更快理解项目的架构)。4.有github账户，并且至少知道git clone，fork，branch的概念。5。有网络基础，至少知道服务器端和客户端的区别。6.有大数据基础，最好会Hadoop,HDFS,MapReduce,Sqoop,HBase,Hive,Spark，Storm。7.有mysql数据库基础，至少会最基本的增删改查。
分类：
其他好文 时间：
2018-12-03 20:00:55
阅读次数：
697
现有如此三份数据：1、users.dat数据格式为：2::M::56::16::70072，共有6040条数据对应字段为：UserIDBigInt,GenderString,AgeInt,OccupationString,ZipcodeString对应字段中文解释：用户id，性别，年龄，职业，邮政编码2、movies.dat数据格式为：2::Jumanji(1995)::Adventure|Chi
分类：
其他好文 时间：
2018-12-03 14:00:07
阅读次数：
203
Linux常用命令大全（非常全！！！） 最近都在和Linux打交道，感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制，当然，这也是很多人喜欢linux的原因，比较短小但却功能强大。我将我了解到的命令列举一下，仅供大家参考： 系统信息 arch 显示机器的处理器架构 ...
分类：
系统相关 时间：
2018-12-03 01:15:18
阅读次数：
252
在空白处按下shift+鼠标右键，打开命令窗口。 ...
分类：
其他好文 时间：
2018-12-02 12:13:11
阅读次数：
180
今天装了CM集群，在集群当中集成了impala，hive。然后一直觉得认为impala自动共享hive的元数据，最后发现好像并不是这样的，需要经过一个同步元数据的操作才能实现数据的同步。 具体的做法如下： （1）安装好hive和impala，然后在hive当中创建目标数据库，创建一张表 2. 在Im ...
分类：
其他好文 时间：
2018-12-01 20:11:35
阅读次数：
226
一. 好用便利的工具，常用 pt-align 对齐文本格式pt-archiver 循序渐进的归档表，删除表，迁移数据pt-config-diff 对比不同配置文件、服务器配置参数pt-diskstats 查看磁盘iopt-fifo-split 把大文件通过管道分割成若干小文件pt-kill 批量杀连 ...
分类：
其他好文 时间：
2018-12-01 11:17:49
阅读次数：
201
Hive将SQL转化为MapReduce的过程： ...
分类：
数据库 时间：
2018-12-01 00:21:46
阅读次数：
355
一、准备 下载Git包wget https://github.com/git/git/archive/v2.17.0.tar.gz二、安装步骤 ①创建目录/usr/local/git 并将下载好的tar包解压至该目录 tar –zxvf v2.17.0.tar.gz ②安装依赖yum install... ...
分类：
其他好文 时间：
2018-11-30 15:41:13
阅读次数：
110
js字符串函数 拼接 concat 索引 indexOf、lastIndexOf、charAt 截取 substring（slice）、substr 正则 match、replace 长度 length 转数组 split 转大小写 toLowerCase、toUpperCase （详情参考：htt ...
分类：
Web程序 时间：
2018-11-30 11:34:11
阅读次数：
226
写完之后在idea 打成jar包,将jar包写到liunx下的根目录下 然后配置环境 如果不配置环境会出现以下错误 常见bug: 1>[code=java]org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyExcep ...
分类：
其他好文 时间：
2018-11-29 22:25:04
阅读次数：
300
