序列化问题多事rdd遍历过程中使用了没有序列化的对象。 1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。 2.常量定义里包含了未序列化对象 ，提出去吧 如下常量要放到main里，不能放到rdd的遍历中。 ...
分类：
编程语言 时间：
2019-10-18 18:57:19
阅读次数：
132
一.配置javahome由于我的java系统是已经安装完毕，而且是1.8版本满足hadoop要求，只要将javahome指向安装的目录即可先要取得java的安装目录先取得java命令路径，命令路径头就是java的安装目录ll了两次都是软链接，最后在/usr/lib...下找到了java的目录，目录我们只要复制到jre即可，多了少了都报错。vim/etc/profile#配置javahome#---
分类：
其他好文 时间：
2019-10-18 17:25:15
阅读次数：
147
前提：虚拟机可以上网，hadoop集群搭建成功并且启动。注意：每行代码所执行的路径。一、安装MySQL1、在线安装MySQLyuminstallmysql-server安装完成2、启动MySQL服务servicemysqldstart3、设置MySQLroot用户密码（1）、默认没有密码，所以直接进入MySQL按回车即可。（2）、输入命令设置root密码setpasswordforroot@loc
分类：
其他好文 时间：
2019-10-18 15:40:53
阅读次数：
113
1.安装jdk 1)下载jdk-8u65-linux-x64.tar.gz 2)创建/soft文件夹 $>sudo mkdir /soft $>sudo chown grj:grj /soft 3)tar开 $>tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft ...
分类：
其他好文 时间：
2019-10-18 12:40:01
阅读次数：
120
一、MapReduce基本概述1、定义是一个分布式运算程序编程框架。核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式程序，并发运行在一个hadoop集群上。2、优缺点（1）优点1>易于编程：以普通程序的编程方法加上使用MapReduce提供的接口，可以快速完成分布式程序的编写。2>良好的扩展性：计算资源得不到满足时，可以通过简单的增加计算机器来扩展计算能力3&g
分类：
其他好文 时间：
2019-10-18 09:29:36
阅读次数：
99
timing 自习室坏了，想自己做一个，不会，百度也没找到，写过网页聊天是 ...
分类：
其他好文 时间：
2019-10-17 17:46:39
阅读次数：
52
Hadoop+Spark集群部署指南 （多节点文件分发、集群操作建议salt/ansible） 1.集群规划节点名称 主机名 IP地址 操作系统Master centos1 192.168.0.1 CentOS 7.2Slave1 centos2 192.168.0.2 CentOS 7.2Slav ...
分类：
Web程序 时间：
2019-10-17 13:53:28
阅读次数：
132
最近学习大数据Hadoop和hbase，但是奈何虚拟机速度更不上就想使用Windows下的eclipse链接Linux下的Hadoop等文件，但是使用Hadoop的控件可以连接好，而且也能链接hadoop的相关文件，但是到了hbase就会卡住不动，出现以下界面就一直不动。 经过修改别的虚拟机下的ho ...
分类：
系统相关 时间：
2019-10-16 23:26:04
阅读次数：
235
我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapRedu ...
分类：
其他好文 时间：
2019-10-16 09:56:12
阅读次数：
101
[Toc] 接下来以一个简单的WordCount为例子，介绍Java版本的MapReduce的程序编写。 mapreduce程序主要分三部分：1.map部分，2.reduce部分，3.提交部分。 1. 准备部分 hadoop中，针对数据类型自成一体，与java的数据类型对应。封装在hadoop.io ...
分类：
其他好文 时间：
2019-10-15 20:43:33
阅读次数：
91
