1.选取三台服务器（CentOS系统64位）114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。2.修改host..
分类：
其他好文 时间：
2017-08-17 19:58:17
阅读次数：
197
1、首先需要搭建好hadoop+spark环境，并保证服务正常。本文以wordcount为例。 2、创建源文件，即输入源。hello.txt文件，内容如下： 注：以空格为分隔符 3、然后执行如下命令： hadoop fs -mkdir -p /Hadoop/Input（在HDFS创建目录） hado ...
分类：
其他好文 时间：
2017-08-17 12:45:25
阅读次数：
220
本课程为大数据、云计算系统架构师高级培训课程，授课模式为线上视频+直播答疑，本套教程2000多节课，里面的hadoop、spark都是新版本 6个阶段共31部分：1、Linux基础2、大数据基础Hadoop 2.X3、大数据仓库Hive4、大数据协作框架5、分布式数据库HBase6、Storm流计算 ...
分类：
其他好文 时间：
2017-08-13 16:19:42
阅读次数：
366
转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/7224772.html 一：说明 此为大数据系列的一些博文，有空的话会陆续更新，包含大数据的一些内容，如hadoop,spark,storm,机器学习等。 当前使用的hadoop版本为2.6. ...
分类：
其他好文 时间：
2017-07-30 13:44:42
阅读次数：
199
准备软件包1、hadoop-2.7.2.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/2、scala-2.10.4.tgzhttp://www.scala-lang.org/download/2.10.4.html3、spark-2.0.0-bin-hadoop2.7.tarhttp://spark.apache.org/downloads.html一、环境准备3台Centos7的虚拟机：172.16.92.11..
分类：
其他好文 时间：
2017-07-18 16:43:50
阅读次数：
307
统计文件信息： $ /opt/cdh-5.3.6/hadoop-2.5.0/bin/hdfs dfs -text /user/hadoop/wordcount/input/wc.input hadoop spark spark hadoop oracle mysql postgresql postg ...
分类：
其他好文 时间：
2017-07-04 14:48:57
阅读次数：
256
从事了很多年java,c#的开发，之前基本都是在使用window，系统的部署也基本是放在window上，较少接触到linux。最近二年基本上都以使用linux为主，原因主要是hadoop、spark等大数据系统都是跑在linux上的，还有很多优秀的开源组件或产品如zookeeper、nginx、lvs等一般也是部署在l..
分类：
系统相关 时间：
2017-06-26 10:31:33
阅读次数：
301
机器部署： 准备两台机以上linux服务器，安装好JDK，zookeeper，hadoop spark部署 master：hadoop1，hadoop2(备用) worker：hadoop2，hadoop3，hadoop4 软件准备 spark下载网址：http://spark.apache.org ...
分类：
其他好文 时间：
2017-06-19 20:15:08
阅读次数：
200
试验文件： [root@db03 shell-script]# cat text1.txt 1 2 3 4 5 [root@db03 shell-script]# cat text2.txt oracle mysql postgresql hadoop spark 使用paste拼接text1.tx ...
分类：
系统相关 时间：
2017-06-16 23:08:01
阅读次数：
330
因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对 /spark-default.conf 的配置 合理地对 /spark-default.conf 进行配置，能够提高执行效率 先cp复制模板文件 然后添加配置信息 ...
分类：
其他好文 时间：
2017-06-09 00:52:48
阅读次数：
610
