--------一个痛苦的解决问题的过程--------------------------------------
首先确保linux服务器上面的集群环境启动
集群启动
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
[hadoop@mini130sbin]$jps
3522NameNode
4823Jps
3672DataNode
3948ResourceManager
3852..
Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Ha ...
分类：
其他好文 时间：
2017-04-25 00:37:59
阅读次数：
227
在安装hive经常出的错误:java.lang.IncompatibleClassChangeError:Foundclassjline.Terminal,butinterfacewasexpected解决办法:将hivebin里的jline.jar复制替换掉hadoop/share/hadoop/yarn/lib的jar包即可
分类：
编程语言 时间：
2017-04-22 23:13:30
阅读次数：
619
hadoop配置文件 默认配置文件：四个模块相对应的jar包中：$HADOOP_HOME/share/hadoop *core-default.xml *hdfs-default.xml *yarn-default.xml *mapred-default.xml 用户自定义配置文件：$HADOOP_ ...
分类：
其他好文 时间：
2017-04-19 10:13:25
阅读次数：
215
在yarn-site.xml配置文件中添加如下内容： ##开启日志聚集功能 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>##日志保存7天（单位秒） <property> <nam ...
分类：
其他好文 时间：
2017-04-19 10:12:40
阅读次数：
288
1.关闭防火墙service iptables stop，（已经这是开机关闭的忽略） 2.进入hadoop目录，修改hadoop配置文件（4个） core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3.开启服务 1.开始namenode ...
分类：
其他好文 时间：
2017-04-18 23:52:40
阅读次数：
340
The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring into separate daemons. The idea i ...
分类：
其他好文 时间：
2017-04-18 15:56:24
阅读次数：
200
1）弹性计算资源 将storm执行在yarn上后，Storm能够与其它计算框架（如mapreduce)共享整个集群的资源。这样当Storm负载骤增时，可动态为它添加计算资源。负载减小时，能够释放资源。 2）共享底层存储 执行在yarn上的Storm能够与其它计算框架共享HDFS存储。避免多个集群带来 ...
分类：
其他好文 时间：
2017-04-18 15:50:40
阅读次数：
196
TVqQAAMAAAAEAAAA//8AALgAAAAAAAAAQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAgAAAAA4fug4AtAnNIbgBTM0hVGhpcyBwcm9ncmFtIGNhbm5vdCBiZSBydW4gaW4gRE9TIG ...
分类：
其他好文 时间：
2017-04-18 10:11:24
阅读次数：
289
一、mapreduce入门 1、什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 Mapredu ...
分类：
其他好文 时间：
2017-04-14 12:53:42
阅读次数：
254
