第一步。下载、解压、配置环境变量： 官网下载sqoop1.99.3 http://mirrors.cnnic.cn/apache/sqoop/1.99.3/ 将sqoop解压到目标文件夹，我的是 /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 配置环境变量 ...
分类：
系统相关 时间：
2017-05-11 22:35:24
阅读次数：
276
今天用Yarn 搭建了 webpack和react的实例项目！ 感觉Yarn还是挺快的！ 关键还能离线下载，查看版本。很好的包管理工具，可以不用npm了，毕竟他太慢了。 参考地址：http://www.jackpu.com/shi-yong-yarn-zhi-zuo-ge-webpack-react ...
分类：
其他好文 时间：
2017-05-11 18:42:16
阅读次数：
171
Yarn在hadoop中的位置 Yarn的优点 Yarn运行机制 YARN主要由RM、NM、AM和Container等4个组件构成 ResourceManager ： 处理客户端请求 启动和监控ApplicationMaster 监控NodeManager 资源的分配与调度 NodeManager： ...
分类：
其他好文 时间：
2017-05-11 18:27:40
阅读次数：
191
以下错误只针对自己在hadoop使用过程中遇到的错误，仅供参考！ 《1》进入了安全模式，需要退出 《2》slave节点的nodemanager启动错误，查看~/hadoop-2.5.2/logs/yarn-zjl-nodemanager-slave.log 如果错误原因是不能连接至master，查看 ...
分类：
其他好文 时间：
2017-05-11 11:36:01
阅读次数：
156
如何从EPEL库安装Node.js 另一个有效且简单的方法来安装Node.js就是从官方库。这同样确保您可以访问到EPEL库，你可以通过运行以下命令。 sudo yum install epel-release 现在可以使用yum命令安装Node.js了。 sudo yum install node ...
分类：
Web程序 时间：
2017-05-10 22:47:20
阅读次数：
1192
java.lang.NoSuchMethodError:org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashLong(J)I
atorg.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashCode(YarnProtos.java:11782)
atorg.apache.hadoop.yarn.api.records.impl.pb.LocalResourcePBIm..
分类：
其他好文 时间：
2017-05-08 14:46:33
阅读次数：
282
背景yarn默认使用的是最简单的FIFO调度器，即一个default队列，所有用户共享，分配资源也是先到先得，没有优先级之分。有时一两个任务就把资源全占了，其他任务吃不到资源造成饥饿，显然这样的资源分配是不合理的（在当今社会主义之中，我们要共同富裕啊）。yarn还有两种资源调..
分类：
其他好文 时间：
2017-05-08 14:28:13
阅读次数：
256
本文出处：www.cnblogs.com/langtianya/p/5199529.html 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝 ...
分类：
其他好文 时间：
2017-05-08 00:17:55
阅读次数：
327
本节内容 1.遗留问题解答 2.Spark核心概念 2.1 RDD及RDD操作 2.2 Transformation和Action 2.3 Spark程序架构 2.4 Spark on Yarn运行流程 2.5 WordCount执行原理 3.Spark计算引擎原理 3.1 Spark内部原理 3. ...
分类：
其他好文 时间：
2017-05-07 23:09:24
阅读次数：
240
同时打开了两个SecureCRT的终端界面，其中一个已经进入了Spark-shell，在另一个SecureCRT界面中执行 "spark-shell --master yarn --deploy-mode client < cha02.scala" 时报错，如下： [root@master test ...
分类：
编程语言 时间：
2017-05-07 22:01:16
阅读次数：
808
