在做测试数据时，往往会有ftp数据上传到hdfs的需求，一般需要手动操作，这样做太费事，于是有了下边代码实现的方式： ftp数据上传到hdfs函数： main调用函数： 使用yarn jar提交： ...
分类：
Web程序 时间：
2017-10-11 15:17:55
阅读次数：
235
react-native项目简单搭建： 参照 https://github.com/ant-design/antd-mobile-samples/tree/1.x/create-react-native-app 说明：需要安装 node、npm、yarn... 每一步ant官网介绍很清晰 搭建项目过 ...
分类：
其他好文 时间：
2017-10-11 00:52:26
阅读次数：
270
架构图 yarn-cluster yarn-client 区别 Yarn-cluster spark的driver运行在applicationMaster内，启动流程为： 这张图可能比较直观 Yarn-client Spark client向yarn的RM申请资源容器，得到AM，但是这个AM运行在其 ...
分类：
其他好文 时间：
2017-10-10 09:54:47
阅读次数：
184
YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。 YARN架构图，来源于官网:http:// ...
分类：
其他好文 时间：
2017-10-09 09:48:15
阅读次数：
144
问题描述：The auxService:mapreduce_shuffle does not exist 问题分析：The auxService:mapreduce_shuffle does not exist；yarn-site.xml配置文件有问题（注意单词拼写） 问题解决：vim /usr/l ...
分类：
其他好文 时间：
2017-10-07 14:41:50
阅读次数：
317
对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长时间运行的服务而设计的。但是，它们已经成功地满足了近实时数据处理作业的常驻需求。成功并不 ...
分类：
其他好文 时间：
2017-10-02 10:35:03
阅读次数：
277
如果是使用了Cloudera来安装到此路径下： /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/bin 执行： sudo ./yarn application -kill application_XXXX ...
分类：
其他好文 时间：
2017-10-01 21:13:34
阅读次数：
142
基础环境及最后的开发效果已完成说明，接下来就开始配置。 ¶npm初始化 新建项目文件夹VueDemo，在其内执行如下脚本 npm init -y 安装vue-cli构建包 yarn add vue-cli yarn install 安装如下npm包 axios:用于发送类似Ajax请求element ...
分类：
其他好文 时间：
2017-10-01 14:02:39
阅读次数：
216
作者从容错、性能等方面优化了长时间运行在yarn上的spark-Streaming作业 对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长 ...
分类：
其他好文 时间：
2017-09-30 16:22:29
阅读次数：
1944
在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误. jdk1.7的时候，没有如下报错,但是java1.8出现 原因可能与yarn配置文件中 containers 的默认属性有关,被强制限定了物理内存 可以尝试中hadoop的conf下yarn.xml配 ...
分类：
其他好文 时间：
2017-09-27 19:02:43
阅读次数：
163
