第一篇博客有点小紧张。轻喷~ 第一步：安装node.js 地址 https://nodejs.org/en/ 详细步骤这里就不写了 可以去看 地址 https://jingyan.baidu.com/article/48b37f8dd141b41a646488bc.html 第二步：下载完了之后进入 ...
分类：
其他好文 时间：
2018-12-01 22:07:58
阅读次数：
1459
由于react ts mobx 版本上的更新，一些配置信息也在随时更新，使得有时候，在更新版本时，一些配置文件出错，让我们措手不及，现将三者环境搭建配上，废话不多说 思路：新建react 应用，利用弹射实现进行mobx支持配置，最后搭建typescript 装包：使用的用yarn，相信为什么使用ya ...
分类：
其他好文 时间：
2018-12-01 15:05:48
阅读次数：
819
1.启动zookeeper 2.启动kafka服务（broker） 3.启动kafka的producer（前提：已经创建好topic 4.启动kafka的consumer 5.打jar包，将带有依赖的jar包上传到集群上 6.编写启动脚本，启动任务 sh run_receiver.sh 监控任务及查 ...
分类：
其他好文 时间：
2018-12-01 11:08:19
阅读次数：
218
1、cdh在spark的conf中没有slaves文件解决方法：在spark的conf目录下添加slaves文件，内容为worker节点名2、yarn的端口和spark的worker端口冲突都是7337，导致worker进程不能正常工作解决办法：在spark的conf目录下修改spark-default.conf文件，把里面的7337端口改成其他的端口
分类：
其他好文 时间：
2018-11-30 17:35:18
阅读次数：
744
1.Hadoop与HDFS 的关系是什么？ hadoop中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序， ...
分类：
其他好文 时间：
2018-11-30 15:36:52
阅读次数：
180
1.为什么要让运行时Jar可以从yarn端访问spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在 每一次我们运行的时候，如果没有指定 spark.yarn.archive or spark.yarn.jars Spark将在 ...
分类：
其他好文 时间：
2018-11-30 00:40:47
阅读次数：
311
当我们启动Hadoop集群的时候，发现有一台机器的nodemanager启动后自动关闭， 查看日志的时候发现有错误：yarn-root-nodemanager-log 解决办法： netstat anp |grep 端口号 如果有进程占用这个端口，kill -9 这个进程 重新启动即可 ...
分类：
其他好文 时间：
2018-11-29 23:16:20
阅读次数：
604
启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理过程如下 1.在本地创建zip文件 2.上传至HDFS并更改权限 3.配置spar ...
分类：
编程语言 时间：
2018-11-29 23:15:03
阅读次数：
1439
Yarn架构介绍Yarn/MRv2最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程。有一个全局的ResourceManager(RM)和每个Application有一个ApplicationMaster(AM),Application相当于map- ...
分类：
其他好文 时间：
2018-11-29 20:02:11
阅读次数：
125
MapReduce客户端程序提交job之后，就会退出，那么如何判断mr程序有没有执行成功呢？1、到yarn的网页上看 8088端口；2、可以让客户端程序不退出，等待mr程序运行完成以后，再退出 具体实现，将客户端程序中 job.submit() 换成 job.waitForCompletion(tr ...
分类：
其他好文 时间：
2018-11-28 22:19:37
阅读次数：
138
