把Java打包成jar的步骤： 右击项目，找到export确定 然后在export弹窗中找到Java文件 Java->Runnable JAR file,后点击next 最后选择要打包的项目，存放打包项目的位置，然后finish就可以进行打包了。 在Linux上运行Hadoop jar hadoop ...
分类：
编程语言 时间：
2020-06-16 13:05:18
阅读次数：
103
张耀的博客 徐大神博客 品茶大神博客 hadoop大神博客 opesn Elastic 中国社区官方博客 IT技术电子书 ...
分类：
其他好文 时间：
2020-06-16 13:05:02
阅读次数：
47
1.Hive安装部署 1．Hive安装及配置 （1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下 （2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 [root@hadoop102 so ...
分类：
其他好文 时间：
2020-06-16 12:47:14
阅读次数：
56
yarn 一共有3个类型的调度器：FIFO调度器、容量调度器、公平调度器。 1，FIFO调度器。先进先出，队列中同一时间只有一个任务在运行。该任务独占整个集群的资源。 2，容量调度器。多队列，每个队列内部先进先出，同一个队列同时间只有一个任务在运行，任务的并行度为队列的个数。 3，公平调度器。同个队 ...
分类：
其他好文 时间：
2020-06-16 11:35:39
阅读次数：
107
1.在使用Spark的 sum() 算子经常遇到结果被自动转化为科学技术 如何正常显示呢 假如 n结果会是一个科学计数法 val n=data.map(x=>x.toInt).sum() 然后我们 val a = BigDecimal(n) println(a) 这样打印出来的结果就是正常的大数 ...
分类：
其他好文 时间：
2020-06-16 10:24:45
阅读次数：
95
元数据更新过程？ MapReduce的Shuffle过程？ HDFS的读的流程？ HDFS写的流程？ 如何将hadoop配置文件从一台机器同步到另一台机器上？ scp -r hadoop-2.7.3 hpsk@192.168.134.222:/opt/modules/ 如何终止yarn上正在运行的程 ...
分类：
其他好文 时间：
2020-06-15 23:20:15
阅读次数：
144
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
基本思想 与flink流的join原理不同的是，Spark双流join是对俩个流做满外连接 ，因为网络延迟等关系，不能保证每个窗口中的数据key都能匹配上，这样势必会出现三种情况：（some，some），（None，some），（Some,None）,根据这三种情况，下面做一下详细解析： （some ...
分类：
其他好文 时间：
2020-06-15 21:21:14
阅读次数：
156
随机抽样一致性（RANSAC）算法能够有效的剔除特征匹配中的错误匹配点。 实际上，RANSAC能够有效拟合存在噪声模型下的拟合函数。实际上，RANSAC算法的核心在于将点划分为“内点”和“外点”。在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符合最优模型的点，被定义为“外点” ...
分类：
编程语言 时间：
2020-06-15 21:17:41
阅读次数：
129
Spark文档阅读之Programming Guides - Quick Start。学习spark-shell任务提交方法和独立spark任务的创建和提交执行。 ...
分类：
其他好文 时间：
2020-06-15 20:41:53
阅读次数：
51
