感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53333.htmlApacheMapReduce是一个用于分析大量数据的软件框架。它由ApacheHadoop提供。MapReduce本身超出了本文档的范围。开始使用MapReduce的好地方是https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-
分类：
其他好文 时间：
2020-04-11 09:37:51
阅读次数：
83
1. Transformations 1.1 map(fun) 操作 map操作需要传入一个函数当做参数, 主要作用是，对DStream对象a，将func函数作用到a中的每一个元素上并生成新的元素，得到的DStream对象b中包含这些新的元素。 val conf = new SparkConf(). ...
分类：
其他好文 时间：
2020-04-10 12:21:06
阅读次数：
87
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构hadoop fs -mkdir 创建目录hadoop fs -rm 删除文件，-rm -R ...
分类：
其他好文 时间：
2020-04-10 00:20:12
阅读次数：
66
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
Zookeeper 我想大家都不陌生，在很多场合都听到它的名字。它是 Apache 的一个顶级项目，为分布式应用提供一致性高性能协调服务。可以用来做：配置维护、域名服务、分布式锁等。有很多开源组件，尤其是中间件领域，使用 Zookeeper 作为配置中心或者注册中心。它是 Hadoop 和 HBase 的重要组件，是 Kafka 的管理和协调服务，是 Dubbo 等服务框架的注册中心等。
分类：
其他好文 时间：
2020-04-09 11:05:58
阅读次数：
97
对现有数据体系整理优化的探索。 目前现有体系为生产数据库为ORACLE，分析平台数据库为基于HADOOP平台开发，两个平台并行运行。 基于业务要求，生产ORACLE按一定期限会删除数据，而分析平台则保存历史所有但是会做了脱敏处理，只满足分析使用，目前架构整理如下： ...
分类：
其他好文 时间：
2020-04-08 21:06:16
阅读次数：
137
共性： 1、都是spark平台下的分布式弹性数据集 2、都有惰性机制，创建、转换如map操作时不会立即执行，遇到foreach等Action算子时才开始运算。 3、都会自动缓存计算 4、都有partition概念 区别： 1、RDD不支持sparkSQL操作 2、DF每一行类型固定为Row，只有通过 ...
分类：
其他好文 时间：
2020-04-08 21:03:30
阅读次数：
292
在hive建表中，默认的分隔符为 ‘，’ ，可以指定想用的分隔符 hive默认的列分割类型为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe，这其实就是^A分隔符，hive中默认使用^A(ctrl+A)作为列分割符，如果用户需要指定的话，等同于ro ...
分类：
其他好文 时间：
2020-04-08 11:40:18
阅读次数：
267
开发工具：Eclipse，三步1.新建一个项目2.把hbase安装下的lib的文件都拷贝进来3.把lib目录下jar文件都引入4.lib下的client-facing-thirdparty目录下的jar也都引入看图packagecom.yue;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.;impo
分类：
编程语言 时间：
2020-04-08 09:36:19
阅读次数：
86
