大数据入门学习之Hadoop技术优缺点(1)Hadoop具有按位存储和处理数据能力的高可靠性。(2)Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。(3)Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。(4)Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分
分类：
其他好文 时间：
2019-06-05 12:40:06
阅读次数：
121
结合理论和实践，《Hadoop权威指南第四版》由浅入深，全方位介绍了Hadoop 这一高性能的海量数据处理和分析平台。5部分24 章，第Ⅰ部分介绍Hadoop 基础知识，第Ⅱ部分介绍MapReduce,第Ⅲ部分介绍Hadoop 的运维，第Ⅳ部分介绍Hadoop 相关开源项目，第Ⅴ部分提供了三个案例。 ...
分类：
其他好文 时间：
2019-06-04 19:21:46
阅读次数：
317
数据集导入HDFS 通过命令行访问刚刚上传至HDFS的数据集 MapReduce程序编译及运行： 第一步：在 Map 阶段，提取气象站和气温数据 第二步：在 Reduce 阶段，统计每个气象站的平均气温 第三步：对代码进行单元测试及debug调试。 Mapper单元测试 Mapper 的逻辑就是从读 ...
分类：
其他好文 时间：
2019-05-26 09:47:51
阅读次数：
192
Oozie的安装与部署 1、解压Oozie 2、Hadoop配置文件修改，完成后scp到其他机器节点 core-site.xml 配置JobHistoryServer服务（必须） mapred-site.xml yarn-site.xml 完成后：记得scp同步到其他机器节点。 3、开启Hadoop ...
分类：
其他好文 时间：
2019-05-25 09:31:46
阅读次数：
110
大数据包含的技术知识很多，如果是从头学起，一般是从两个方面入手，一是基础；二是专业技能。下面我们不妨从这两个方面给出一个简单的学习过程。希望对你有所帮助。一、基础学习大数据的两大基础就是JAVA和Linux，学习顺序不分前后。需要同时掌握，才可以继续大数据课程的学习。在这里小编建了一个大数据学习交流扣扣群：529867072，我自己整理的最新的大数据进阶资料和高级开发教程，如果有想需要的，可以加群
分类：
系统相关 时间：
2019-05-18 13:44:07
阅读次数：
149
1 mysql数据导入到hdfs数据 hadoop提供了org.apache.hadoop.io.Writable接口来实现简单的高效的可序列化的协议，该类基于DataInput和DataOutput来实现相关的功能。 hadoop对数据库访问也提供了org.apache.hadoop.mapred ...
分类：
数据库 时间：
2019-05-16 21:45:20
阅读次数：
187
一、Lambda表达式是什么？ Lambda表达式有两个特点 一是匿名函数，二是可传递。 匿名函数的应用场景是 通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用Lambda表达式。lambda表达式所表示的匿名函数的内容应该是很简单的，如果复杂的话，干脆就重新定义一个函数了，使用lam ...
分类：
编程语言 时间：
2019-05-09 22:09:54
阅读次数：
171
1.sqoop的概述a.sqoop 是一款工具，是appche 旗下的一款工具，主要是负责 hadoop与RDBMS之间的数据迁移，即从hadoop 文件系统 导出数据到RDBMS,从RDBMS导入数据到hadoop hdfs,hive,hbase等数据存储系统。b.其实就是将 sqoop命令转换成 ...
分类：
其他好文 时间：
2019-05-06 19:26:59
阅读次数：
129
本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例 ...
分类：
其他好文 时间：
2019-04-30 23:44:35
阅读次数：
195
Hbase常用操作记录 Hbase 创建表 查看表结构 修改表结构 删除表 创建表 语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>} 例如：创建表t1，有两个family name：f1，f2，且版本数均为2 create ' ...
分类：
其他好文 时间：
2019-04-25 01:20:12
阅读次数：
170
