进行在分布式集群上跑MapReduce的时候，通过脚本来运行，发现提示找不到相应的命令。 错误的原因就是一条命令不要有空格，在等于号两边不要有空格，不要有空格，不要有空格。 有空格就会报错。 ...
分类：
系统相关 时间：
2019-06-07 12:42:43
阅读次数：
175
学习大数据必先学习Hadoop，因为它是目前世界上最流行的分布式数据处理框架、Hadoop是一个用于分布式大数据处理的编程框架 一、Hadoop介绍 1、开源大数据框架2、分布式计算的解决方案3、Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算） Hadoop的构造模块 Na ...
分类：
其他好文 时间：
2019-06-06 22:57:16
阅读次数：
119
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS的功能：元数据、检查点、DataNode功能 HDFS的工作原理： 数据存取 - HDFS架构： Master / Slave(主从结构) - 节点可以理解为物理机器 主节点，只有一个: Namen ...
分类：
其他好文 时间：
2019-06-05 19:42:39
阅读次数：
70
结合理论和实践，《Hadoop权威指南第四版》由浅入深，全方位介绍了Hadoop 这一高性能的海量数据处理和分析平台。5部分24 章，第Ⅰ部分介绍Hadoop 基础知识，第Ⅱ部分介绍MapReduce,第Ⅲ部分介绍Hadoop 的运维，第Ⅳ部分介绍Hadoop 相关开源项目，第Ⅴ部分提供了三个案例。 ...
分类：
其他好文 时间：
2019-06-04 19:21:46
阅读次数：
317
集群规模计算集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值?容量需求–估算相对容易且准确–大多数案例可以通过容量来决定集群规模?计算需求–准确的估算计算资源只能通过小规模测试并合理估算?其他资源限制–如用户MapReduce应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资源要求网络建议?建议使用万兆网络或更高速度网
分类：
其他好文 时间：
2019-06-04 14:52:44
阅读次数：
200
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
1.阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS功能：是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上 pc server。 具有以下的功能：（1）高容错性 ： ...
分类：
其他好文 时间：
2019-06-03 17:08:11
阅读次数：
103
一、hive在执行sql时会以mapreduce的方式对数据进行接入和处理，其主要包含以下几个阶段：1.hive首先根据sql语句中的表从hdfs文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存；2.map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值，比如用户表中的性别字段，内存中map处理后的记录如下：3.在实际应用中会有多台机器参与
分类：
数据库 时间：
2019-05-31 18:05:41
阅读次数：
210
理论： 什么是hive： 1. Hive旨在实现轻松的数据汇总，即时查询和分析大量数据。 2. 它提供了SQL，使用户可以轻松地进行临时查询，汇总和数据分析。 3. Hive可以使用用户定义函数（UDF）。 4. 使用率：实际开发中，80%操作使用Hive完成，20%使用MapReduce。 5. ...
分类：
其他好文 时间：
2019-05-31 01:31:49
阅读次数：
120
转型大数据适合的人群1、JavaJava编程是大数据开发的基础，大数据中很多技术都是使用Java编写的，如Hadoop、Spark、mapreduce等，因此，想要学好大数据，Java编程是必备技能！2、PythonPython往往在大数据处理框架中得到支持。3、Linux运维企业大数据开发往往是在Linux操作系统下完成的，因此，想从事大数据相关工作，需要掌握Linux系统操作方法和相关命令。在
分类：
其他好文 时间：
2019-05-30 13:19:00
阅读次数：
119
