HDFS安装-完全分布式 1、 先决条件 a) 三台机器（以上） b) 每台机器时间一致，相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,并且JDK的环境变量必须配置好。 i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk ii. 配置环境变 ...
分类：
其他好文 时间：
2019-06-11 20:56:09
阅读次数：
174
讨论QQ：1586558083 目录 一、JDK的安装 1.1 上传安装包并解压 1.2 配置环境变量 1.3 验证Java版本 二、配置配置ssh localhost 2.1 检测 2.2 生成私钥和公钥秘钥对 2.3 将公钥添加到authorized_keys 2.4 赋予authorized_ ...
分类：
其他好文 时间：
2019-06-11 13:10:46
阅读次数：
151
肯尼斯?格里芬（Kenneth C. Griffin） 对冲基金界最年轻的基金经理。22岁，创办美国城堡投资集团(Citadel Investment Group)。目前城堡投资拥有近300亿美元资产，是全球最大且最成功的对冲基金之一。在美国，存在超过20年的对冲基金比例不足3%，而城堡投资就是其中 ...
分类：
其他好文 时间：
2019-06-11 11:29:05
阅读次数：
186
大数据入门学习之Hadoop技术优缺点(1)Hadoop具有按位存储和处理数据能力的高可靠性。(2)Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。(3)Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。(4)Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分
分类：
其他好文 时间：
2019-06-05 12:40:06
阅读次数：
121
一、Java配置 1、完整路径不能有空格：C:\jdk1.8.0_101 2、配置环境变量：JAVA_HOME 二、Hadoop配置 1、完整路径不能有空格：F:\0002_BigData\Soft\hadoop-2.7.6 2、创建文件夹：data、name、tmp 3、下载winutil，拷贝至 ...
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapRe ...
分类：
其他好文 时间：
2019-05-26 19:56:20
阅读次数：
156
HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File ...
分类：
其他好文 时间：
2019-05-08 00:31:43
阅读次数：
132
1.准备环境 1.1配置dns 1.2配置免密登陆 1.3关闭防火墙 1.4配置Java环境,Hadoop环境 2.配置Hadoop 2.1配置Hadoop环境脚本文件中的JAVA_HOME参数 2.2修改Hadoop配置文件 在hadoop 3.2.0/etc/hadoop目录下，修改core s ...
分类：
其他好文 时间：
2019-04-25 17:35:02
阅读次数：
134
linux基础 为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍 接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapR ...
分类：
其他好文 时间：
2019-04-07 20:31:25
阅读次数：
128
实现将 HDFS 中的数据写入到 HBase 表中 Runner类 Mapper类 Reduce类 ...
分类：
其他好文 时间：
2019-04-05 12:36:46
阅读次数：
118
