Linux下，一切皆文件计算机性能：横向扩展：集群：人多力量大。x纵向扩展：做应用迁移。集群：**HDFS+map-reduces=Hadoop集群1、系统启动电源BIOS芯片1、加电自检（检查硬件设备是否正常）2、需要将硬盘中的系统文件，加载到内存中，让CPU读取额，并运行。MBR分区（bootloader）：就是用来寻找并引导系统加载LILO嵌入式Grub是引导系统启动的程序。分为第一阶段，1
分类：
系统相关 时间：
2019-08-01 21:30:32
阅读次数：
146
hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
数据存储：磁盘(共享)--SANNASDAS(专门将数据存储于磁盘阵列)--分布式存储架构（HDFS）--集群（应用）应用要用在系统上面。系统：Linux操作系统能承受海量数据，大数运用。CPU是运算的核心模具：方法1、map-reduces的数据处理集群：它是将海量数据按照一定的方式，修改为键值关系（key-value）。HDFS+map-reduces=Hadoop集群（运行于Linux上的一
分类：
系统相关 时间：
2019-07-30 23:23:43
阅读次数：
131
Streaming hdfs count 需要先启动 hadoop 集群。 hadoop 启动成功之后，下面就是关于 stream 的代码，stream 统计代码如下，将下面的代码进行打包，上传到服务器上即可。 代码需要传递两个参数，一个是 stream 监控的数据输入目录，一个是输出目录。对应的执 ...
分类：
其他好文 时间：
2019-07-28 19:25:40
阅读次数：
83
前言 最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop 安装流程 安装spark需要先安装scala 注意在安装过程中需要对应spark与 ...
分类：
其他好文 时间：
2019-07-24 19:14:56
阅读次数：
88
搭建环境安装时间同步Yum install -y ntpdate 网络时间同步命了 服务器地址是阿里云ntpdate ntp1.aliyun.com 手动时间同步方式date -s "20190622 12:32:00" #yyyymmdd hh:mm:ss完全分布式服务器namenodesecon ...
分类：
其他好文 时间：
2019-07-22 18:36:25
阅读次数：
133
本文将学习如何使用java创建Storm拓扑并将其部署到Storm集群。 Storm集群的组件 Storm集群类似于Hadoop集群，只不过 Hadoop 上运行"MapReduce jobs"， Storm 上运行"topologies"。 两者最大的差别是，MapReducejobs 最终是完成 ...
分类：
其他好文 时间：
2019-07-19 12:40:50
阅读次数：
96
Apache Atlas 简介 Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 准备： 1.ubuntu 16.04 2.apache- ...
分类：
Web程序 时间：
2019-07-14 18:02:52
阅读次数：
300
openssh是SSH （Secure SHell） 协议的免费开源实现。SSH协议族可以用来进行远程控制， 或在计算机之间传送文件。 这就意味着远程登陆，文件推拉特别是搭建集群后公钥的部署，经常要利用到openssh。本人之前搭建hadoop集群模式的时候，公钥投送就和ssh相关，如今搭建ansi ...
分类：
系统相关 时间：
2019-07-13 13:53:31
阅读次数：
194
学习搭建方法，搭建3台机器 使用安装包： 将上一篇Linux搭建的虚拟机作为主节点 1.将主节点挂起/关闭，找到主节点所在目录 2.复制2个主节点文件夹并改名slave1和slave2 3.在虚拟机中加载新建的两个文件夹作为新的虚拟机并运行和重命名 4.slave1 → su → cd /etc/s ...
分类：
其他好文 时间：
2019-07-06 00:19:35
阅读次数：
81
