1.数据存储：磁盘（1）三种架构存储方式。SAN、NAS、DAS。（2）分布式存储架构。注：1）SAN、NAS、DAS是共享存储架构。2）分布式存储架构是一个集群（应用）。3）分布式存储架构（HDFS），HDFS是用于存储数据的软件。2.操作系统：Linux3.1.运维/大数据大数据集群：（1）分布式存储架构（HDFS）（2）map-reduces的数据处理集群注：1）HDFS只是解决数据处理问题
分类：
其他好文 时间：
2019-07-31 11:14:42
阅读次数：
110
IT行业的工作方向1.数据存储：磁盘1）三种架构存储方式：SAN、NAS、DAS(专门将数据存储于磁盘阵列）（是共享存储架构）2）分布式存储架构（HDFS）--就是一个集群（应用）HDFS--Hadoop定义的文件分布式系统2.Linux操作系统3.数据处理：1）map-reduces的数据处理集群:它是将海量数据按照一定的方式，修改为键值关系（key-value）HDFS+map-reduces
分类：
其他好文 时间：
2019-07-31 10:35:19
阅读次数：
99
数据存储：磁盘(共享)--SANNASDAS(专门将数据存储于磁盘阵列)--分布式存储架构（HDFS）--集群（应用）应用要用在系统上面。系统：Linux操作系统能承受海量数据，大数运用。CPU是运算的核心模具：方法1、map-reduces的数据处理集群：它是将海量数据按照一定的方式，修改为键值关系（key-value）。HDFS+map-reduces=Hadoop集群（运行于Linux上的一
分类：
系统相关 时间：
2019-07-30 23:23:43
阅读次数：
131
机器交流通过指令 手机 简单指令集 电脑 复杂指令集 IT行业的工作方向 冰箱 + 牛奶 + 模具 = 雪糕 牛奶： 数据存储：磁盘（共享存储）-- SAN、NAS、DAS（专门将数据存储于磁盘阵列） 云计算做运维 --分布式存储架构（HDFS）集群（应用、软件） --分布式存储架构（HDFS）集群 ...
分类：
其他好文 时间：
2019-07-30 21:58:09
阅读次数：
144
本周学习了-虚拟机和Unbuntu系统的安装，hadoop伪分布式安装，windows与ununtu系统通过File liza交互，HDFS与java，本地文件系统的交互 虚拟机 ubuntu系统 hadoop伪分布式安装成功 HDFS与java交互 ...
分类：
其他好文 时间：
2019-07-29 10:05:20
阅读次数：
102
Streaming hdfs count 需要先启动 hadoop 集群。 hadoop 启动成功之后，下面就是关于 stream 的代码，stream 统计代码如下，将下面的代码进行打包，上传到服务器上即可。 代码需要传递两个参数，一个是 stream 监控的数据输入目录，一个是输出目录。对应的执 ...
分类：
其他好文 时间：
2019-07-28 19:25:40
阅读次数：
83
分区表 在Hive Select查询中，一般会扫描整个表内容(HDFS上文件的内容)，会消耗很多时间做没必要的工作。分区表指的是在创建表时，指定partition的分区空间。 庞大的数据集可能需要耗费大量的时间去处理。在许多场景下，可以通过分区或切片的方法减少每一次扫描总数据量，这种做法可以显著地改 ...
分类：
其他好文 时间：
2019-07-25 17:38:46
阅读次数：
92
一、Hadoop的安装模式有3种 ①单机模式：不能使用HDFS，只能使用MapReduce，所以单击模式主要用于测试MR程序。 ②伪分布式模式：用多个线程模拟真实多台服务器，即模拟真实的完全分布式环境。 ③完全分布式模式：用多台机器（或启动多个虚拟机）来完成部署集群。 二、安装主要涉及以下内容： ① ...
分类：
其他好文 时间：
2019-07-25 00:07:47
阅读次数：
137
