Hadoop生态圈 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（分布式计算框架）；HBASE（分布式列存数据库）； Zookeeper（分布式协作服务）；HIVE（数据仓库）；Pig(ad-hoc脚本）等。 二：详细了解一下其特性： Hadoop是一个由Apach ...
分类：
其他好文 时间：
2019-09-21 23:05:58
阅读次数：
119
知识地图 一：大数据基础 1.三次信息化浪潮： 2.信息科技为大数据时代提供技术支撑： 存储设备容量不断增加 CPU处理能力大幅提升 网络带宽不断增加 3.数据产生方式的变革促进=成大数据时代的来临（三个阶段）： 运营式系统阶段 用户原创内容阶段 感知式系统阶段 4.大数据的4个特点： 数据量大 数 ...
分类：
其他好文 时间：
2019-09-21 23:04:02
阅读次数：
237
hadoop简介 hadoop是基于Java语言开发的，具有很好的跨平台性，并且可以部署在廉价的计算机群众，hadoop的核心是分布式文件系统HDFS（hadoop distributed file system）和mapreduce,HDFS具有较高的读写速度和和好的容错性和可伸缩性并且具有大规模 ...
分类：
其他好文 时间：
2019-09-21 18:47:50
阅读次数：
87
大数据 概述 大数据是新处理模式才能具备更多的决策力，洞察力，流程优化能力，来适应海量高增长率，多样化的数据资产。 大数据面临的问题 怎么存储海量数据(kb，mb，gb，tb，pb，eb，zb) 怎么对数据进行降噪处理(对数据进行清洗，使得数据变废为宝，提取有用的数据，减少不必要的数据资源空间的释放 ...
分类：
其他好文 时间：
2019-09-21 14:57:06
阅读次数：
97
1、进入spark-shell窗口 2、 3、 hdfs://cdp是defaultFS，也可以不写，如下: 4、 参考:https://www.jianshu.com/p/57b20d9d7b4a?utm_campaign=maleskine&utm_content=note&utm_medium ...
分类：
系统相关 时间：
2019-09-21 14:52:27
阅读次数：
234
查看进程 jps 访问hdfs: hadoop-root:50070 hdfs bash命令： hdfs dfs <1> -help: 显示命令的帮助的信息 <2> -mkdir:创建一个新目录 -p -mkdir -p /test1/test2：创建目录，p可以创建不存在的父路径 <3> -ls: ...
分类：
编程语言 时间：
2019-09-19 21:53:21
阅读次数：
133
进入Hue管理界面，打开Oozie Editor： 将打包好的Spark程序上传到HDFS上，拖拽Spark任务，编辑任务属性，选择打包好的Spark程序，设置主函数所在类，设置选项参数： 保存为任务： 执行： ...
分类：
其他好文 时间：
2019-09-19 21:45:07
阅读次数：
81
清理hdfs小文件shell脚本 sh !/bin/bash echo " " echo "BASH_VERSION: $BASH_VERSION" echo "参数说明: " echo "从外部只传递零个参数时，遍历字典，删除 hdfs 对应日期下的文件目录" echo "从外部只传递一个参数时， ...
分类：
系统相关 时间：
2019-09-18 10:29:44
阅读次数：
113
1.显示当前目录结构#显示当前目录结构hadoopfs-ls<path>#递归显示当前目录结构hadoopfs-ls-R<path>#显示根目录下内容hadoopfs-ls/2.创建目录#创建目录hadoopfs-mkdir<path>#递归创建目录hadoopfs-mkdir-p<path>3.删除操作#删除文件hadoopfs-rm<pat
分类：
系统相关 时间：
2019-09-17 17:42:31
阅读次数：
115
hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 ...
分类：
其他好文 时间：
2019-09-16 23:50:45
阅读次数：
134
