今天完成了实验任务三，主要学习了其中的Spark读取文件系统的数据。 在 spark-shell 中读取HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； scala>val textFile=sc.textFile("hdfs: ...
分类：
其他好文 时间：
2020-02-05 13:41:27
阅读次数：
70
四、hdfs的安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS ...
分类：
其他好文 时间：
2020-02-05 09:54:39
阅读次数：
101
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
今天写的实验三 1.i京安装完成spark和hadoop （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； cd /usr/local/hadoop ./bin/hdfs dfs –mkdir –p /user/hadoop （2） 在 Linux 系统的本地文 ...
分类：
其他好文 时间：
2020-02-02 13:48:18
阅读次数：
96
分布式数据集 编辑 Spark围绕的核心概念，是弹性分布式数据集（RDD），一个有容错机制，可以被并行操作的集合。目前有两种类型的RDD： 并行集合(Parrallelized Collections)，接收一个已经存在的Scala集合，在它上面运行各种并发计算； Hadoop数据集（Hadoop ...
分类：
其他好文 时间：
2020-02-01 23:17:16
阅读次数：
80
一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据（改指定的某一条数据） hbase 查询数据只能根据rowkey进 ...
分类：
其他好文 时间：
2020-01-30 19:24:15
阅读次数：
78
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hadoop三大发行版本？ Apache、clourdera、Hortonworks hadoop优势？ 高可靠、高扩展、高效、高容错 hadoop1.x和2.x的区别？ HDFS（hadoop distribu ...
分类：
其他好文 时间：
2020-01-30 14:29:07
阅读次数：
79
1、首先打开 hive DEBUG日志，执行以下命令，直接将日志输出到控制台 2、我们知道HIVE启动过程中，首先会先连接hive metastore，然后在连接HDFS namenode，我们可以根据日志时间点来判断和排查哪一步执行时间过长导致。 3、如果是hive metastore 连接过慢， ...
分类：
其他好文 时间：
2020-01-29 23:31:34
阅读次数：
285
一、业务架构 二、大数据全链路架构 三、主流框架 3.1 第一代大数据框架: 各自为战 3.2 第二代大数据计算框架 3.3 第三代大数据计算框架 Flink 集群启动 格式化集群 要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。 注意：首次启动HDFS时，必须对其进行格式化 ...
分类：
其他好文 时间：
2020-01-29 23:28:23
阅读次数：
139
MapReduce与spark MapReduce： 操作单一，只有map，reduce spark：提供多种操作：过滤，分组，排序.... （一）spark生态环境： Mesos和YARN都是资源调度管理器 HDFS：分布式系统存储组件 S3：亚马逊提供的云端的简单的存储服务 Tachyon：基于 ...
分类：
其他好文 时间：
2020-01-28 20:53:14
阅读次数：
68
