Hadoop_Liang 2019-06-14 23:08:05 2846 收藏 4展开问题：Ubuntu在更新软件源时，出现E: Could not get lock /var/lib/apt/lists/lock问题 $ sudo apt-get update Reading package l ...
分类：
其他好文 时间：
2020-05-12 16:49:53
阅读次数：
131
大数据第十一周 1.物理集群的验证 开启本组所有电脑（4台），拷贝虚拟机映像，打开。在开启虚拟机之前，设置虚拟机内存是4G，处理器是4，网络连接是桥接模式。 ? 也可以在图形界面配 ? 把桥接网卡绑定到具体的物理网卡，不要使用自动绑定。 设置完成后，启动寻虚拟机。 ? 2.设置网络连接 编辑网络配置 ...
分类：
其他好文 时间：
2020-05-12 13:46:49
阅读次数：
67
Linux重要目录 Linux目录一切从根开始.且一切都是文件 | 目录 | 说明 | | : : | : : | | / | 根目录 | | /bin | 存放Linux的常用命令 | | /root | 是root用户的主目录/家目录 | | /home | 存放普通用户的主目录 | | /et ...
分类：
系统相关 时间：
2020-05-11 19:04:50
阅读次数：
73
在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。 分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或 ...
分类：
其他好文 时间：
2020-05-10 22:47:20
阅读次数：
125
1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hado ...
分类：
数据库 时间：
2020-05-10 17:31:37
阅读次数：
97
在弄清楚这个问题之前，我们先了解一下什么是分布式的CAP定理。 根据百度百科的定义，CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），最多只能同时三个特性中的两个，三者不可 ...
分类：
其他好文 时间：
2020-05-10 12:35:44
阅读次数：
235
JDBC 以MySQL为例 读取 import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} /** * Author atgu ...
分类：
数据库 时间：
2020-05-09 23:21:09
阅读次数：
86
Hadoop概述： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。H ...
分类：
其他好文 时间：
2020-05-09 23:07:57
阅读次数：
222
规划：nn1.hadoop nn2.hadoop s1.hadoop s2.hadoop ZK： nn1 nn2 s1journalnode: nn1 nn2 s1DataNode: nn1 nn2 s1 s2NodeManager: nn1 nn2 s1 s2NameNode: nn1 nn2Re ...
分类：
系统相关 时间：
2020-05-09 21:12:33
阅读次数：
83
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
