大数据与云计算的关系就像一枚硬币的正反面一样密不可分，大数据是云计算非常重要的应用场景，而云计算则为大数据的处理和数据挖掘都提供了最佳的技术解决方案。云计算的快速供给、弹性扩展以及按用量付费的优势已经给IT行业带来了巨大变化，它已经日益成为企业IT的首选。在让企业通过数据洞察提升效率和效益的同时，如 ...
分类：
其他好文 时间：
2019-12-03 20:05:48
阅读次数：
96
Spark官网和下载地址 官网 http://spark.apache.org/ spark-2.2.0源码下载链接 http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz spark-2.2.0安装包下载连接 http://... ...
分类：
其他好文 时间：
2019-12-03 18:09:14
阅读次数：
98
一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范) vim /etc/hostname master #重启生效 配置DNS每个节点 vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168. ...
分类：
其他好文 时间：
2019-12-03 18:08:46
阅读次数：
106
第一步：配置网络（静态IP） vi /etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同） 1. 修改： 将该配置文件中的ONBOOT=no修改为yes（网络开机自启） 将BOOTPROTO=dhcp修改为static（将ip设置为静态ip） 2. ...
分类：
其他好文 时间：
2019-12-02 20:42:53
阅读次数：
124
问题： 原因： sparksql生成的hive表有空文件，但是sparksql读取空文件的时候，因为表示orc格式的，导致sparksql解析orc文件出错。但是用hive却可以正常读取。 解决办法： 暂时不知道怎么解决，这里先记录一下，等找到方法再回来补充 ...
分类：
数据库 时间：
2019-12-02 16:36:57
阅读次数：
554
Hive安装部署与配置 1.1 Hive安装地址 1）Hive官网地址： http://hive.apache.org/ 2）文档查看地址： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址： http:// ...
分类：
其他好文 时间：
2019-12-02 14:00:32
阅读次数：
123
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类：
其他好文 时间：
2019-12-02 13:51:54
阅读次数：
127
HBase的部署与其它相关组件（Hive Phoenix）的集成 一、HBase部署 1.1、Zookeeper正常部署 首先保证Zookeeper集群的正常部署，并启动之： /opt/module/zookeeper-3.4.5/bin/zkServer.sh start 1.2、Hadoop正常 ...
分类：
其他好文 时间：
2019-12-02 13:35:42
阅读次数：
136
0.安装前准备 0.1 关闭防火墙 1 service iptables status 2 service iptables stop 0.2 关闭Selinux 很多稀奇古怪的问题都是SELINUX导致的。 1.创建用户 1 useradd hadoop -d /home/hadoopecho 2 ...
分类：
Web程序 时间：
2019-12-01 12:03:25
阅读次数：
88
Hadoop — HDFS的概念、原理及基本操作 https://www.cnblogs.com/swordfall/p/8709025.html 分类: Hadoop undefined 1. HDFS的基本概念和特性 设计思想——分而治之：将大文件、大批量文件分布式存放在大量服务器上，以便于采取 ...
分类：
其他好文 时间：
2019-12-01 09:30:58
阅读次数：
95
