推荐阅读: 论主数据的重要性(正确理解元数据、数据元) CDC+ETL实现数据集成方案 Java实现impala操作kudu 实战kudu集成impala impala基本介绍 impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍 ...
分类:
其他好文 时间:
2020-01-21 19:54:21
阅读次数:
198
Hive基础(一)原创人间怪物 最后发布于2018-12-19 15:35:03 阅读数 2918 收藏展开1.Hive是什么 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。H ...
分类:
其他好文 时间:
2020-01-20 18:44:17
阅读次数:
86
在使用flume采集日志写入到hdfs时,用到了lzo压缩算法,这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的,需要另外安装,下面记录下,全文主要参考文末博文完成。 编译安装lzo和lzop 注意,有多少个节点,就安装多个少!注意,有多少个节点,就安装多个少!注意 ...
分类:
其他好文 时间:
2020-01-20 14:30:04
阅读次数:
88
知乎原文 我的博客 微信公众号这几天在逛网站的时候,发现很多网站都有轮播图这个效果,所以我就仿照小米的官网用原生js写了一个轮播图效果,希望大家喜欢。这是我发布在github上的最后实现的效果:https://heternally.github.io/... 下面我简单跟大家说一下我实现该效果的过程 ...
分类:
Web程序 时间:
2020-01-19 22:12:23
阅读次数:
98
基于VMware 15+CentOS 7+Hadoop 2.6,各种考虑和条件都是基于我个人的现状和操作习惯,主要用于个人学习。个人理解,水平有限。 hadoop搭建一:虚拟机网络配置和基础 hadoop搭建二:hadoop全分布搭建 hadoop搭建三:hadoop伪分布搭建 hadoop搭建四: ...
分类:
其他好文 时间:
2020-01-19 17:42:17
阅读次数:
141
1、https://www.cnblogs.com/AK2012/archive/2012/12/28/2012-122802.html 2、https://www.cnblogs.com/AK2012/archive/2012/12/28/2012-122803.html 3、https://ww ...
分类:
数据库 时间:
2020-01-19 09:31:37
阅读次数:
82
Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。当你尝试pip install xxx时出现各种意外和依赖问题,那么conda就是一方良药。可以让你轻松的安装各种库并处理各种依赖问题。 Anaconda安装 可以从官网下载,不过服务 ...
linux环境 假设hdfs安装路径(例如是): /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件,例如hive表的 ...
分类:
Web程序 时间:
2020-01-18 21:10:35
阅读次数:
172
整数运算 请点击这里--》》 传送门 浮点数运算和整数运算相比,只能进行加减乘除这些数值计算,不能做位运算和移位运算。 在计算机中,浮点数虽然表示的范围大,但是,浮点数有个非常重要的特点,就是浮点数常常无法精确表示。 举个栗子: 浮点数0.1在计算机中就无法精确表示,因为十进制的0.1换算成二进制是 ...
分类:
编程语言 时间:
2020-01-18 16:40:13
阅读次数:
84