在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少！注意 ...
分类：
其他好文 时间：
2020-01-20 14:30:04
阅读次数：
88
知乎原文 我的博客 微信公众号这几天在逛网站的时候，发现很多网站都有轮播图这个效果，所以我就仿照小米的官网用原生js写了一个轮播图效果，希望大家喜欢。这是我发布在github上的最后实现的效果：https://heternally.github.io/... 下面我简单跟大家说一下我实现该效果的过程 ...
分类：
Web程序 时间：
2020-01-19 22:12:23
阅读次数：
98
基于VMware 15+CentOS 7+Hadoop 2.6，各种考虑和条件都是基于我个人的现状和操作习惯，主要用于个人学习。个人理解，水平有限。 hadoop搭建一：虚拟机网络配置和基础 hadoop搭建二：hadoop全分布搭建 hadoop搭建三：hadoop伪分布搭建 hadoop搭建四： ...
分类：
其他好文 时间：
2020-01-19 17:42:17
阅读次数：
141
1、https://www.cnblogs.com/AK2012/archive/2012/12/28/2012-122802.html 2、https://www.cnblogs.com/AK2012/archive/2012/12/28/2012-122803.html 3、https://ww ...
分类：
数据库 时间：
2020-01-19 09:31:37
阅读次数：
82
Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。当你尝试pip install xxx时出现各种意外和依赖问题，那么conda就是一方良药。可以让你轻松的安装各种库并处理各种依赖问题。 Anaconda安装 可以从官网下载，不过服务 ...
linux环境 假设hdfs安装路径（例如是）： /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件，例如hive表的 ...
分类：
Web程序 时间：
2020-01-18 21:10:35
阅读次数：
172
整数运算 请点击这里--》》 传送门 浮点数运算和整数运算相比，只能进行加减乘除这些数值计算，不能做位运算和移位运算。 在计算机中，浮点数虽然表示的范围大，但是，浮点数有个非常重要的特点，就是浮点数常常无法精确表示。 举个栗子： 浮点数0.1在计算机中就无法精确表示，因为十进制的0.1换算成二进制是 ...
分类：
编程语言 时间：
2020-01-18 16:40:13
阅读次数：
84
一个人安静的思考，是一件很重要，很珍贵的习惯。 忙碌的停不下来，只会让事情变得越累越糟糕。 社会的发展太快，每个人是组成其中的一小部分。 按着规定的要求时间去完成这件事情。 这样的强迫感在最近四五年越来越强烈。 忙碌、一天兜底干了什么 生活中自己的时间很少 没有时间去做自己喜欢的事情有很多借口 经常 ...
分类：
其他好文 时间：
2020-01-18 10:27:08
阅读次数：
88
简介 Yet Another Resource Negotiator ,负责整个集群资源的调度，和管理，支持多框架资源统一调度（HIVE spark flink） 开启yarn 安装hadoop，可以看我之前的博文 这边就不讲了 编辑 etc/hadoop/mapred-site.xml: 添加如下 ...
分类：
其他好文 时间：
2020-01-17 13:08:54
阅读次数：
81
原文:判断指定年份是否为闰年 判断指定年份是否为闰年，Insus.NET也曾经写过2篇《判断是否是闰年》https://www.cnblogs.com/insus/p/10865051.html 和 《指定日期，判断其所属年份是否为闰年》https://www.cnblogs.com/insus/p... ...
分类：
其他好文 时间：
2020-01-17 09:25:47
阅读次数：
70
