在使用flume采集日志写入到hdfs时,用到了lzo压缩算法,这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的,需要另外安装,下面记录下,全文主要参考文末博文完成。 编译安装lzo和lzop 注意,有多少个节点,就安装多个少!注意,有多少个节点,就安装多个少!注意 ...
分类:
其他好文 时间:
2020-01-20 14:30:04
阅读次数:
88
知乎原文 我的博客 微信公众号这几天在逛网站的时候,发现很多网站都有轮播图这个效果,所以我就仿照小米的官网用原生js写了一个轮播图效果,希望大家喜欢。这是我发布在github上的最后实现的效果:https://heternally.github.io/... 下面我简单跟大家说一下我实现该效果的过程 ...
分类:
Web程序 时间:
2020-01-19 22:12:23
阅读次数:
98
基于VMware 15+CentOS 7+Hadoop 2.6,各种考虑和条件都是基于我个人的现状和操作习惯,主要用于个人学习。个人理解,水平有限。 hadoop搭建一:虚拟机网络配置和基础 hadoop搭建二:hadoop全分布搭建 hadoop搭建三:hadoop伪分布搭建 hadoop搭建四: ...
分类:
其他好文 时间:
2020-01-19 17:42:17
阅读次数:
141
1、https://www.cnblogs.com/AK2012/archive/2012/12/28/2012-122802.html 2、https://www.cnblogs.com/AK2012/archive/2012/12/28/2012-122803.html 3、https://ww ...
分类:
数据库 时间:
2020-01-19 09:31:37
阅读次数:
82
Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。当你尝试pip install xxx时出现各种意外和依赖问题,那么conda就是一方良药。可以让你轻松的安装各种库并处理各种依赖问题。 Anaconda安装 可以从官网下载,不过服务 ...
linux环境 假设hdfs安装路径(例如是): /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件,例如hive表的 ...
分类:
Web程序 时间:
2020-01-18 21:10:35
阅读次数:
172
整数运算 请点击这里--》》 传送门 浮点数运算和整数运算相比,只能进行加减乘除这些数值计算,不能做位运算和移位运算。 在计算机中,浮点数虽然表示的范围大,但是,浮点数有个非常重要的特点,就是浮点数常常无法精确表示。 举个栗子: 浮点数0.1在计算机中就无法精确表示,因为十进制的0.1换算成二进制是 ...
分类:
编程语言 时间:
2020-01-18 16:40:13
阅读次数:
84
一个人安静的思考,是一件很重要,很珍贵的习惯。 忙碌的停不下来,只会让事情变得越累越糟糕。 社会的发展太快,每个人是组成其中的一小部分。 按着规定的要求时间去完成这件事情。 这样的强迫感在最近四五年越来越强烈。 忙碌、一天兜底干了什么 生活中自己的时间很少 没有时间去做自己喜欢的事情有很多借口 经常 ...
分类:
其他好文 时间:
2020-01-18 10:27:08
阅读次数:
88
简介 Yet Another Resource Negotiator ,负责整个集群资源的调度,和管理,支持多框架资源统一调度(HIVE spark flink) 开启yarn 安装hadoop,可以看我之前的博文 这边就不讲了 编辑 etc/hadoop/mapred-site.xml: 添加如下 ...
分类:
其他好文 时间:
2020-01-17 13:08:54
阅读次数:
81
原文:判断指定年份是否为闰年 判断指定年份是否为闰年,Insus.NET也曾经写过2篇《判断是否是闰年》https://www.cnblogs.com/insus/p/10865051.html 和 《指定日期,判断其所属年份是否为闰年》https://www.cnblogs.com/insus/p... ...
分类:
其他好文 时间:
2020-01-17 09:25:47
阅读次数:
70