这几天研究hive表的存储方式和压缩模式。在这里做一个简单的总结 hive表的存储 样例 ： 我的表：rp_person_house_loan_info 数据总量：1933776 textfile： （1）hive数据表的默认格式，存储方式：行存储 。 （2） 可使用Gzip,Bzip2等压缩算法压 ...
分类：
其他好文 时间：
2019-03-13 12:28:22
阅读次数：
219
首先需要导入的包中，gzip和zipfile用于文件压缩和解压缩相关;argparse用于构建命令行参数;requests用于http请求下载网络文件资源;subprocess用于运行shell命令;tqdm用于进度条显示;six包用于python2和python3的兼容,比如 from six.m ...
分类：
其他好文 时间：
2019-03-13 10:41:21
阅读次数：
178
哎呀，本文依旧使用markdown语法进行编写排版 [TOc] HTTP HTTP协议的概念 http（超文本传输协议） ：是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web ...
分类：
Web程序 时间：
2019-03-12 21:07:06
阅读次数：
243
option = {Namespace} Namespace(assertmode='rewrite', basetemp=None, cacheclear=False, cacheshow=False, capture='no', collect_in_virtualenv=False, coll ...
分类：
其他好文 时间：
2019-03-12 18:43:54
阅读次数：
144
对一个1G的日志文件进行压缩，整个压缩期间gzip和bzip2都能将1个核利用到100%。首先将该日志文件读入页面缓存：可以cat该文件也可以用vmtouch-t来实现先检查该文件已经在pagecache中[root@er01~]#vmtouch/serverInfo_2019-02-11_7.logFiles:1Directories:0ResidentPages:262145/2621451G
分类：
其他好文 时间：
2019-03-11 15:05:30
阅读次数：
426
转自：https://blog.csdn.net/u013788943/article/details/79786558 使用vue-cli生成的项目，会自动配好相关的设置。 如下图找到对应的文件，productionGzip改为true，开启Gzip压缩 找到下图的文件，这里是Gzip的配置 代码 ...
分类：
其他好文 时间：
2019-03-11 13:41:03
阅读次数：
428
防盗链： 目的：防止资源被盗用 防盗链设置思路 首要方式：区别哪些请求是非正常的用户请求 基于http_refer防盗链配置模块（判断refer（上一步的链接）信息是否为允许访问的网站） 配置语法：valid_refer none | bloked | server_names | string . ...
分类：
其他好文 时间：
2019-03-11 00:39:43
阅读次数：
210
在linux下我们经常用到的四个应用程序的目录是/bin、/sbin、/usr/bin、/usr/sbin 。而四者存放的文件一般如下： bin目录: bin为binary的简写主要放置一些系统的必备执行档例如:cat、cp、chmod df、dmesg、gzip、kill、ls、mkdir、mor ...
分类：
其他好文 时间：
2019-03-08 09:46:30
阅读次数：
191
我要整理在工作中用到的工具类分享出来，也方便自己以后查阅使用，这些工具类都是我自己实际工作中使用的 ...
分类：
编程语言 时间：
2019-03-07 17:59:41
阅读次数：
153
（1）nginx运行工作进程个数，一般设置cpu的核心或者核心数x2 如果不了解cpu的核数，可以top命令之后按1看出来，也可以查看/proc/cpuinfo文件 grep ^processor /proc/cpuinfo | wc -l [root@lx~]# vi/usr/local/ngin ...
分类：
其他好文 时间：
2019-03-07 11:42:29
阅读次数：
215
