第1章 Flume概述 1.1 Flume定义 Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flum ...
分类：
Web程序 时间：
2020-05-30 19:56:36
阅读次数：
89
第4章 DDL数据定义 4.1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2）避免要创建的数据库已经存在错误，增加 if not exist ...
分类：
其他好文 时间：
2020-05-30 19:43:40
阅读次数：
64
第8章 压缩和存储（Hive高级） 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1、CentOS联网 配置CentOS能连接外网。Linux虚拟机 ping www.baidu.com 是畅通的。 注意：采用root角色编译，减少文件夹权限出现问题。2、jar包准备(ha ...
分类：
其他好文 时间：
2020-05-30 19:42:06
阅读次数：
53
第1章 Kafka概述 1.1 消息队列 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是 ...
分类：
其他好文 时间：
2020-05-30 19:39:36
阅读次数：
63
第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计（分析数据的框架）。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序。 1）Hive ...
分类：
其他好文 时间：
2020-05-30 19:36:05
阅读次数：
56
第6章 查询 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: On ...
分类：
其他好文 时间：
2020-05-30 19:34:29
阅读次数：
64
复习要点 本文主要围绕如下几点进行阐述： 为什么使用消息队列？ 使用消息队列有什么缺点？ 消息队列如何选型？ 如何保证消息队列是高可用的？ 如何保证消息不被重复消费？ 如何保证消费的可靠性传输？ 如何保证消息的顺序性？ 下面围绕以上七点进行阐述。需要说明一下，本文不是《消息队列从入门到精通》这种教程 ...
分类：
其他好文 时间：
2020-05-30 15:55:25
阅读次数：
85
首先写一下我为什么想写这样一个系列的博文？
距离大学毕业已经八九年的时间了，至今回忆起当年学习C语言的坎坷之路，自己走了很多的弯路，虽然当时学习的很艰难，但是正是那时候打下的坚实基础，成就了现在工作上可以说是游刃有余吧，作为“过来人”想给正在正在大学里学习C语言的同学一些学习方法和借鉴，希望大家在学习的过程中不在那么辛苦，有一个”大哥哥“一样的人帮助大家一块把C语言这门功课学好、学懂、考过、实战，为以后的工作能够打下良好的基础。
分类：
编程语言 时间：
2020-05-30 12:58:23
阅读次数：
77
本系列文章将于2021年整理出版，书名《算法竞赛专题解析》。 前驱教材是：《算法竞赛入门到进阶》(京东 当当 ) 清华大学出版社。 如有建议，请联系：（1）QQ 群，567554289；（2）作者QQ，15512356 1、引子 提到状态压缩DP时，常常用Hamilton问题作为引子。 最短Hami ...
分类：
编程语言 时间：
2020-05-30 00:59:33
阅读次数：
77
