大数据我们全知道hadoop，但并不全都是hadoop。我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用storm，那么storm和什么技术搭配，才能做一个适合自己的项目。 1.一个好的项目架构应该具备什么特点？ 2.本项目架 ...
分类：
Web程序 时间：
2016-07-19 18:25:07
阅读次数：
215
Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 可以看一下模型： 每一个flume代理(agent)可以提供一项flume服务。每一个代理有三个成员：source、channel、sink 如上图所示，由source获取数据并发送给channel，channel就好比一 ...
分类：
数据库 时间：
2016-07-18 03:05:15
阅读次数：
300
北风网课程，超1000+课时，绝对是您零基础学习大数据的最佳选择。 本套课程分为两大部分：一.必修课，二.选修课。 必修课包括： 1.Linux基础知识，MapReduce,YARN,HDFS,Hive,Sqoop,Flume,Oozie,Hue,HBase等Hadoop框架。 2.Storm入门到 ...
分类：
其他好文 时间：
2016-07-16 00:14:59
阅读次数：
420
实验开发环境所用软件：[root@hadoop11 local]# ll
total 320576
-rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 10:46 flume
drwxr-xr-x. 11 root...
分类：
Web程序 时间：
2016-07-15 20:54:54
阅读次数：
262
1. 测试环境1.1 硬件
CPU：Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz（8核）
内存：16G
1.2 软件
Flume：1.6.0
Hadoop：2.6.0-cdh5.5.0
Kfaka：2.11-0.9.0.1
JDK：1.8.0_91-b14 64位
1.3 测试文件文件大小：107M ，共490010条记录1.4 Flume配置（...
分类：
Web程序 时间：
2016-07-15 17:15:57
阅读次数：
438
昨天做了一个Java连接虚拟机，实现Flume Avro Source 的远程连接，确报了一个这样的错，经过了一晚上，终于找到了解决的方案。 我来给大家分享一下！ 报错如下： Exception in thread "main" org.apache.flume.FlumeException:Net ...
分类：
Web程序 时间：
2016-07-14 09:54:00
阅读次数：
816
项目开发的时候，出现问题的时候，通常在IDE里面直接进行调试，但有时候我们可能用的是另外的一些开源框架，甚至运行程序里面没有一行代码是我们自己写的，如果出现一些较复杂的问题，那么我们可能就会用到远程调试。最近正好进行过flume的远程调试，就简单记录一下吧： 如果有远程调试tomcat经历，那就简单 ...
分类：
Web程序 时间：
2016-07-13 19:46:03
阅读次数：
259
Hadoop提供了一个中央化的存储系统，其有利于进行集中式的数据分析与数据共享。 Hadoop对存储格式没有要求。可以存储用户访问日志、产品信息以及网页数据等数据。
常见的两种数据来源。一种是分散的数据源：机器产生的数据、用户访问日志以及用户购买日志。另一种是传统系统中的数据：传统关系型数据库（MySQL、Oracle）、磁盘阵列以及磁带。
Flume由...
分类：
Web程序 时间：
2016-07-13 17:01:14
阅读次数：
180
flume 1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2016-07-13 01:00:08
阅读次数：
228
上次实现了flume＋kafka＋hbase＋ELK：http://www.cnblogs.com/super-d2/p/5486739.html 这次我们可以加上storm: storm-0.9.5简单配置如下： 安装依赖 安装 Python 安装 zookeeper wget http://mi ...
分类：
数据库 时间：
2016-07-12 13:38:43
阅读次数：
427
