目标是第二年能得到8K以上的待遇。 要求熟练使用Hadoop生态圈技术（hive,hbase,spark,impala,sqoop,scala/python/shell,kafka,flume,gobblin,hdfs,zookeeper），然后是能树仓，精通sql的调优，会算法。 不会的有点多哈。 ...
分类：
其他好文 时间：
2017-10-24 17:21:39
阅读次数：
209
Flume 与 Kakfa结合例子（Kakfa 作为flume 的sink 输出到 Kafka topic） 进行准备工作： 编辑 flume的配置文件： $ cat /home/tester/flafka/spooldir_kafka.conf # Name the components on t ...
分类：
Web程序 时间：
2017-10-23 21:51:39
阅读次数：
611
Agent The agent function: abstract mathematical description, the table of the agent function is an external characterization of the agent. The agent p ...
分类：
其他好文 时间：
2017-10-23 01:05:40
阅读次数：
222
[Flume]使用 Flume 来传递web log 到 hdfs 的例子： 在 hdfs 上创建存储 log 的目录： $ hdfs dfs -mkdir -p /test001/weblogsflume 指定log 输入的目录：$ sudo mkdir -p /flume/weblogsmidd ...
分类：
Web程序 时间：
2017-10-22 00:22:29
阅读次数：
244
Flume是Cloudera提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume支持在日志系统中制定各类数据发送，同时，Flume提供对数据进行简单处理，并写到各种数接受方的能力。其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDF ...
分类：
Web程序 时间：
2017-10-18 16:11:43
阅读次数：
307
Spark Streaming 是core Spark的一个扩展，用来处理实时数据流，数据源可以来自Kafka, Flume, HDFS等，经过复杂的算法处理后，存入HDFS，数据库，或者实时的Dashboards. 从内部来看，Spark Streaming把进来的流式数据切成一小块一小块，然后再 ...
分类：
其他好文 时间：
2017-10-13 10:14:41
阅读次数：
160
https://yq.aliyun.com/articles/50487?spm=5176.100239.blogcont43566.18.uawbnY ...
分类：
Web程序 时间：
2017-10-12 19:19:21
阅读次数：
202
针对每天TB级的数据采集，一般而言，这些系统需要具有以下特征： 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 从设计架构，负载均衡，可扩展性和容错性等方面对 ...
分类：
Web程序 时间：
2017-10-12 10:18:10
阅读次数：
305
SparkSQL结合SparkStreaming的使用 Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括SparkStreaming。然而，在Sp ...
分类：
数据库 时间：
2017-10-11 17:18:41
阅读次数：
1282
1）：? 安装JDK环境 2）：? 在官网下载Flume，http://mirror.bit.edu.cn/apache/flume 既是：wget http://mirror.bit.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 注 ...
分类：
Web程序 时间：
2017-10-10 00:03:30
阅读次数：
179
