单独的这样来说，时间过得真的是快，6月份已经开始过了一半的时间了，我想说的事情就是这件事情，自己的学习进度变得十分的缓慢，自己在爬虫方面耗费了大量的时间自己却没有做出一些比较有效果的成绩，这件事情和以前的事情相比，是自己学习方法的不对，而不是自己学习的问题。 网页分析算法可以归纳为基于网络拓扑、基于 ...
分类：
其他好文 时间：
2018-06-15 20:04:03
阅读次数：
141
Filtering revisited 我们在前面的章节中已经提到了过滤，但是我们仅仅触及到了表面。现在我们能够向Log records添加attribute并设置sink，我们就可以构建我们需要的任何复杂的过滤。让我们考虑一下这个例子: [完整代码][1] 在这个示例中，我们初始化了两个sinks ...
分类：
其他好文 时间：
2018-06-09 19:02:19
阅读次数：
211
每个flume agent包含三个主要组件：source、channel、sink。 Source是从一些其他产生数据的应用中接收数据的活跃组件，有自己产生数据的source，不过这些source通常用于测试目的，source可以监听一个或者多个网络端口，用于接收数据或者可以从本地文件系统读取数据， ...
分类：
Web程序 时间：
2018-06-08 19:24:31
阅读次数：
895
1.设置存储路径 ApUtilities-set target locations 2.导入dem 3.拼接dem Dataset Name 设置为.tif,即存为tif格式，否则为grid格式。pixel type 设置为与原dem一致。 4.预处理-fill sink Terrain Prepr ...
分类：
其他好文 时间：
2018-06-03 21:45:27
阅读次数：
221
>先创建Hbase表和列族< 案例1：源数据一行对应Hbase的一列存储(hbase-1.12没有问题) #说明：案例是flume监听目录/home/hadoop/flume_hbase采集到hbase；必须先在Hbase中创建表和列族 数据目录：vi /home/hadoop/flume_hbas ...
分类：
Web程序 时间：
2018-05-28 22:44:30
阅读次数：
1319
flume采集过程： #说明：案例是flume监听目录/home/hadoop/flume_kafka采集到kafka； 启动集群 启动kafka， 启动agent，flume-ng agent -c . -f /home/hadoop/flume-1.7.0/conf/myconf/flume-k ...
分类：
Web程序 时间：
2018-05-28 22:39:51
阅读次数：
345
在上一篇中，我们分析了在RxSwift中的整个订阅流程。在开讲变换操作之前，首先要弄清楚Sink的概念，不清楚的同学可以翻看上一篇的分析。简单的来说，在每一次订阅操作之前都会进行一次Sink对流的操作。如果把Rx中的流当做水，那么Sink就相当于每个水管水龙头的滤网，在出水之前进行最后的加工。 Si ...
分类：
编程语言 时间：
2018-05-24 18:22:50
阅读次数：
283
上一篇文章所述的Exactly-Once语义是针对Flink系统内部而言的. 那么Flink和外部系统(如Kafka)之间的消息传递如何做到exactly once呢? 问题所在: 如上图,当sink A已经往Kafka写入了数据,而sink B fail. 根据Flink的exactly once ...
分类：
其他好文 时间：
2018-05-11 17:28:06
阅读次数：
1054
1、SQL INSERT INTO 语句（在表中插入） 2、SQL Delete 语句（删除表中的记录） 3、SQL UPDATE 语句（更新表中的记录）修改 查看。。 ...
分类：
数据库 时间：
2018-05-09 16:44:15
阅读次数：
700
1、错误如下所示，启动flume采集文件到hdfs案例的时候，出现如下所示的错误： 大概是说No channel configured for sink，所以应该是sink哪里配置出现了错误，百度了一下，然后检查了一下自己的配置: 2、解决方法如下所示： 参考链接如https://stackover ...
分类：
Web程序 时间：
2018-05-08 22:26:19
阅读次数：
326
