今天主要进行了spark实验六的学习，Spark Streaming 编程初级实践 Flume 是非常流行的日志采集系统，可以作为 Spark Streaming 的高级数据源。请把 Flume Source 设置为 netcat 类型，从终端上不断给 Flume Source 发送各种消息，Flu ...
分类：
其他好文 时间：
2020-02-06 14:42:22
阅读次数：
107
相信有些同学会困扰，当我们执行TransactionScope.Complete()方法的时候，是否Transaction被真正提交到数据库了。 对于这一点，MSDN上有这么一段描述： If the TransactionScope object created the transaction in ...
分类：
其他好文 时间：
2020-02-06 12:59:43
阅读次数：
91
本篇主要是leaflet通过调用geoserver发布的地图服务WFS来达到图层新增记录的目的。与GeoServer的WFS进行基于Rest交互关键就在于请求参数，值得注意的是这些请求最好采用POST方法发送。查询可以采用json，但增加，删除，修改都只能采用XML形式Transaction。最后利... ...
分类：
其他好文 时间：
2020-02-06 12:22:02
阅读次数：
259
今天主要完成了北京市政百姓信件分析实战。 Spark方面只是安装了Flume，以及尝试使用套接字流作为DSteam的数据源。 启动NetCat作为套接字的监听模式，这样在端口9999就能和spark互联。 值得一提，nc -l 9999 虽然也是适用的，-k是为了可以保持多个连接，所以应该还是必要的 ...
分类：
其他好文 时间：
2020-02-05 23:29:47
阅读次数：
86
今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 ...
分类：
其他好文 时间：
2020-02-05 23:06:48
阅读次数：
83
Redis 通过 MULTI、EXEC、WATCH 等命令来实现事务(transaction)功能。事务提供了一种将多个命令请求打包，然后一次性、按顺序地执行多个命令的机制，并且在事务执行期间，服务器不会中断事务而改去执行其他客户端的命令请求，它会将事务中的所有命令都执行完毕，然后才去处理其他客户端 ...
分类：
其他好文 时间：
2020-02-05 20:23:14
阅读次数：
75
1.工作单元(UnitOfWork)是什么？ Maintains a list of objects affected by a business transaction and coordinates the writing out of changes and the resolution of ...
分类：
Web程序 时间：
2020-02-04 18:38:52
阅读次数：
99
1.环境 CDH 5.16.1 Spark 2.3.0 cloudera4 Kafka 2.1.0+kafka4.0.0 2.Log4j—— Flume 2.1 Log4j 产生日志 ~~~ import org.apache.log4j.Logger; / @ClassName LoggerGen ...
分类：
Web程序 时间：
2020-02-04 00:37:16
阅读次数：
104
1、《HBase基础概念知识学习》 https://www.toutiao.com/i6774215329498268164/ 2、《VM安装CentOS6.5》 https://www.toutiao.com/i6739774433692484109/ 3、《HBase基础环境搭建》 https: ...
分类：
其他好文 时间：
2020-02-02 13:35:37
阅读次数：
73
【dump整个库】 1.在shell中使用mysqldump命令dump数据库homework_gnmis ，并保存在homework_gnmis.sql中： mysqldump -uroot -p --single-transaction --databases homework_gnmis > ...
分类：
数据库 时间：
2020-01-29 21:55:54
阅读次数：
101
