定制avro schema: 创建producer发送对象： 读取schema文件为Schema对象： 解析schema文件 使用Schema对象生成record存储器，并对存储进行序列化： 通过producer发送数据到topic: 打印结果： ...
分类：
其他好文 时间：
2018-07-04 01:03:26
阅读次数：
289
提交消费kafka应用里面包含sasl.jaas.config，通常需要配置文件。但是打成jar包后的应用，通过classload读不到jar包中配置文件。需要初始化kafka时增加properties属性。kafkaParams.put("sasl.jaas.config", "xxxx required\n"+
分类：
其他好文 时间：
2018-06-28 20:22:39
阅读次数：
461
云：你想多快就多快！ Mycat 数据库分库分表中间件 华为云 分布式数据库中间件DDM 分布式数据库Mycat开发镜像 想要spring cloud、hardoop、spark、python爬虫的开发镜像，请不要吝啬你的分享，非常感谢！！！ 项目ID: 68ef4291e39f4611bbbf15 ...
分类：
其他好文 时间：
2018-06-28 15:20:32
阅读次数：
231
挂起(suspend)与线程阻塞工具类LockSupport 一般来说是不推荐使用suspend去挂起线程的,因为suspend在导致线程暂停的同时,并不会去释放任何锁资源. 如果其他任何线程想要访问被它暂用的锁时,都会被牵连,导致无法正常继续运行. 直到对应的线程上进行了resume操作. 并且, ...
分类：
编程语言 时间：
2018-06-24 23:55:26
阅读次数：
214
但是在 spark-sql中，concat_ws（）中，被连接的对象并不一定为string，也可以是int （unix_timestamp（）返回的是bigint类型） ...
分类：
数据库 时间：
2018-06-20 15:41:09
阅读次数：
1239
转自：https://blog.csdn.net/high2011/article/details/52132646 一、在命令行使用命令查看 (1)查看日志：yarn logs -applicationId application_1469094096026_26612 (2)查看状态：yarn ...
分类：
其他好文 时间：
2018-06-19 13:58:26
阅读次数：
260
1、Redis的官网：https://redis.io/ Redis的测试网站：http://try.redis.io/ 2、参考博客：https://www.cnblogs.com/mafly/p/redis_cluster.html http://blog.mayongfa.cn/258.htm ...
分类：
其他好文 时间：
2018-06-12 20:14:18
阅读次数：
270
Caffe 全称为 Convolutional Architecture for Fast Feature Embedding，是一个被广泛使用的开源深度学习框架（在 TensorFlow 出现之前一直是深度学习领域 GitHub star 最多的项目)，目前由伯克利视觉学中心（Berkeley V ...
分类：
其他好文 时间：
2018-06-12 16:28:13
阅读次数：
177
前言 1.操作系统为Centos7 2.所有操作都是使用root用户去操作。也可以使用其他用户，非root的话要注意操作的权限问题。 3.安装的Hadoop版本是2.6.5，Spark版本是2.2.0，Scala的版本是2.11.8。因为我安装的Spark要同Hadoop搭配工作，所以需要注意他们之 ...
分类：
系统相关 时间：
2018-06-09 14:40:26
阅读次数：
238
commit注释可以加图标 参考：https://gitmoji.carloscuesta.me/ :memo:update file :sparkles:add file :tada:Initial commit ...
分类：
其他好文 时间：
2018-06-06 18:28:37
阅读次数：
185
