为了和qq空间同步，也写的第四天，前面几天明天会发布，本来打算把每天学的东西记录下来，通过朋友给的建议要发的话稍微系统化下，从大数据需要的linux基础，到离线数据分析包括hadoop、hive、flume、hbase等,再到实时数据分析包括storm、kafka、redias等，最后的内存计算部分 ...
分类：
系统相关 时间：
2016-11-10 03:13:34
阅读次数：
347
net windows Kafka 安装与使用入门(入门笔记) 完整解决方案请参考： Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题，在这里先列出来，以方便查询： 1. \Java\jre7\lib\ext\QTJav ...
之前学习过RabbitMQ，并且还安装过。安装记录的文章如下： Erlang：http://www.cnblogs.com/charlesblc/p/5512380.html RabbitMQ：http://www.cnblogs.com/charlesblc/p/5516585.html 可见，好 ...
分类：
其他好文 时间：
2016-11-07 12:11:38
阅读次数：
152
转载：http://blog.csdn.net/ligt0610/article/details/47311771 由于目前每天需要从kafka中消费20亿条左右的消息，集群压力有点大，会导致job不同程度的异常退出。原来使用spark1.1.0版本中的createStream函数，但是在数据处理速 ...
在使用kafkahigh-level的consumer，使用多线程消费数据时报错，简单分析一下原因下载，ConsumerIterator取不到消息时会阻塞，并且将内部状态置为FAILED，当其他线程访问时就会抛出异常。Java代码defhasNext():Boolean={if(state==FAILED)//处于FAILED状态时，另外线程访问会直..
分类：
编程语言 时间：
2016-11-06 17:44:08
阅读次数：
225
This is a common question asked by many Kafka users. The goal of this post is to explain a few important determining factors and provide a few simple ...
分类：
其他好文 时间：
2016-11-06 17:02:02
阅读次数：
387
This article is an in-depth tutorial for using Kafka to move data from PostgreSQL to Hadoop HDFS via JDBC connections. Read this eGuide to discover th ...
分类：
数据库 时间：
2016-11-06 16:48:20
阅读次数：
268
转发请注明原文地址：http://www.cnblogs.com/dongxiao-yang/p/6031398.html 最近协助同事优化一个并发消费kafka数据用来计算的任务，压测过程中发现有两个spout对应的topic消费速度明显低于其他topic的指标，每个spout分配10个并发消费速 ...
分类：
其他好文 时间：
2016-11-04 20:51:09
阅读次数：
549
producer接口： /** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed ...
分类：
其他好文 时间：
2016-11-04 20:50:50
阅读次数：
651
