结构:nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题,在两个kafka之间加了个flume,蛋疼。。)现象:在第二层,写入kafka的topic和读取的kafka的topic相同,手动设定的sinktopic不生效打开debug日志:source实例化:21Apr201519:24:03,146INFO[conf-file-poll..
分类:
Web程序 时间:
2015-04-26 01:47:52
阅读次数:
765
linux下的epoll(7)函数,其有着良好的就绪事件通知机制。Epoll 是被linux2.6开始引进的,但是不被其他的类UNIX系统支持,它提供了一种类似select或poll函数的机制:a. Select(2)只能够同时管理FD_SETSIZE(默认为1024)数目的文件描述符,并且必须遍历...
分类:
其他好文 时间:
2015-04-25 00:08:45
阅读次数:
141
在前面已经经过了PPC、TPC、select之类( TPC就是使用进程处理data,TPC就是使用线程处理 ),前面两个的缺点大家应该都是知道的是吧,对于select( 其实poll和他差不多 ),缺点是能同时连接的fd是在是不多,在linux中一般是1024/2048,对于很大的服务器来说是不够的!当然我们可以自己修改其值!但是效率上就会下降!
对于改进poll的epoll来...
分类:
其他好文 时间:
2015-04-23 15:43:45
阅读次数:
179
首先,在polls/detail.html里添加:{{ poll.question }}{% if error_message %} {{ error_message }}{% endif %}{% csrf_token %}{% for choice in poll.choice_set.a...
分类:
移动开发 时间:
2015-04-20 20:28:27
阅读次数:
202
对于select和poll,其主要原理跟epoll不同poll和select的共同点就是,对全部指定设备(fd)都做一次poll,当然这往往都是还没有就绪的,那就会通过回调函数把当前进程注册到设备的等待队列,如果所有设备返回的掩码都没有显示任何的事件触发,就去回调函数的函数指针,进入有限时的睡眠状态...
分类:
其他好文 时间:
2015-04-19 22:43:02
阅读次数:
138
Erlang R17版本以上,按以前的方法启动tv、appmon等工具,出现如下错误:
kernel-poll not supported; "K" parameter ignored
Erlang/OTP 17 [erts-6.4] [64-bit] [smp:4:4] [async-threads:10]
Eshell V6.4 (abort with ^G)
(rolong@127.0...
分类:
移动开发 时间:
2015-04-13 16:41:46
阅读次数:
425
一旦数据模型创建完毕, 自然会有存取数据的需要.本文档介绍了由 models 衍生而来的数据库抽象API,及如何创建,得到及更新对象.贯穿本参考, 我们都会引用下面的民意测验(Poll)应用程序:class Poll(models.Model): slug = models.SlugField...
分类:
数据库 时间:
2015-04-10 17:47:48
阅读次数:
253
先来看内存池的实现,nginx的内存池实现的非常简单。这里内存池的一些图表可以看老朱同学的slides :http://blog.zhuzhaoyuan.com/2009/09/nginx-internals-slides-video/当内存池初始化的时候(下面会分析到)ngx_poll_s只相当于...
分类:
其他好文 时间:
2015-04-07 15:12:57
阅读次数:
223
本文将讨论网络编程中的高级I/O复用技术,将从下面几个方面进行展开:
a. 什么是复用技术呢?
b. 什么情况下需要使用复用技术呢?
c. I/O的复用技术的工作原理是什么?
d. select, poll and epoll的实现机制,以及他们之间的区别。...
分类:
其他好文 时间:
2015-04-06 21:54:39
阅读次数:
239
举例说明:老师收学生作业,相当于应用层调用I/O操作。1、老师逐个收学生作业,学生没有做完,只能阻塞等待,收了之后,再去收下一个学生的作业。这显然存在性能问题。2、怎么解决上面的问题?老师找个班长,班长负责收作业,班长的做法是:遍历问学生作业写好了吗,写好的,收起来交给老师。休息一会,再去遍历。。。...
分类:
其他好文 时间:
2015-04-04 12:11:03
阅读次数:
121