最近 有网友看我的“整合Kafka到Spark Streaming——代码示例和挑战”文章,
讲 kafka对象 放到 pool 并通过broadcast广播出去:
然后 在开发测试阶段 报错如下:
然后就找我,说“代码都跟你的差不多呀,为什么就报这个错呢?”
其实 对于广播操作,spark 肯定要序列号的,还有尽量不要把大对象广播出去,
后来 把代码要过来看了下,发现 creat...
分类:
编程语言 时间:
2015-08-11 16:14:24
阅读次数:
173
mysql分区:
mysql分区是根据某个分区键(区间值,特定值列表,或者hash函数值)执行数据的聚集,让数据根据规则分布在不同的分区中,让一些大对象变成小对象。
mysql分区适用于一个表中的所有数据和索引,不能只对表数据分区而不对索引分区,反过来也是一样的,不能只对索引分区而不对表分区,同时也不能只对表的一部分数据进行分区。mysql分区表上创建的索引一定是本地local索引。
...
分类:
数据库 时间:
2015-08-04 19:22:10
阅读次数:
152
1、标记清除算法:首先标记出所有需要回收的对象,在标记完成后统一回收掉所有被标记的对象。缺点是效率问题和产生大量不连续的内存碎片,导致程序后期需要分配大对象时无法找到足够的连续内存而不得不提前出发另一次垃圾收集动作。
2、复制算法:将可用内存划分为大小相等的两块,每次只使用其中的一块,当这一块的内存用完了,就将还存活着的对象复制到另一块上面,然后再把已使用过的内存空间一次清理掉。
3、标记整理...
分类:
编程语言 时间:
2015-07-31 22:04:39
阅读次数:
170
垃圾收集器用到的垃圾收集算法标记-清除(Mark-Sweep)算法:首先标记出所有需要回收的对象,在标记完成后统一回收所有被标记的对象。它主要有两个缺点:一个是效率问题,标记和清楚过程的效率都不高;另外一个是空间问题,标记清楚后会产生大量不连续的内存碎片,空间碎片太多可能会导致,当程序在以后的运行过程中需要分配较大对象时无法找到足够连续的内存空间而不得不提前出发另一次垃圾收集动作。执行过程如下图所示...
分类:
编程语言 时间:
2015-07-27 23:02:17
阅读次数:
172
一、sizeof sizeof(...)是运算符,在头文件中typedef为unsigned int,其值在编译时即计算好了,参数可以是数组、指针、类型、对象、函数等。它的功能是:获得保证能容纳实现所建立的最大对象的字节大小。由于在编译时计算,因此sizeof不能用来返回动态分配的内存空间的大小。实...
分类:
其他好文 时间:
2015-07-21 21:54:08
阅读次数:
104
3.1 何为内核对象3.1.1 Windows平台上的3大对象(1)分类对象描述备注GUI对象也叫用户对象,一般是单线程访问,属于线程级的对象,如加速键表(HACCEL)、插入记号(Caret)、光标(HCURSOR)、桌面(HDESK)、钩子(HHOOK)、图标(HICON)、菜单(HMENU)、...
分类:
其他好文 时间:
2015-07-16 00:41:28
阅读次数:
198
UIWindowiOSUIWindowUIWindows介绍UIWindows创建过程代码创建storyboard创建四大对象的关系图参考UIWindows介绍UIWindow是一种特殊的UIView,通常在一个app中只会有一个UIWindow。iOS程序启动完毕后,创建的第一个视图控件就是UIW...
一、sizeof
sizeof(...)是运算符,sizeof操作符的结果类型是size_t,它在头文件中typedef为unsigned int类型。 其值在编译时即计算好了,
参数可以是数组、指针、类型、对象、函数等。
功能是:获得保证能容纳实现所建立的最大对象的字节大小。
由于在编译时计算,因此sizeof不能用来返回动态分配的内存空间...
分类:
其他好文 时间:
2015-07-10 15:14:24
阅读次数:
115
程序启动四大对象(UIApplication,AppDelegate)一、UIApplication1.什么是UIApplication? ?UIApplication对象是应用程序的象征 ?每一个应用都有自己的UIApplication对象,而且是单例的 ?通过[UIApplication sha...
分类:
其他好文 时间:
2015-07-07 00:47:02
阅读次数:
120
一、sizeofsizeof(...)是运算符,在头文件中typedef为unsignedint,其值在编译时即计算好了,参数可以是数组、指针、类型、对象、函数等。它的功能是:获得保证能容纳实现所建立的最大对象的字节大校由于在编译时计算,因此sizeof不能用来返回动态分配的内存空间的大校实际上,..
分类:
其他好文 时间:
2015-07-04 23:39:26
阅读次数:
206