android适配器simpleadapter和baseadapter设计网络程序或者数据处理显示程序的时候,常常会使用simpleadapter和baseadapter来实现。adapter是适配器模式,是数据和界面之间的桥梁。baseadapter是一个抽象的类,要使用必需为其定义子类并实现相关...
分类:
移动开发 时间:
2014-08-04 01:40:56
阅读次数:
364
SQL Server死锁总结 ??1.?死锁原理 ????根据操作系统中的定义:死锁是指在一组进程中的各个进程均占有不会释放的资源,但因互相申请被其他进程所站用不会释放的资源而处于的一种永久等待状态。 ????死...
分类:
其他好文 时间:
2014-08-03 18:14:46
阅读次数:
332
Apache Crunch是FlumeJava的实现,为不太方便直接开发和使用的MapReduce程序,开发一套MR流水线,具备数据表示模型,提供基础原语和高级原语,根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看,Crunch提供的许多计算原语,可以在Spark、Hive、Pig等地方找到很多相似之处,而本身的数据读写,序列化处理,分组、排序、聚合的实现,类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类:
其他好文 时间:
2014-08-03 18:02:06
阅读次数:
267
第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法, 比如模1000,把整个大文件映射为1000个小文件,再找出每个小文...
分类:
编程语言 时间:
2014-08-03 17:33:25
阅读次数:
345
千万级的注册用户,千万级的帖子,nTB级的附件,还有巨大的日访问量,大型网站采用什么系统架构保证性能和稳定性?
首先讨论一下大型网站需要注意和考虑的问题。
数据库海量数据处理:负载量不大的情况下select、delete和update是响应很迅速的,最多加几个索引就可以搞定,但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下,更新一个...
分类:
Web程序 时间:
2014-08-03 15:21:45
阅读次数:
1007
1. Bloom-Filter算法简介Bloom Filter(BF)是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。它是一个判断元素是否存在于集合的快速的概率算法。Bloom Filter有可能会出现错误判断,但不会漏掉判断。也就是Bloom ...
分类:
其他好文 时间:
2014-08-03 15:01:15
阅读次数:
207
一、Bloom?filter 适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集 基本原理及要点: 对于原理来说很简单,位数组+k个独立hash函数。将hash函数对应的值的位数组置1,查找时如果发现所有h...
分类:
其他好文 时间:
2014-08-01 16:21:22
阅读次数:
286
一.扩展名:.aspx:窗体文件,为前台程序。.cs文件:类文件,主要为后台数据处理,供所有的.aspx文件的后台应用。.asmx文件:用于创建从其他应用程序使用的web服务的类。.css文件:样式表单,设置界面的整体风格。二.特殊文件夹:App_Browers:包含标识个别浏览器,并确定其功能的浏...
分类:
Web程序 时间:
2014-07-31 12:32:16
阅读次数:
297
守护进程和supervisor
前言
接触守护进程已经很久了,但是在工作中有时候却经常忘记它。这次是在需要后台跑一个十几万的数据处理工作,耗时较长的时候,习以为常的通过&将脚本放到后台去执行,将标准输出和错误输出重定向到日志文件。然后干其他的事情,却发现进程莫名奇妙的死掉,即使已经在所有可能出现异常的地方都比较注意,然后在合适的地方加上了try except这样的异常处理。但是任何异常...
分类:
其他好文 时间:
2014-07-31 09:57:16
阅读次数:
231
关键字?概念?类型?异常处理一 概念游标是SQL的一个内存工作区,由系统或用户以变量的形式定义。游标的作用就是用于临时存储从数据库中提取的数据块。在某些情况下,需要把数据从存放在磁盘的表中调到计算机内存中进行处理,最后将处理结果显示出来或最终写回数据库。这样数据处理的速度才会提高,否则频繁的磁盘数据...
分类:
数据库 时间:
2014-07-30 23:29:05
阅读次数:
408