这篇笔记是我在读《Windows核心编程》第5版时做的记录和总结(部分章节是第4版的书),没有摘抄原句,包含了很多我个人的思考和对实现的推断,因此不少条款和Windows实际机制可能有出入,但应该是合理的。开头几章由于我追求简洁,往往是很多单独的字句,后面的内容更为连贯。
海量细节。第1章错误处.....
分类:
Windows程序 时间:
2014-07-22 23:13:35
阅读次数:
1040
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭
随着BIG
DATA大数据概念逐渐升温,如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间...
分类:
其他好文 时间:
2014-05-12 17:06:14
阅读次数:
396
最近在写基于海量点云数据建模程序时,碰到一个效率问题;整个建模过程是管道线方式,这里简单地看作是两步,第一步就是生成所需的数据,第二步即是基于这些生成的数据建模;目前所做的工作就是写第二步,第一步的操作不需要变动,这就造成每次对第二步进行修改(再编译链接后执行)后,重新生成所需数据,而这个生成过程是相当缓慢的,从而给开发调试阶段造成极大的时间浪费。
于是就想到了对象序列化,而对象序列化有好几种方...
分类:
其他好文 时间:
2014-05-10 09:15:15
阅读次数:
299
1. 科普
通用搜索引擎处理的对象是互联网的网页,目前网页的数量数以亿计,所以搜索引擎面临的第一个问题是如何设计出高效的下载系统,已将海量的网页下载到本地,在本地形成互联网网页的镜像。网络爬虫就是担当此大任的。
抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏...
分类:
编程语言 时间:
2014-05-07 02:41:56
阅读次数:
368
参考书籍: Hadoop in action, 吴超沉思录1.Hbase简介
1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5.
sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类:
其他好文 时间:
2014-05-07 00:35:59
阅读次数:
424
iTOP-4412精英版搭载三星Exynos四核处理器,配备1GB内存,4GB固态硬盘EMMC存储,兼具快速读取与超大容量,纵使海量思考也能及时处理。独家配备三星S5M8767电源管理,最优架构!...
分类:
其他好文 时间:
2014-05-06 18:44:13
阅读次数:
392
本文为4月29日微信公开课(北京站)微信产品部演讲全文速记,讲述了微信官方对微信、微信支付、O2O的定义与关联等问题的看法与观点。作者:微信产品部 刘涵涛 吴毅
去年夏天有一个全民打飞机的盛况,这实际上是微信的第一款社交类手游,它通过微信大平台的海量用户,一上线之后就有过亿的用户,甚至在淘宝上面.....
分类:
微信 时间:
2014-05-06 12:10:25
阅读次数:
940
使用hbase的目的是为了海量数据的随机读写,但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题,而且hbase的数据是存储在Hdfs,而Hdfs是面向流失数据访问进行设计的,就难免带来效率的下降。下面介绍一下Facebook
Message系统在HBase online storage场...
分类:
其他好文 时间:
2014-05-04 11:08:29
阅读次数:
337
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:
其他好文 时间:
2014-05-03 01:53:48
阅读次数:
519