码迷,mamicode.com
首页 >  
搜索关键字:海量    ( 3302个结果
【转】《windows核心编程》读书笔记
这篇笔记是我在读《Windows核心编程》第5版时做的记录和总结(部分章节是第4版的书),没有摘抄原句,包含了很多我个人的思考和对实现的推断,因此不少条款和Windows实际机制可能有出入,但应该是合理的。开头几章由于我追求简洁,往往是很多单独的字句,后面的内容更为连贯。 海量细节。第1章错误处.....
分类:Windows程序   时间:2014-07-22 23:13:35    阅读次数:1040
社会化海量数据采集爬虫框架搭建
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭 随着BIG DATA大数据概念逐渐升温,如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间...
分类:其他好文   时间:2014-05-12 17:06:14    阅读次数:396
对象序列化之Boost.Serialization
最近在写基于海量点云数据建模程序时,碰到一个效率问题;整个建模过程是管道线方式,这里简单地看作是两步,第一步就是生成所需的数据,第二步即是基于这些生成的数据建模;目前所做的工作就是写第二步,第一步的操作不需要变动,这就造成每次对第二步进行修改(再编译链接后执行)后,重新生成所需数据,而这个生成过程是相当缓慢的,从而给开发调试阶段造成极大的时间浪费。 于是就想到了对象序列化,而对象序列化有好几种方...
分类:其他好文   时间:2014-05-10 09:15:15    阅读次数:299
python网络爬虫(一):网络爬虫科普与URL含义
1. 科普 通用搜索引擎处理的对象是互联网的网页,目前网页的数量数以亿计,所以搜索引擎面临的第一个问题是如何设计出高效的下载系统,已将海量的网页下载到本地,在本地形成互联网网页的镜像。网络爬虫就是担当此大任的。 抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏...
分类:编程语言   时间:2014-05-07 02:41:56    阅读次数:368
Hbase学习笔记(安装和基础知识及操作)
参考书籍: Hadoop in action, 吴超沉思录1.Hbase简介 1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5. sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类:其他好文   时间:2014-05-07 00:35:59    阅读次数:424
迅为震撼推出iTOP-4412精英版|Cortex-A9开发板|ARM开发板|嵌入式开发板
iTOP-4412精英版搭载三星Exynos四核处理器,配备1GB内存,4GB固态硬盘EMMC存储,兼具快速读取与超大容量,纵使海量思考也能及时处理。独家配备三星S5M8767电源管理,最优架构!...
分类:其他好文   时间:2014-05-06 18:44:13    阅读次数:392
微信公开课(北京站)速记 微信、微信支付、O2O的定义与关联
本文为4月29日微信公开课(北京站)微信产品部演讲全文速记,讲述了微信官方对微信、微信支付、O2O的定义与关联等问题的看法与观点。作者:微信产品部 刘涵涛 吴毅 去年夏天有一个全民打飞机的盛况,这实际上是微信的第一款社交类手游,它通过微信大平台的海量用户,一上线之后就有过亿的用户,甚至在淘宝上面.....
分类:微信   时间:2014-05-06 12:10:25    阅读次数:940
hbase 学习(十四) Facebook针对hbase的优化方案分析
使用hbase的目的是为了海量数据的随机读写,但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题,而且hbase的数据是存储在Hdfs,而Hdfs是面向流失数据访问进行设计的,就难免带来效率的下降。下面介绍一下Facebook Message系统在HBase online storage场...
分类:其他好文   时间:2014-05-04 11:08:29    阅读次数:337
Hadoop初学指南(5)--MapReduce入门
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:其他好文   时间:2014-05-03 01:53:48    阅读次数:519
Java堆排序,取得前TopN个数
java 堆排序 ,取得海量数据的前N个值...
分类:编程语言   时间:2014-04-29 13:17:21    阅读次数:342
3302条   上一页 1 ... 328 329 330 331 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!