今天学习的是是2个log的文件,2个文件的实现功能都超出我原本理解的意思。开始时我以为就是记录不同的类型的日志,后来才慢慢的明白了额,slowLog记录的是超时的查询记录,而hyperloglog其实跟日志一点关系都没有,好吧,我再一次傻眼了,他其实是一种基数统计算法,应该分开了看,hyper + loglog的计算。好,接下来,我们开始学习一下Redis代码中是如何实现的。
sl...
分类:
其他好文 时间:
2014-11-02 09:27:14
阅读次数:
248
近两年来,云计算产业发展迅猛,被称为ICT领域下一个金矿。几乎ICT产业内的所有参与者都开始涉足云计算领域。运营商、IT厂商、通信厂商、IT服务提供商、电信服务提供商、软件厂商、系统厂商……纷纷出台云计算定战略。近来,围绕云计算的并购频出,云计算产业达到了空前的热度。
云计算是一种全新共享基础架构的方法,是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算...
分类:
其他好文 时间:
2014-10-31 13:56:20
阅读次数:
210
numpy安装1、下载numpy,网址为:http://www.scipy.org/scipylib/download.html。2、系统更新。[myhaspl@localhost ~]$ su密码:[root@localhost myhaspl]# yum install update3、安装相关工具。[root@localhost myhaspl]# yum install wget[root...
分类:
其他好文 时间:
2014-10-30 13:39:42
阅读次数:
219
最近本人对各种分布式计算平台研究的比较火热,上周的时间简单了了解了Storm的用法,今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台,Spark,跟Hadoop属于同类型的。Spark和Storm一样,作为最近才刚刚开源出来的一个项目,学习的资料相当少,大家都还在学习阶段,所以,我目前的学习的情况也只是限于比较粗糙的学习。
Spark是一个开源的通用并行分布式计...
分类:
其他好文 时间:
2014-10-27 23:10:00
阅读次数:
345
大数据日知录:架构与算法
跳转至:
导航、
搜索
目录
1
当谈论大数据时我们在谈论什么2
数据分片与路由3
数据复制与一致性4
大数据常用算法与数据结构5
集群资源管理与调度6
分布式协调系统7
分布式通信8
数据通道9
分布式文件系统10
内存KV11
列式数据库12
大规模批处理13
流式计算14
交互式数据分...
分类:
编程语言 时间:
2014-10-27 21:24:29
阅读次数:
341
自1999年创立以来,Apache软件基金会如今已成了众多重要的开源软件项目之家。其中成功的项目有Geronimo,有Tomcat,有Hadoop,有如今成了大数据王国关键车毂的分布式计算系统。 虽然Apache没有去维护有关下载量的完备统计数字,但是像Apache HTTP Server,已成为....
分类:
Web程序 时间:
2014-10-23 16:04:35
阅读次数:
367
编程开发本质是运用程序和计算机来解决现实中的各种问题,因此,编程开发人员的才智发挥载体是计算机或者说计算设备,直接武器是程序。程序员用来进行编程开发所需要的技能,归结起来主要如下: 1. 理解计算模型和框架:顺序计算、并发计算(并行计算、分布式计算); 理解应用所基于的计算模型和框架是非常重要...
分类:
其他好文 时间:
2014-10-20 20:50:54
阅读次数:
149
前言 本文大致介绍下Hadoop的一些背景知识,为后面深入学习打下铺垫。什么是Hadoop Hadoop是一个开源分布式计算平台,它以HDFS文件系统和MapReduce计算架构为核心。 前者能够让用户使用一些廉价的硬件搭建出分布式系统,后者则能够让用户在不需要过多了解底层架构细节的情况下,开...
分类:
其他好文 时间:
2014-10-18 18:09:35
阅读次数:
231
根据超市的销售清单,采用hadoop中的mapreduce计算商品之间的关联程度(即统计同时买A商品和B商品的次数)...
分类:
其他好文 时间:
2014-10-17 15:38:03
阅读次数:
213
并行计算是一台计算机,配备有多处理机,多处理机之间进行合同协作计算,最终结果由一台计算机处理分布式计算是多台联网的计算机,有各自的主机和处理器,通过网络分配共享计算任务和计算信息云计算,指计算机通过网络发送计算命令给服务器,让服务器执行计算任务并将结果返还给发送命令的计算机关系的话,以计算机用户来说...
分类:
其他好文 时间:
2014-10-17 02:00:43
阅读次数:
302