简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
在mongodb里面存在另一种集群，就是分片技术，跟sql server的表分区类似，我们知道当数据量达到T级别的时候，我们的磁盘，内存就吃不消了，针对这样的场景我们该如何应对。一：分片 mongodb采用将集合进行拆分，然后将拆分的数据均摊到几个片上的一种解决方案。下面我对这张图解释一下： ...
分类：
数据库 时间：
2014-12-25 20:03:33
阅读次数：
179
>>> t=range(10)>>> t[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]>>> t[1:4]=['a']>>> t[0, 'a', 4, 5, 6, 7, 8, 9]>>> t[2:2]=[]>>> t[0, 'a', 4, 5, 6, 7, 8, 9]>>> t[2:3...
分类：
其他好文 时间：
2014-12-22 19:23:46
阅读次数：
161
一、MySQLFabric高可用集群中一台数据库崩溃了，不影响数据的完整性1.测试前准备a）查看group_id-1集群组的服务器状态mysqlfabricgrouplookup_serversgroup_id-1返回结果：Command:
{success=True
return=[{‘status‘:‘PRIMARY‘,‘server_uuid‘:‘7a45f71d-7934-11e4-9e8c-782bcb7..
分类：
数据库 时间：
2014-12-22 14:38:52
阅读次数：
249
我们接下来就看和业务息息相关的解码器，首先我们来看FrameDecoder，这个东西应该是所有的解码器都会实现这个，所以我们来重点看一下。 FrameDecoder产生的根源就是TCP/IP数据包的传输方式决定的，包在传输的过程中会分片和重组，正如javadoc里面所说的： 客户端在发送的时候...
分类：
Web程序 时间：
2014-12-19 18:53:09
阅读次数：
201
对于mongoDB而言，学习方式和学习关系型数据库差不太多開始都是学习怎样insert、find、update、remove，然后就是分页、排序、索引，再接着就是主从复制、副本集、分片等等最后就是通过它提供的各个驱动（比方Java、PHP、node.js等等）来练习所谓的高级使用方法另外：相对于Or...
分类：
数据库 时间：
2014-12-18 16:54:23
阅读次数：
187
twemproxy又叫netcracker，是一个高性能的协议路由器（代理服务器），可用于memcached/redis集群，支持数据分片。在国外兜了一圈也没发现有人对其进行rpm打包，估计大家都在等redis3.0cluster吧。于是研究了一下，顺手写了个spec文件。编译安装对autoconf和m4有版本要求，所以..
分类：
其他好文 时间：
2014-12-14 10:45:41
阅读次数：
492
前言数据在分片时，典型的是分库分表，就有一个全局ID生成的问题。单纯的生成全局ID并不是什么难题，但是生成的ID通常要满足分片的一些要求：不能有单点故障。以时间为序，或者ID里包含时间。这样一是可以少一个索引，二是冷热数据容易分离。可以控制ShardingId。比如某一个用户的文章要放在同一个分片内...
分类：
其他好文 时间：
2014-12-13 06:07:09
阅读次数：
174
第二部分片头动画
首先在visula studio 下创建新工程
工具类ConstUtil.h，该文件主要定义了一些图片资源、字符串、字体等
#ifndef __CONSTUTIL_H__
#define __CONSTUTIL_H__
//定义了诚迈科技四张图片资源，由于在诚迈科技，就用公司名称做动画吧
#define CHENG_IMAGE "ch...
分类：
其他好文 时间：
2014-12-12 22:12:45
阅读次数：
337
1.压缩和输入分片 Hadoop中文件是以块的形式存储在各个DataNode节点中，假如有一个文件A要做为输入数据，给MapReduce处理，系统要做的，首先从NameNode中找到文件A存储在哪些DataNode中，然后，在这些DataNode中，找到相应的数据块，作为一个单独的数据分块，作为ma...
分类：
其他好文 时间：
2014-12-11 15:22:37
阅读次数：
185
