大数据日知录：架构与算法
跳转至：
导航、
搜索
目录
1
当谈论大数据时我们在谈论什么2
数据分片与路由3
数据复制与一致性4
大数据常用算法与数据结构5
集群资源管理与调度6
分布式协调系统7
分布式通信8
数据通道9
分布式文件系统10
内存KV11
列式数据库12
大规模批处理13
流式计算14
交互式数据分...
分类：
编程语言 时间：
2014-10-27 21:24:29
阅读次数：
341
??
一、从Map到Reduce
MapReduce其实是分治算法的一种实现，其处理过程亦和用管道命令来处理十分相似，一些简单的文本字符的处理甚至也可以使用Unix的管道命令来替代，从处理流程的角度来看大概如下：
cat input | grep | sort | uniq -c | cat > output
# Input -> Map -> Shuffle & Sort -> R...
分类：
其他好文 时间：
2014-10-26 17:06:35
阅读次数：
278
处理流程：快速二值化（区域）->获取区域边缘->截取边缘->膨胀边缘区域（定位）->定位区域进行边缘检测->边缘分割：线和圆->选择属性为圆的弧->拟合圆*读取图像read_image (Image, 'double_circle')dev_close_window ()get_image_size...
分类：
其他好文 时间：
2014-10-24 16:09:56
阅读次数：
921
在网上看到一个题目：
给定一个字符串的集合，格式如：。要求将其中交集不为空的集合合并，要求合并完成的集合之间无交集，例如上例应输出。
(1) 请描述你解决这个问题的思路；
(2) 给出主要的处理流程，算法，以及算法的复杂度；
(3) 请描述可能的改进。
其中一个解决方案是使用并查集，（数据结构中有，但已经忘了囧） 所以，百度了一下，主要参考了一个博主的
文章ht...
分类：
编程语言 时间：
2014-10-20 21:25:36
阅读次数：
181
IO流
1.流的分类：
按照数据流向的不同：输入流 输出流
按照处理数据的单位的不同：字节流(处理二进制文件) 字符流（处理的文本文件）
按照角色的不同：节点流（直接作用于文件的） 处理流(作用于节点流或处理流)
2.IO的体系
抽象基类 >>节点流（文件流） >> 缓冲流（处理流的一种）
InputStream >> FileInputStre...
分类：
其他好文 时间：
2014-10-19 15:40:44
阅读次数：
188
本篇文章分析飞鸽传书对不同类型窗口消息的处理流程和机制，以及虚函数在飞鸽传书在的应用。...
分类：
其他好文 时间：
2014-10-19 11:35:37
阅读次数：
122
State Threads——异步回调的线性实现原文链接：http://coolshell.cn/articles/12012.html本文的标题看起来有点拗口，其实State Threads库就是在单线程中使用同步编程思想来实现异步的处理流程，从而实现单线程能并发处理成百上千个请求，而且每个请求的...
分类：
其他好文 时间：
2014-10-16 03:30:11
阅读次数：
599
在企业中处理业务数据，最好的方案是使用业务系统。业务系统可以基于复杂的业务逻辑处理大量数据，并支持多人协作处理流程性的工作，对支撑企业运营非常重要。同时由于业务系统的复杂性很高，一点小小的改变也需要较大成本，在核心业务没有发生改变的情况下，从不同纬度查看数据之类的小改变就不必去修改业务系统了。另外....
分类：
其他好文 时间：
2014-10-14 23:06:59
阅读次数：
208
企业应用中的URL链接（包括自定义菜单或者消息中的链接），可以通过OAuth2.0来获取员工的身份信息。
注意，此URL的域名，必须完全匹配企业应用设置项中的'可信域名'，否则获取用户信息时会返回50001错误码。
可信域名设置不包含"http://",只需域名或IP即可。
OAuth2验证可以使用多种方式，此处使用注解方式。设计思路是在需要获取用户信息的GET请求上添加注解，然后在调用的时候判断是否包含此注解，然后做处理流程。
每次请求包含2种情况：
1.不需要获取用户信息，直接跳转到指定视图；
2.需要...
分类：
微信 时间：
2014-10-09 15:20:18
阅读次数：
556
Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为：引擎打开一个域名，蜘蛛处理这个域名，然后获取第一个待爬取的URL。引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。引擎从调度那获取接下来进行爬取的页面。调度将下一个爬取的URL返回给引擎，引擎将他们通...
分类：
其他好文 时间：
2014-10-01 08:08:30
阅读次数：
427
