一、Spark与Hadoop的关系 Spark和Hadoop只是共用了底层的MapReduce编程模型，即它们均是基于MapReduce思想所开发的分布式数据处理系统。 Hadoop采用MapReduce和HDFS技术，其MapReduce计算模型核心即Map操作和Reduce操作，在这个计算模.....
分类：
其他好文 时间：
2014-09-10 19:12:50
阅读次数：
311
首先介绍下python异步执行，python有两种方法编写异步代码：1、corutines协程（也称为greenlets）2、回调gevent是greenlets的一种实现方式，可以通过pip方便的安装gevent模块。gevent执行方式实际上是代码块的交替执行，具体的可以看下这篇blog，我就不...
分类：
移动开发 时间：
2014-09-10 17:22:50
阅读次数：
499
在工作中遇到需要处理不同精度的数据需要进行运算，然后将处理过的后台数据显示到前台。起初没有考虑到精度处理，只是做了简单的转化，后来发现显示的数据和预期的总有偏差。解决办法：1 后台数据处理是取数据要保持到最高精度，比如在一次运算中有decimal、int、double型的数据，那么结果最好是使用de...
分类：
其他好文 时间：
2014-09-10 12:19:40
阅读次数：
131
大家应该也知道百度搜索结果都会有一个百度快照，这是通过缓存服务器调用出来的页面信息，这样我们就可以通过百度快照快速的浏览网页信息，那么这个缓存服务器跟爬虫又有什么联系么？我们来大致了解一下爬虫的基本原理（个人理解，有错误给予纠正）。首先搜索引擎是不会产生内..
分类：
编程语言 时间：
2014-09-09 18:37:39
阅读次数：
372
这是我第三天学python了，想写一个东西纪念一下吧，于是写了一直爬虫，但是不是好的虫，只能讲网页的关键词存到本地，但是我觉得基本上算是一只小虫了文中用到了BeautifulSoup这个库，目的是处理html文档分析的，因为我只是提取了title的关键字，所以可以用正则表达式代替，还有一个库是jie...
分类：
其他好文 时间：
2014-09-09 17:55:09
阅读次数：
229
当今市面上的存储系统存在若干具有普遍性的问题。通常情况下，数据从外部接口进入，存储引擎则进行数据处理。每种存储引擎均有其各自的特性，可以进行数据应用，或压缩、加密及映射等。在存储引擎处理数据的同时，还要进行应答，并将应答发送给高层应用。为了实现这一点，所有的存储系统均采用某种写缓存来尽可能快地作出应答，使应用得以执行各自的任务。此外，数据处理部分还会产生许多元数据。对每一个进入系统的I/O，元数据处理均如影随形般进行着。显然，也需要元数据存储来辅助数据处理。因此，这两种负载成为了存储系统中的瓶颈：写缓冲缓存...
分类：
其他好文 时间：
2014-09-09 12:45:18
阅读次数：
285
f5负载均衡原理
一、 负载均衡技术
负载均衡技术在现有网络结构之上提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
1. 负载均衡发生的流程图：
1. 客户发出服务请求到VIP
2.BIGIP接收到请求，将数据包中目的IP地址改为选中的后台服务器IP地址，然后将数据包发出到后台选定的服务器...
分类：
其他好文 时间：
2014-09-09 12:42:58
阅读次数：
212
常见问题：①Top K问题：分治+Trie树/Hash_map+小顶堆。采用Hash(x)%M将原文件分割成小文件，如果小文件太大则继续Hash分割，直至可以放入内存。②重复问题：BitMap位图 或 Bloom Filter布隆过滤器 或 Hash_set集合。每个元素对应一个bit处理。③排序问...
分类：
其他好文 时间：
2014-09-09 11:27:08
阅读次数：
272
新建一个UITableView的子类，在其中实现UITableView创建的代理步骤，唯一不同是需要建一个属性数组，用来传递数据然后再ViewController初始化并设置正确的代理对象此方法适用同一个界面多个UITableView使用，好管理数据
分类：
其他好文 时间：
2014-09-09 10:48:58
阅读次数：
220
最近才开始学习Python语言,??在学习视频中发现讲述的函数知识觉得非常不错,所以就写了第一篇Python学习的文章分享给大家.主要内容:1.Python安装与基本输入输出,print()函数和raw_input()函数简单用法.2.讲解函数的基本知识:(1).系统提供内部函数(2).第三方提供函数库:讲解如何安装httplib2第三方函数库,再做了个简单的网页爬虫例子(3).用户自定义函数.希望文章对大家有所帮助,才开始学习python知识,如果文章中有错误或不足之处,还请海涵,也希望大家提出意见与君共...
分类：
编程语言 时间：
2014-09-08 05:23:46
阅读次数：
537
