Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
如果不考虑其他任何问题，只比较速度的话，那肯定是mem快，但他们各有优缺点。文件缓存优点：1、由于现在的硬盘都非常大，所有如果是大数据的时候，放硬盘里就比较合适，比如做一个cms网站，网站里有10万篇文章，生成的文件大小总数可能就会很大。2、数据的存放较为安全，由于是硬盘存放，所以在意外掉电的情况下...
分类：
Web程序 时间：
2014-05-08 20:03:19
阅读次数：
307
因为关注大数据，也写过若干关于大数据的文章，做过若干关于大数据的演讲，所以对有关这一主题的论文和书籍非常有兴趣。过去几年，在这方面读过十几本书，上百篇论文和文章。相对而言，舍恩伯格的《大数据时代》是迄今为止我读过的最好的一本专著，中英文都算上。此书的一大贡..
分类：
其他好文 时间：
2014-05-07 15:24:59
阅读次数：
226
大型网站SEO的特点&优势&挑战 特点
页面数量巨大
SEO流量高，长尾流量占比大
数以百计的Web应用
跨团队、多团队协作
优势
页面内容丰富，数量多（UGC）
域名初始权重高
无需刻意进行link building，用户会主动帮忙进行链接建设和推广
网站安全及性能优化由专业团队负责
挑战
用户内容如何更好地匹配用户搜索Quer...
分类：
Web程序 时间：
2014-05-07 12:26:37
阅读次数：
445
使用.net dataexcel通信搭建一个简单的文件服务器。
通信简单介绍
1，通信使用TCP协议。
2，采用session机制，控制简单通信安全与连接限制防攻击。
3，采用开放协议包格。(32字节数据包)
4，采用网络断开，自动连接机制保证连接。
5，采用压缩机械压缩大数据（比如.net 里面datatable,dataset的传输）。
6，采用事件机制，更容易，更符合.net开发习惯。
7，采用异步传输，较大的连接与并发。
8，采用数据包头，解决粘包。
9，采用命令方式，更容易扩展。
10，采用允许...
分类：
Web程序 时间：
2014-05-07 08:11:20
阅读次数：
494
数据库是程序的仓库，也是程序中最脆弱的一部分，因为它的脆弱性和重要性，所以需要专门进行管理和优化。在如今的网络化的时代更加需要数据库的灵活和快捷，一个高效的数据库能够使程序运行效率更快，提高程序的运行效率。但往往对数据库的设计达不到我们想要的效果，所以数据库的优化显得尤为重要。该系列文章正是考虑大数据量的当今如何才能让数据库的设计更加灵活，数据检索、操作更加高效展开的讨论，其中涉及到的优化...
分类：
数据库 时间：
2014-05-07 06:12:15
阅读次数：
427
n个数，只能用
F[i][j]=(F[i-1][j]+F[i-1][j-1])*j
F[i][j]代表i个数，有j个不同值的情况。比如A
大数模板
#include
#include
const int MAX =505;
struct BigNum
{
int num[MAX];
int len;
} a[51][51];
BigNum Add(...
分类：
其他好文 时间：
2014-05-06 23:06:51
阅读次数：
364
题意：一个A和两个B一共可以组成三种字符串:"ABB","BAB","BBA".
给定若干字母和它们相应的个数,计算一共可以组成多少个不同的字符串.
思路：
(a1+a2+ ... +an)! / a1! / a2! / ... / an! 大数
#include
#include
const int MAX =5...
分类：
其他好文 时间：
2014-05-06 23:05:30
阅读次数：
323
