商业智能(BI，Business Intelligence)是一个从海量数据中发现潜在的、新颖的、有用的知识，用以支持组织的业务运作和管理决策的过程，海量的数据是商业智能提供服务的基础，对这些数据的存储及加工处理在商业智能...
分类：
其他好文 时间：
2015-02-26 18:48:35
阅读次数：
131
之前写了一篇根据模板导入导出Excel文章POI按模板导入导出EXCEL工具类 上代码 import?java.io.File;
import?java.io.FileOutputStream;
import?java.io.IOException;
import?java.io.OutputStream;
import?j...
分类：
其他好文 时间：
2015-02-26 11:58:28
阅读次数：
193
传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断进行拆库拆表，Mem.....
分类：
系统相关 时间：
2015-02-25 18:28:18
阅读次数：
193
1 概述 在某海量数据分析系统中，使用AC多模改进算法做多模匹配，作为数据分类和分发的第一道关口。部署时间较长后，内存占用较大，预处理时间随模式串数量的增加呈指数级增长，到达10W条模式串的时候已经无法正常运行。为满足需求，研究算法性能，在AC改进算法无法打成需求的情况下，研究WM匹配算法并进行改....
分类：
编程语言 时间：
2015-02-24 17:25:07
阅读次数：
427
运维中关键技术点解剖：1 大量高并发网站的设计方案 ；2 高可靠、高可伸缩性网络架构设计；3 网站安全问题，如何避免被黑？4 南北互联问题,动态CDN解决方案；5 海量数据存储架构一、什么是大型网站运维？首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对大型...
分类：
其他好文 时间：
2015-02-23 17:54:56
阅读次数：
242
Wecash闪银是基于互联网海量信息，通过大数据分析技术，聚合形成个人信用码的新科技平台。它是您信用评估、提现的好帮手，评估完成后即授予信用额度，用户可在额度内提取现金，让用户实现快捷获取信用额度、随时提取现金、自主分期还款，Wecash闪银比信用卡门槛更低、速度更快、额度更高、费用更划算，帮用户真...
分类：
其他好文 时间：
2015-02-21 21:01:53
阅读次数：
149
用hbase做数据库,但因为hbase没有类sql查询方式,所以操作和计算数据很不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_s...
分类：
其他好文 时间：
2015-02-19 10:44:36
阅读次数：
220
大数据-哈希教你如何迅速秒杀掉：99%的海量数据处理面试题http://blog.csdn.net/v_july_v/article/details/73826931:importoperator
2:importheapq
3:
4:defhashfiles():
5:
6:files=[]
7:foriinrange(0,10):
8:files.append(file(str(i)+‘.txt‘,‘w‘))
9:
10:queryfil..
分类：
编程语言 时间：
2015-02-17 23:45:37
阅读次数：
178
本栏目（数据挖掘）下海量数据挖掘专题是个人对Coursera公开课海量数据挖掘（2015）的学习心得与笔记。所有内容均来自Coursera公开课Mining Massive Datasets中Jure Leskovec, Anand Rajaraman以及Jeff Ullman老师的讲解。（https://class.coursera.org/mmds-002/lecture）
第1讲---...
分类：
其他好文 时间：
2015-02-16 06:50:14
阅读次数：
373
百度、QQ、360等大公司都拥有上亿的用户量。不仅所有子网站都通过一个账号登录，而且还开放用户平台，提供给其他网站使用。这种级别的数据量和访问量如果不做优化，估计很快就会宕机。这些公司都是一个专门的团队，维护一个注册登录，细节设计的非常优秀。现在粗略谈下他们的设计方案。大数据的时候，压力不在PHP，...
分类：
其他好文 时间：
2015-02-15 19:21:30
阅读次数：
143
