dataguru访问地址：http://f.dataguru.cn/?fromuid=99611课程优惠码：C4B6这段时间一直在dataguru（炼数成金）上学习《hadoop数据分析平台（第十四期）》，说说我对炼数成金的印象。最开始听说dataguru是通过它的广告邮件中的链接，发送的对象是it...
分类：
其他好文 时间：
2014-05-08 21:19:30
阅读次数：
727
Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
数据仓库技术包括数据清理、数据集成和联机分析处理（OLAP）OLAP是一种分析技术，具有汇总，合并和聚集功能，以及从不同的角度观察信息的能力。但，对于深层次的分析，如数据分类，聚类和数据随时间变化的特征，仍然需要其他
分析工具。尽管市场上已有许多“数据挖掘系统”，但是并非所有的 都能进行真正的数据挖...
分类：
其他好文 时间：
2014-05-08 20:18:07
阅读次数：
323
如果不考虑其他任何问题，只比较速度的话，那肯定是mem快，但他们各有优缺点。文件缓存优点：1、由于现在的硬盘都非常大，所有如果是大数据的时候，放硬盘里就比较合适，比如做一个cms网站，网站里有10万篇文章，生成的文件大小总数可能就会很大。2、数据的存放较为安全，由于是硬盘存放，所以在意外掉电的情况下...
分类：
Web程序 时间：
2014-05-08 20:03:19
阅读次数：
307
今天是上课的第一天。真心很感激导师能让我出来学习。今天突然觉得自己要好好学习英语。并不是上课的时候我看不懂裴教授的课件。而是觉得如果英语不好就很像乡巴佬那样，很难接触到高级的东西。
通过今天的听讲，我感觉对数据挖掘的理解更深刻些。 以前总觉得自己研究生的目标是要好好学习算法，好好学习相关的技术。.....
分类：
其他好文 时间：
2014-05-07 20:16:08
阅读次数：
399
今天下午神奇的“黑色30秒”再次降临，而这次“黑色30秒”期间没有出现Requests
Queued。现在我们猜测“黑色30秒”的触发条件是在高并发下线程突然卡住了。为什么线程会卡住？为什么会是30秒？应用程序的原因，Windows的原因，还是阿里云的原因？大家可以投投票。
分类：
其他好文 时间：
2014-05-07 18:28:46
阅读次数：
425
使用.net dataexcel通信搭建一个简单的文件服务器。
通信简单介绍
1，通信使用TCP协议。
2，采用session机制，控制简单通信安全与连接限制防攻击。
3，采用开放协议包格。(32字节数据包)
4，采用网络断开，自动连接机制保证连接。
5，采用压缩机械压缩大数据（比如.net 里面datatable,dataset的传输）。
6，采用事件机制，更容易，更符合.net开发习惯。
7，采用异步传输，较大的连接与并发。
8，采用数据包头，解决粘包。
9，采用命令方式，更容易扩展。
10，采用允许...
分类：
Web程序 时间：
2014-05-07 08:11:20
阅读次数：
494
数据库是程序的仓库，也是程序中最脆弱的一部分，因为它的脆弱性和重要性，所以需要专门进行管理和优化。在如今的网络化的时代更加需要数据库的灵活和快捷，一个高效的数据库能够使程序运行效率更快，提高程序的运行效率。但往往对数据库的设计达不到我们想要的效果，所以数据库的优化显得尤为重要。该系列文章正是考虑大数据量的当今如何才能让数据库的设计更加灵活，数据检索、操作更加高效展开的讨论，其中涉及到的优化...
分类：
数据库 时间：
2014-05-07 06:12:15
阅读次数：
427
记住，大数据的本质在于数据，大只是它在整个宏观社会整体上的一个体现
分类：
其他好文 时间：
2014-05-05 09:31:32
阅读次数：
517
原文:SQL Server
大数据搬迁之文件组备份还原实战一.本文所涉及的内容（Contents）本文所涉及的内容（Contents）背景（Contexts）解决方案（Solution）搬迁步骤（Procedure）搬迁脚本（SQL
Codes）注意事项（Attention）疑问（Questions...
分类：
数据库 时间：
2014-05-04 19:06:55
阅读次数：
751
