淘宝在数据存储和处理领域在国内互联网公司中一直保持比较靠前的位置，而且由于电子商务领域独特的应用场景，淘宝在数据实时性和大规模计算及挖掘方面一直在国内保持着领先，因此积累了很多的实践的经验和产品。TimeTunnel基于Hbase打造的消息中间件，具有高可靠、消息顺序、事务等传统特性，还能按时间维度...
分类：
其他好文 时间：
2014-11-30 00:24:50
阅读次数：
248
数据作为软件的重要组成部分，它的存储和传递是每个软件必须考虑的事情。EF作为web应用程序开发过程中常用的数据处理解决方案，它是如何工作的，它的特点是什么？本文就此做个简单介绍。...
分类：
其他好文 时间：
2014-11-29 20:15:29
阅读次数：
259
1. R600 3D引擎 R600核心是AMD一款非常重要的GPU核心，这个核心引入了统一处理器架构，其寄存器和指令集同以前的GPU 都完全不同，对其编程也有比较大的区别。 图1显示了R600 GPU 核心的硬件逻辑图，R600 GPU 包含并行数据处理阵列（DPP array）、命令处理器、内.....
分类：
系统相关 时间：
2014-11-29 17:16:23
阅读次数：
248
一般cache调用流程，会先cache查询，没有的话调用DB或者第三方接口，获取数据，再次存入Cache，继续数据处理。多次调用，既是一种问题，应该把这种查询方式封装到更底层的方法内。而不是每次重复这样的逻辑，除了封装的问题外，还有其他问题，我们统一列举下...
分类：
Web程序 时间：
2014-11-29 00:19:12
阅读次数：
208
tag作用：编写调用tag实现代码复用。能防止用户直接访问tag页面。Include只能做到代码复用，但是不能防止用户在地址栏直接输入地址访问。优点： 1.实现代码的复用 2.分离数据处理代码和数据显示代码，便于web应用的维护，和再开发tag文件的保存：保存在WEB-INF/tags/下tag标记...
分类：
Web程序 时间：
2014-11-27 23:21:57
阅读次数：
691
分类：大数据接触这块将近3个月左右，期间给自己的定位也是业务层开发。对平台级的产品没有太深入的理解和研究，所以也不能大谈特谈什么storm架构之类的了。说说业务中碰到流式计算问题吧：1.还是要介绍下简要的架构(原谅我不会画图)流式数据接入层------------------->流式数据处理层---...
分类：
其他好文 时间：
2014-11-26 20:47:03
阅读次数：
253
一：大数组转存到文件里，可以考虑逐行写入，并配合多进程来写入/* * 参 数：$file 字符串 文件名 * $key 字符串 数组键名 * $value 字符串 数组键值 * $step 字符串 当前程序步骤，只有三个值：初始化init/执行中doing/完成done * ...
分类：
其他好文 时间：
2014-11-26 16:15:49
阅读次数：
223
1. 关于ID3和C4.5的原理介绍这里不赘述，网上到处都是，可以下载讲义c9641_c001.pdf或者参考李航的《统计学习方法》.2. 数据与数据处理本文采用下面的训练数据：数据处理：本文只采用了"Outlook", "Humidity", "Windy"三个属性，然后根据Humidity的值是...
分类：
编程语言 时间：
2014-11-26 14:01:11
阅读次数：
288
2014年11月18日---ComponentOneStudioEnterprise2014v3版全球正式发布。ComponentOneStudioEnterprise是世界知名的MicrosoftVisualStudio的数据处理和UI控件的套装，包括WindowsStore,WindowsDesktop和HTML5。新版本主要集中于优化性能，丰富数据分析功能，以及为软件开发人员..
分类：
Web程序 时间：
2014-11-25 19:00:33
阅读次数：
182
有个django的定时任务，调用django的orm来对数据库进行数据处理。
在交互环境下直接启动pyhton脚本没有问题，放在定时任务中时候，总是出现
(2006, 'MySQL server has gone away')
的错误，开始以为是定时框架外部调用的问题，但是后来想想也不合理，为啥直接在shell中调用就没错呢，
想到django1.6的一些数据库连接的新属性（...
分类：
数据库 时间：
2014-11-25 14:31:15
阅读次数：
297
