storm中只能进行任务计算，不能保存中间结果，最后结果。这就有一个需求，保存计算结果，最好还是分布式的，因为storm也是分布式，大数据计算。流行的分布式计算中使用队列保存数据居多。kafka适合大量写入，但是稳定性差，项目采用的是rabbitmq.rabiitmq有2种模式：1.集群模式（高稳定...
分类：
其他好文 时间：
2015-06-23 19:48:21
阅读次数：
213
在实际业务中经常需要拼接动态SQL来完成复杂数据计算，网上各类技术论坛都有讨论，比如下面这些问题： http://bbs.csdn.net/topics/390876591 http://bbs.csdn.net/topics/390981627 https://www.linked...
分类：
数据库 时间：
2015-06-14 22:36:12
阅读次数：
246
layoutSubviews和drawRect 首先两个方法都是异步执行。layoutSubviews方便数据计算，drawRect方便视图重绘。layoutSubviews在以下情况下会被调用：1、init初始化不会触发layoutSubviews。2、addSubview会触发layoutSu....
分类：
移动开发 时间：
2015-06-09 23:23:07
阅读次数：
162
在报表项目中，常常会碰到数据库压力很大影响整个系统性能的问题。由下面的传统方案的结构示意图可以看出，全部数据存储和源数据计算都放在数据库完成。当并发访问量较大的时候，虽然每个报表的数据量不大，还是会造成数据库压力过大，成为性能的瓶颈。多数数据库厂商提供的jdbc接口传输数据比较缓慢，在并发量较大的情况，对报表系统性能的影响也非常明显。
这种情况时可以考虑采用润乾集算...
分类：
其他好文 时间：
2015-06-09 13:55:20
阅读次数：
218
随着基于内存的大数据计算框架——spark的火爆流行，用于编写spark内核的Scala语言也随之流行开来。由于其编写代码的简洁性，受到了越来越多程序员的喜爱。我今天给大家展示的时Scala2.10.4在CentOS 7下的安装与配置：一、Scala下载我们需要在Scala官网下载Scala2.10...
分类：
其他好文 时间：
2015-06-05 20:57:52
阅读次数：
131
数据可视化分为：科学可视化、信息可视化，可视化分析学这三个主要分支。
科学可视化，处理科学数据，面向科学和工程领域的科学可视化，研究带有空间坐标和几何信息的三维空间测量数据、计算模拟数据和医疗影像数据等，重点探索如何有效地呈现数据中几何、拓扑和形状特征。信息可视化，处理对象是非结构化、非几何的抽象数据，如金融交易、社交网络和文本数据，其核心挑战是如何针对大尺度高维数据减少视觉混淆对有用信...
分类：
其他好文 时间：
2015-06-02 09:28:30
阅读次数：
951
有时我们不能使用数据库而采用文件系统存储数据，这时就需要自行完成基于文件的数据计算。但JAVA本身缺少相应的类库，需要硬编码才能实现结构化文件计算，代码复杂且可读性差。在网上有许多寻找用于文件计算的Java类库的问题，如：
http://www.coderanch.com/t/561180/java/java/read-text-file-perform-operation
...
分类：
编程语言 时间：
2015-06-02 09:20:22
阅读次数：
176
项目小结及难点复盘1、程序总体框架结构
计算程序属于客户端，与服务端建立socket连接并实时获取需要计算的数据。
计算程序结果写入oracle数据库对应的表中，供前台界面读取并显示结果。2、计算模块所处的位置及功能
完成数据socket通信、数据接收、数据解析、计算、结果写数据库操作。3、使用技术
socket通信、线程同步、OTL、Oracle数据库查询、STL。3、遇到的技术难点
1...
分类：
其他好文 时间：
2015-06-02 06:50:53
阅读次数：
169
自动类型转换:容量小的数据类型自动转换成容量大的数据类型。 char int long float double byte short 一字节是8位，一字是2字节。 有多种类型的数据计算时。系统会将所有的数据类型转换成最大的数据然后进行计算。 byte short char之间不...
分类：
其他好文 时间：
2015-05-30 23:59:13
阅读次数：
329
