最近学习大数据的处理，由于项目开发的需要，使用一种简单的方式来将Excel中的数据导入到数据库中，开发使用的kettle工具。 kettle工具安装很简单，从官网上下载下来之后，直接解压到制定的盘符下即可（前提是你配置了JAVA的环境变量,path,classpath）。 在WINDOWS环境下双击...
分类：
数据库 时间：
2014-06-15 22:10:06
阅读次数：
412
这道题网上很多人都会说容易，水题之类的话，不过我看了下说这样的话的人的程序，可以说他们的程序都不及格！
为什么呢？因为他们的程序都是使用简单的二次排序水过（大概你能搜索到的多是这样的程序），那样自然可以说不及格了。
因为本题真正的目的是求前k个最大数的问题，这就需要活用快速排序。
求前k个最大数的思路：
1 选取一个数位轴，然后把大于这个数的数放到数列前面，小于这个数的数放到数列后面
2 如果前面的数的数量大于k，那么可以去掉后面的数，递归在前面的数查找前k个最大数
3 如果前面的数的数量小于k，那么截去前...
分类：
其他好文 时间：
2014-06-15 18:04:07
阅读次数：
181
优质数据库在处理大数据的程序或系统中是有非常重要的作用的，所以对于数据库的设计有很多的要求和规定。首先数据库要有很好的可维护性、灵活性，并且数据库的算法逻辑性也要有一定的优化性，这样可以对资源进行有效利用，并且处理数据的时间也会缩短。...
分类：
数据库 时间：
2014-06-15 12:27:34
阅读次数：
238
大数运算大数运算的实现方法主要有下面几种：1)用字符串表示大数。将大数用十进制字符数组表示，然后依照“竖式计算”的思想进行计算。这样的方法比較easy理解，可是计算效率非常低。2)将大数看成二进制流进行处理。使用各种位运算和逻辑操作来实现打算的运算。该方法设计复杂，可读性较差，并且难以调试。3)将大...
分类：
其他好文 时间：
2014-06-15 09:18:13
阅读次数：
160
问题描述：
据说普鲁士的腓特列大帝曾组成一支仪仗队，仪仗队共有36名军官，来自6支部队，每支部队中，上校、中校、少校、上尉、中尉、少尉各一名。他希望这36名军官排成6×6的方阵，方阵的每一行，每一列的6名军官来自不同的部队并且军衔各不相同。令他恼火的是，无论怎么绞尽脑汁也排不成。
后来，他去求教瑞士著名的大数学家欧拉。欧拉发现这是一个不可能完成的任务。
来自n个部队的n种...
分类：
其他好文 时间：
2014-06-15 09:00:43
阅读次数：
423
大数据与JS实现2014巴西世界杯冠军预测图 http://www.zuidaima.com/share/1855841547176960.htm...
分类：
Web程序 时间：
2014-06-15 08:13:32
阅读次数：
205
一年前，准备使用mongDb自带的map,reduce功能模拟hadoop，换个思路做一个简易的大数据分拆再结合存储的办法；这个功能可以用于数据日志或者游戏数据之类，进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类：
数据库 时间：
2014-06-14 22:38:35
阅读次数：
432
你需要了解大数据高并发的瓶颈在哪里，一般都是数据库层面的，机械硬盘承载不起非常快速的读写操作，cpu承载不起大量的逻辑运算，所以最基本的解决思路就是：1.换固态硬盘加快硬盘的读写效率。2.建立缓存中间件降低对硬盘的读写次数，缓存不用多说了，最最最基本和重要的优化策略。3.将硬盘的读写或者数据的计算分...
分类：
其他好文 时间：
2014-06-14 17:13:23
阅读次数：
179
Apache Spark?is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么我们需要知道它解决了什么问题，还有是怎么解决这些问题的。
本文将带领你进入Spark的世界，首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出：通用，易用，高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式，交互式，实时查询，迭代...
分类：
其他好文 时间：
2014-06-14 11:57:03
阅读次数：
288
又是中文题，大家都说是水题，但是说好的1A呢？
题目大意：
给出n*m的矩阵，当某个单元格有炮兵部队时它的上下左右两格（不包括斜着的方向）是这支部队的攻击范围。问在两支部队之间不可能相互攻击到的情况下，最多能部署多少炮兵部队。
解题思路：
状态压缩DP，DP[i][j][k]代表当第i行是第j种状态时，第i-1行是第k种状态时，布置炮兵的最大数量。状态可以预先处理出来，只有60种。...
分类：
其他好文 时间：
2014-06-13 21:26:41
阅读次数：
239
