1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
题目大意： 题目意思一个卡车类型由7个字符构成，每个字符所在的位置有它特定的含义，这里有一个Q的含义为N个不同卡车之间7个字符之间相同位置不同字符的个数cnt之和，求出最小的Q（存在一种N哥卡车两两比较后cnt之和最小）。解题思路; 主要是理解题意，把卡车看成编号为（1-N）的数，两两比较卡车的c....
分类：
其他好文 时间：
2014-07-11 11:31:41
阅读次数：
153
在spark-shell中可以定制成接近shark的操作，让熟悉sql的人轻松上手。...
分类：
其他好文 时间：
2014-07-10 23:08:16
阅读次数：
210
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。...
分类：
数据库 时间：
2014-07-10 21:14:38
阅读次数：
737
本文介绍了spark对hadoop sequencefile的读写支持，实现方式以及简单的使用方法。sequencefile和textfile类似，在上下文里有直接提供读取方法，但最终走的还是hadoopFile方法。...
分类：
其他好文 时间：
2014-07-10 17:11:52
阅读次数：
951
在做Oracle数据库从11.2.0.1.0升级到11.2.0.2.8时，软件升级没有问题，实例升级没有问题，升级psu的时候。执行@?/rdbms/admin/catbundle psu apply时，仅仅显示一部分信息，即终止apply。在dba_registry_history中未显示11.2...
分类：
数据库 时间：
2014-07-09 21:26:47
阅读次数：
317
原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3832405.html一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapRed...
分类：
编程语言 时间：
2014-07-09 14:38:04
阅读次数：
266
我的CSDN专访。
摘要：EMC公司作为全球信息存储及管理产品方面的领先公司，不久前，EMC宣布收购DSSD加强和巩固了其在行业内的领导地位，日前我们有幸采访到EMC中国的张安站，他就大数据、商业存储、Spark等给大家分享了自己的看法。...
分类：
其他好文 时间：
2014-07-06 12:03:25
阅读次数：
225
最小生成树问题。
给你一组字母序列，问你最有可能的演变，也就是把所有的序列连通所花费最小。
每次派生的花费 取决于两个字符串上 不同的字母个数。
于是两两算出花费，然后Kruskal算最小。
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#i...
分类：
其他好文 时间：
2014-07-06 00:32:05
阅读次数：
291
DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage，并在每一个stage内产生一系列的task，并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程：val sc = new SparkConte...
分类：
其他好文 时间：
2014-07-05 21:16:38
阅读次数：
198
