Spark1.21. 文本导入创建RDD的形式,测试txt文本master=spark://master:7077./bin/spark-shellscala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) sqlContext:....
分类：
数据库 时间：
2015-05-05 23:46:31
阅读次数：
226
1.4 BLAS （BLAS routines for MLlib's vectors and matrices.）
BLAS（Basic Linear Algebra Subprograms，基础线性代数程序集）是一个应用程序接口（API）标准，用以规范发布基础线性代数操作的数值库（如矢量或矩阵乘法）。
BLAS按照功能被分为三个级别：
Level 1：矢量-矢量运算
Leve...
分类：
其他好文 时间：
2015-05-05 19:41:28
阅读次数：
469
经常写代码的时候发现rdd没有reduceByKey的方法，这个发生在spark1.2及其以前对版本，因为rdd本身不存在reduceByKey的方法，需要隐式转换成PairRDDFunctions才能访问，因此需要引入Import org.apache.spark.SparkContext._。不...
分类：
其他好文 时间：
2015-05-05 18:28:37
阅读次数：
325
Spark1.3中新增DirectStream处理Kafka的消息。使用方法如下：KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet)ssc:S...
分类：
其他好文 时间：
2015-05-05 18:20:40
阅读次数：
200
在spark sql 1.2.x当中存在一个问题：
当我们尝试在一个查询中访问多个parquet文件时，如果这些parquet文件中的字段名和类型是完全一致的、只是字段的顺序不一样，例如一个文件中是name string, id int，另一个文件是id int, name string时，查询会报错，抛出metadata merge的异常。
在1.3当中，这个问题其实已经解决。那么在1.2....
分类：
Web程序 时间：
2015-05-05 14:32:34
阅读次数：
263
本文以AIX系统中的nmon文件为例，说明spark针对数据分析的典型用法。希望能帮助大家用spark的方式来思考问题。...
分类：
其他好文 时间：
2015-05-05 10:47:32
阅读次数：
163
聊天系统源码，方便集成到自己的系统，从此菜鸟变大神，找工作再也不是事...
分类：
移动开发 时间：
2015-05-05 10:45:14
阅读次数：
216
Shuffle Write阶段函数调用如下：org.apache.spark.executor.run() --> org.apache.spark.scheduler.Task.run() --> org.apache.spark.scheduler.runTask()--> org.apache...
分类：
其他好文 时间：
2015-05-05 10:18:01
阅读次数：
153
Spark本身用Scala语言编写，运行于Java虚拟机（JVM）。只要在安装了Java 6以上版本的便携式计算机或者集群上都可以运行spark。如果您想使用Python API需要安装Python解释器（2.6或者更高版本），请注意Spark暂不支持Python 3。下载Spark首先下载Spar...
分类：
其他好文 时间：
2015-05-05 01:19:18
阅读次数：
180
CSDN大数据技术：十位一线专家分享Spark现状与未来（一）十位一线专家分享Spark现状与未来（二）十位一线专家分享Spark现状与未来（三）部分摘录：加州大学伯克利分校AMP实验室博士Matei Zaharia：Spark的现状和未来 ----（Matei Zaharia是加州大学伯克利分校A...
分类：
其他好文 时间：
2015-05-04 20:06:34
阅读次数：
214
