王家林简介Spark亚太研究院院长和首席专家,中国目前唯一的移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码,并已完成2014年5月31日发布的Spark1.0...
分类:
移动开发 时间:
2014-07-22 23:29:47
阅读次数:
241
卷积神经网络的一个Java实现,对DeepLearnToolbox进行了改进,卷积核与采样块都不再要求是方阵,在Minist数据集上准确率97%.
分类:
其他好文 时间:
2014-07-22 23:18:37
阅读次数:
414
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上,然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程:1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.no...
分类:
其他好文 时间:
2014-07-22 22:36:13
阅读次数:
406
use master ;查询数据库:select * from sysdatabases where dbid>4 ;查询表:SELECT * FROM SysObjects Where XType='U' ORDER BY Name查询列:select b.name as tableName,a....
分类:
数据库 时间:
2014-07-21 14:05:35
阅读次数:
195
1. 概述在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法,然后给出了几种针对不同输入数据集的优化方法。...
分类:
其他好文 时间:
2014-07-21 09:03:08
阅读次数:
329
创建本地数据集clientdataset2.FieldDefs.Clear;;withclientdataset2.FieldDefs.AddFieldDefdobeginName:=‘id‘;Size:=10;DataType:=ftString;end;withclientdataset2.FieldDefs.AddFieldDefdobeginName:=‘xm‘;size:=10;DataType:=ftstring;end;withclientdataset2.FieldDefs.Ad..
分类:
Web程序 时间:
2014-07-20 23:37:43
阅读次数:
326
归并排序是另一种运用分治法排序算法。与快速排序一样,它依赖于元素之间的比较来排序。但是,归并排序需要额外的存储空间来完成排序过程。
同样可以用分治法的思想将排序分为三个步骤。
分:将数据集等分为两半。治:分别在两个部分用递归的方式继续使用归并排序法。合:将分开的两个部分合并成一个有序的数据集。
归并排序与其他排序最大的同步在于,它的归并过程。这个过程就是将两个有序的数据集合并成一个有序的...
分类:
其他好文 时间:
2014-07-20 22:35:13
阅读次数:
283
1:算法简单描述
给定训练数据样本和标签,对于某测试的一个样本数据,选择距离其最近的k个训练样本,这k个训练样本中所属类别最多的类即为该测试样本的预测标签。简称kNN。通常k是不大于20的整数,这里的距离一般是欧式距离。
2:python代码实现
创建一个kNN.py文件,将核心代码放在里面了。
(1) 创建数据
#创造数据集
def createDataSet():
...
分类:
其他好文 时间:
2014-07-19 23:24:39
阅读次数:
300
进程管理
--进程与线程(上)
一、 进程的概念
1.进程概念的定义[一个动态的概念]
进程是并发程序的动态运行,是多道程序系统中程序的动态运行过程。
进程是一个活动的实体,除了指令代码,进程通常还包括进程堆段、栈段(包含临时数据,如方法参数、返回地址和局部变量)和数据段(包含常量或全局变量等)。
进程是程序在数据集合上运行的过程,它是系统进行资源分配和调度的一个独立单位。
进程的元素:代码、数据、进程表(进程控制块,是与程序相比特有的元素)
2.进程的特征
动态性...
分类:
编程语言 时间:
2014-07-18 11:14:36
阅读次数:
238
//DOM: //对象是一种独立的数据集合,与某个特定对象相关联的变量被称为这个对象的属性,通过某个特定对象可以为之调用的函数被称为这个对象的方法 // //4个非常实用的DOM方法: //检索特定元素节点的方法: //document.getElementById:与docume...
分类:
编程语言 时间:
2014-07-17 00:03:58
阅读次数:
330