C#语言中对SqlServer、Oracle、SQLite和MySql中的数据批量插入是支持的，不过Oracle需要使用Orace.DataAccess驱动。IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider。批量插入的实现可以通过实现该接口来实现。 //...
分类：
数据库 时间：
2014-07-14 09:05:21
阅读次数：
387
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-14 08:35:18
阅读次数：
311
启动namenode，通过50070端口查看，发现livenode只有一个--namenode，查看datanode日志，发现有”Incompatible clusterIDs“错误，提示很明显，namenode和datanode的集群id不一致解决办法：找到core-site.xml配置文件，进入...
分类：
其他好文 时间：
2014-07-14 00:54:10
阅读次数：
196
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
对于hadoop HDFS 中的所有命令进行解析（其中操作流程是自己的想法有不同意见欢迎大家指正）
接口名称
功能
操作流程
get
将文件复制到本地文件系统 。如果指定了多个源文件，本地目的端必须是一个目录。
（1）按照上述机制，在Config server上的存储引擎中逐层读取K-V，直到获得文件名（或大文件元数据...
分类：
其他好文 时间：
2014-07-12 22:25:59
阅读次数：
389
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
从源代码的角度来看一下Spark SQL的核心执行流程吧...
分类：
数据库 时间：
2014-07-12 21:07:32
阅读次数：
299
EEPlat PaaS平台提供了基于元数据驱动的以配置为主的快速开发平台，同时提供了完整的多租户实现，各租户拥有自己的独立应用和数据库，租户间实现了应用和数据的完全隔离。
EEPlat PaaS平台包括四大子系统：多租户管理子系统、企业应用后台配置开发环境、元数据驱动引擎、企业应用分发管理子系统等。
核心原理流程图
EEPlat PaaS平台的原理，核心是元数据和执行引擎。通过后台配置开发环...
分类：
其他好文 时间：
2014-07-12 20:06:10
阅读次数：
231
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
Android底层框架解析与Java&C/C++软硬整合开发技术主讲人：高焕堂(台湾Android教父级专家)课程简介：在智能&大数据时代，系统开发不仅仅攸关软件设计与开发，还涉及深度软硬整合的智能硬件设计与开发。在当今产业的成功方程式：(((硬件+软件)+内容)+电信)潮流下，如何..
分类：
移动开发 时间：
2014-07-12 16:44:53
阅读次数：
465
