码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop sqlserver    ( 36773个结果
ADO.NET和ORACLE操作数据库传参数赋值的方式
在使用.Net使用OracleParameter进行Oracle数据库操作的时候,因为Oracle和SQLServer针对查询参数化的语法不同,在操作SQLServer的时候使用的是@ParameterName, 而Oracle使用的是:ParameterName而且sql伪语句也有相应...
分类:数据库   时间:2014-05-08 17:47:14    阅读次数:354
基于HBase的手机数据备份系统
基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。 包括服务器端(Server)和客户端(Client) Server运行环境:Hadoop+HBase+Tomcat Client运行环境: Eclipse+Android2.3 ----------------------------------------------------- ...
分类:移动开发   时间:2014-05-08 16:07:49    阅读次数:390
大数据
大数据是一个体量特别大,数据类别特别大的数据集。也就是说“大数据”本身并不是一种新的技术,也不是一种新的产品, 而是我们这个时代出现的一种现象。而这个“大”达到了一种什么样的程度呢?可以说他即将突破现有常规软件所能提供的能力极限。 综上所述,我们觉得使用麦肯锡的定义可能会更为简洁明了:大数据是指无法...
分类:其他好文   时间:2014-05-08 12:30:00    阅读次数:301
Hadoop-4、Mapred数据去重
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.ap...
分类:其他好文   时间:2014-05-08 11:27:24    阅读次数:309
创建和恢复SQL快照
创建SQL快照CREATEDATABASEdatabase_snapshot_nameON(NAME=logical_file_name,FILENAME=‘os_file_name‘)[,...n]ASSNAPSHOTOFsource_database_namedatabase_snapshot_name是要将数据库恢复到的快照的名称logical_file_name是引用该文件时在SQLServer中使用的逻辑名称os_file_nam..
分类:数据库   时间:2014-05-08 10:54:25    阅读次数:445
Hadoop-5、排序(Combiner泛谈)
一、Combiner作用1、combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。如下所示:map: (K1, V1) → list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V...
分类:其他好文   时间:2014-05-08 09:37:49    阅读次数:472
《大型网站技术架构》1:概述
参考自《大型网站技术架构》第1~3章 1、大型网站架构演化发展历程 (1)初始阶段的网站架构:一台服务器分别作为应用、数据、文件服务器 (2)应用服务和数据服务分离:三台服务器分别承担上述三项工作,其中应用服务器要求CPU强大、数据库服务器需求更快的硬盘和内存,文件服务器需要较大的硬盘。 (3)使用缓存改善网站性能:分为本地缓存以及缓存在专门的分布式服务器上的远程缓存。 (4)使...
分类:Web程序   时间:2014-05-08 04:42:48    阅读次数:430
高精度之大数除法
高精度之大数的除法,大数据计算c语言一样强大...
分类:其他好文   时间:2014-05-08 04:27:19    阅读次数:281
性能调优
大数据量引起的高并发处理: 1、数据量超过百万时增加集群服务器,比如使查询和操作分别在不同服务器上执行,如果数据量超过千万时这样会增加服务器间相互复制数据的资源开销,这时考虑把数据资源比如用户表根据ID放在不同的数据库集群中。 2、是页面静态化,因为html比jsp更节省资源和性能,考虑将页面做成html返回给客户,比如用freemarker工具 3、缓存技术,集群中采用memcached...
分类:其他好文   时间:2014-05-08 04:18:07    阅读次数:361
Pig源码分析: 简析执行计划的生成
本文通过跟代码的方式,分析从输入一批Pig-latin到输出物理执行计划(与launcher引擎有关,一般是MR执行计划,也可以是Spark RDD的执行算子)的整体流程。 不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job,而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤(方法和类)。...
分类:其他好文   时间:2014-05-08 04:00:42    阅读次数:407
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!