码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
C#批量数据处理SqlBulkCopy
1.什么是SqlbulkCopy,解决的问题 在程序处理中经常会遇见大数据量的批量操作,比如我们要把一个文本格式的数据批量插入数据库。如果按照传统的逻辑只会将从文件中独处的数据轮询的方式一条一条的插入到目标数据库里面,这样反复连接打开数据库执行插入命令势必效率极其低下。所以很多程序在处理这样的插入操作的时候都是在半夜用户低风期处理,以免影响正常用户的使用。 .Net Framework...
分类:数据库   时间:2014-06-19 13:04:45    阅读次数:397
string和stringbuilder区别,为什么还要保留string,难道只是因为传统?
我知道string和stringbuilder的区别, string每次修改字符串都是新建,然后删除旧的串会很影响效率,而stringbuilder是在字符串的末尾操作,和string比较快, 在小数据库的时候string和stringbuilder没有什么大的影响,但是大数据量的时候,stringbuilder会比string快很多, 那为什么在.net框架下不去掉string呢,难道...
分类:其他好文   时间:2014-06-16 11:37:24    阅读次数:213
书籍目录
大数据:大数据之好书推荐1. 解读大数据想全面了解大数据的方方面面,绝对不能错过《大数据时代—生活、工作与思维的变革》这本书。一本很容易读懂的书,不需要过多的专业知识,里面的每个点能让你有这样一种冲动——如果我把这个点不断扩大,是不是我就是下一个Facebook!非专业人员请不要有什么顾虑,即使你对...
分类:其他好文   时间:2014-06-16 08:58:56    阅读次数:182
Hadoop 分布式环境搭建
Hadoop 分布式环境搭建一、前期环境安装概览IPHost NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode, DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类:其他好文   时间:2014-06-16 07:43:06    阅读次数:214
大数据改变世界
大数据时代的来临,不仅改变了企业运作模式、商业模式,更改变了千百万个普通群众的日常生活,成为现代生活中必不可少的一部分。
分类:其他好文   时间:2014-06-16 06:20:34    阅读次数:152
在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
近期開始使用MapReduce,发现网上大部分样例都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理,这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用...
分类:其他好文   时间:2014-06-16 06:14:38    阅读次数:297
大数据:未来的新石油?
从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。 如果你是《老友记》的粉丝,你一定不会忘记钱德勒。剧中,他总是不断地向人们解释自己的工作,似乎别人永远也搞不懂他所谓的“统计分析和数据修复专员”是做什么的? 这不能怪钱德勒,10年前,在《老友记》热播时,要向一个陌生人....
分类:其他好文   时间:2014-06-16 06:00:17    阅读次数:382
【Algorithm】冒泡排序
一. 算法描述 冒泡排序思想:依次比较相邻的数据,将小数据放在前,大数据放在后;即第一趟先比较第1个和第2个数,大数在后,小数在前,再比较第2个数与第3个数,大数在后,小数在前,以此类推则将最大的数"滚动"到最后一个位置;第二趟则将次大的数滚动到倒数第二个位置......第n-1(n为无序数据的个....
分类:其他好文   时间:2014-06-13 15:51:42    阅读次数:207
Oracle EBS-SQL (MRP-7):检查MRP计划运行报错原因之超大数据查询2.sql
The following scripts can be used to check for huge line numbers:-- PO Requisitionsselect * from PO_REQUISITION_LINES_ALL where LINE_NUM > 1000000000;...
分类:数据库   时间:2014-06-12 09:41:27    阅读次数:295
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!