码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
软考——CPU构成与原理
基本组成:   运算器:    算术逻辑单元(ALU):负责数据处理,实现对数据的算术运算和逻辑运算,暂时存储计算结果等    累加寄存器(AC):当ALU执行算术或是逻辑运算的时候,为ALU提供一个工作区。    数据缓冲寄存器(DR):作为CPU和内存,外围设备之间数据的中转站。是CPU和内存,外围设备之间在操作速度上的缓冲    状态条件寄存器(PSW):保存算术指令和逻辑指令...
分类:其他好文   时间:2014-05-10 10:04:13    阅读次数:583
dataguru(炼数成金)大数据培训基地印象
dataguru访问地址:http://f.dataguru.cn/?fromuid=99611课程优惠码:C4B6这段时间一直在dataguru(炼数成金)上学习《hadoop数据分析平台(第十四期)》,说说我对炼数成金的印象。最开始听说dataguru是通过它的广告邮件中的链接,发送的对象是it...
分类:其他好文   时间:2014-05-08 21:19:30    阅读次数:727
Hadoop集群(第9期)_MapReduce初级案例 - 虾皮 - 博客园
Hadoop集群(第9期)_MapReduce初级案例 - 虾皮 - 博客园1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类:其他好文   时间:2014-05-08 20:38:16    阅读次数:669
PHP文件缓存与memcached缓存 相比 优缺点是什么呢
如果不考虑其他任何问题,只比较速度的话,那肯定是mem快,但他们各有优缺点。文件缓存优点:1、由于现在的硬盘都非常大,所有如果是大数据的时候,放硬盘里就比较合适,比如做一个cms网站,网站里有10万篇文章,生成的文件大小总数可能就会很大。2、数据的存放较为安全,由于是硬盘存放,所以在意外掉电的情况下...
分类:Web程序   时间:2014-05-08 20:03:19    阅读次数:307
.net DataExcel通信组件使用 搭建简单文件服务器
使用.net dataexcel通信搭建一个简单的文件服务器。 通信简单介绍 1,通信使用TCP协议。 2,采用session机制,控制简单通信安全与连接限制防攻击。 3,采用开放协议包格。(32字节数据包) 4,采用网络断开,自动连接机制保证连接。 5,采用压缩机械压缩大数据(比如.net 里面datatable,dataset的传输)。 6,采用事件机制,更容易,更符合.net开发习惯。 7,采用异步传输,较大的连接与并发。 8,采用数据包头,解决粘包。 9,采用命令方式,更容易扩展。 10,采用允许...
分类:Web程序   时间:2014-05-07 08:11:20    阅读次数:494
[连载]JavaScript讲义(05)--- 数据处理
讲解了JavaScript中各种类型的数据处理,包括数组的使用、JSON类提供的字符串和JS对象相互转换的方法、时间日期类以及正则表达式的创建和使用...
分类:编程语言   时间:2014-05-07 07:27:55    阅读次数:351
【数据库优化(持续更新)】--第一弹设计优化
数据库是程序的仓库,也是程序中最脆弱的一部分,因为它的脆弱性和重要性,所以需要专门进行管理和优化。在如今的网络化的时代更加需要数据库的灵活和快捷,一个高效的数据库能够使程序运行效率更快,提高程序的运行效率。但往往对数据库的设计达不到我们想要的效果,所以数据库的优化显得尤为重要。该系列文章正是考虑大数据量的当今如何才能让数据库的设计更加灵活,数据检索、操作更加高效展开的讨论,其中涉及到的优化...
分类:数据库   时间:2014-05-07 06:12:15    阅读次数:427
java 算法基础
算法概要 算法是用于计算、数据处理和自动推理使用的。算法主要是做精确计算和表示一个有限长列的有效方法。算法一般包含清晰定义的指令用于计算函数。基本上也属于一种思考最简洁的方式。...
分类:编程语言   时间:2014-05-07 05:48:04    阅读次数:518
Pig系统分析(8)-Pig可扩展性
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。 补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。 UDFs 通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:其他好文   时间:2014-05-07 05:10:44    阅读次数:567
Hbase学习笔记(安装和基础知识及操作)
参考书籍: Hadoop in action, 吴超沉思录1.Hbase简介 1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5. sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类:其他好文   时间:2014-05-07 00:35:59    阅读次数:424
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!