码迷,mamicode.com
首页 >  
搜索关键字:hadoop 大数据 云计算    ( 28457个结果
云计算之路-阿里云上:消灭“黑色n秒”第二招——给w3wp进程指定CPU核
虽然昨天的第一招失败了,但是从失败中我们学到了与多核CPU相关的Processor Affinity(处理器关联)的知识。既然我们可以让.NET程序的不同线程运行于指定的CPU核,那是不是也可以让IIS应用程序池的进程w3wp运行于指定的CPU核?
分类:其他好文   时间:2014-05-21 23:52:13    阅读次数:675
解决用户“不在 sudoers 文件中”的问题
在centOS系统中,我添加了一个用户,但是在我执行su时,终端告诉我以上的错误,下面是我的解决过程:首先切换到root用户:给 etc/hosts读写的权限:使用vi功能打开sudoers文件,在root ALL=(ALL) ALL后面加入本用户的信息:hadoop ALL=(ALL) ALL重新...
分类:其他好文   时间:2014-05-21 23:35:26    阅读次数:347
MapReduce TopK统计加排序
Hadoop技术内幕中指出Top K算法有两步,一是统计词频,二是找出词频最高的前K个词。在网上找了很多MapReduce的Top K案例,这些案例都只有排序功能,所以自己写了个案例。这个案例分两个步骤,第一个是就是wordCount案例,二就是排序功能。一,统计词频 1 package TopK;...
分类:其他好文   时间:2014-05-21 22:29:14    阅读次数:599
hbase是否能取代mysql
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发,后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发,支付宝流计算与分布式搜索系统的设计和研发,后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门,负责创新性项目的研究和跟进,目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。 在...
分类:数据库   时间:2014-05-21 17:04:40    阅读次数:393
hadoop开发使用备记
使用Hadoop已经有一段时间了,从开始的迷茫,到各种的尝试,到现在组合应用….慢慢地涉及到数据处理的事情,已经离不开hadoop了。Hadoop在大数据领域的成功,更引发了它本身的加速发展。现在Hadoop家族产品,已经达到20个了之多。 有必要对自己的知识做一个整理了,把产品和技术都串起来。不仅能加深印象,更可以对以后的技术方向,技术选型做好基础准备。 一句话产品介绍:...
分类:其他好文   时间:2014-05-21 16:37:02    阅读次数:363
微软Code Hunt答案(00-05)——沉迷娱乐的我
昨天看到微软出的网游Code Hunt,导师也去北京开云计算会议了。o(∩_∩)o...哈哈,还不好好玩一吧,个人感觉不是一个模块比一个模块难的,Code Hunt是按功能划分。所以不要怕自己做不来,因为不同人特长不一样。像ACM都是分工合作的啦。废话不多,我们来总结一下前01-04的答案。希望对大家有帮助,纯属娱乐。          注:语言C#       chapter 00...
分类:其他好文   时间:2014-05-21 16:27:44    阅读次数:274
大数据导入EXCEL
最近上头给我派了一个活,oracle数据导入excel,接任务的时候,我感觉比较轻松,心里想,这很简单,三下五除二,一个上午就可以搞定,因为之前实现过嘛!     但是程序在加上“大数据”烙印之后,就不是那么简单的一回事了,实现过程中,出现最常见的两个问题:超出行数限制和内存溢出!     18天的数据,总共是500w条,如何将500w条记录存入excel中,我当时想过两种实现方式:PLSQL...
分类:其他好文   时间:2014-05-21 15:59:54    阅读次数:307
【表空间支持的最大数据文件大小的算法】【数据库限制】【数据文件文件头保留数据块数】
本地管理表空间中设置不同大小的db_block_size时数据文件头保留空间对应如下:--?? db_block_size=2KB,文件头保留32个数据块,即64KB。 db_block_size=4KB,文件头保留16个数据块,即64KB。 db_block_size=8KB,文件头保留8个数据块,即64KB。 db_block_size=16KB,文件头保留4个数据块,即64KB。...
分类:数据库   时间:2014-05-21 08:27:08    阅读次数:529
Linux ssh配置
A机器ssh登录B机器无需输入密码;当应用有服务器很多的时候输入密码很浪费时间 在Hadoop安装时要求免密码登录;一、创建在用户的home目录下创建 .ssh文件夹mkdir .ssh可以隐藏文件夹或文件内容ls -a二、 生成证书证书分为:dsa和rsassh-keygen -t rsa -P ...
分类:系统相关   时间:2014-05-21 06:01:09    阅读次数:505
Hadoop家族学习路线图
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr,...
分类:其他好文   时间:2014-05-21 05:55:45    阅读次数:280
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!