码迷,mamicode.com
首页 >  
搜索关键字:spark shell PV    ( 36425个结果
shell中的case语句
类似于其他高级程序语言,Shell中case语句的作用也是作为多项选择使用,语法如下: [plain]   case word in     pattern1)       Statement(s) to be execute if pattern1 matchs       ;;     pattern2)       Statement(s) to b...
分类:其他好文   时间:2014-06-11 07:09:18    阅读次数:212
Spark1.0.0生态圈一览
Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通过Spark生态圈,AMPLab运用大数据、云计算、通信等各种资源,以及各种灵活的技术方案,对海量不透明的数...
分类:其他好文   时间:2014-06-11 06:59:31    阅读次数:288
Linux环境编程之共享内存区(一):共享内存区简介
共享内存区是可用IPC形式中最快的。一旦内存区映射到共享它的进程的地址空间,进程间数据的传递就不再涉及内核。然而往该共享内存区存放信息或从中取走信息的进程间通常需要某种形式的同步。不再涉及内核是指:进程不再通过执行任何进入内核的系统调用来彼此传递数据。内核必须建立允许各个进程共享该内存区的内存映射关系,然后一直管理内存区。 默认情况下通过fork派生的子进程并不与其父进程共享内存区。 mmap...
分类:系统相关   时间:2014-06-11 06:34:25    阅读次数:439
shell之脚本实例
一 检查用户是否是root权限的方式:#!/bin/bashROOT_UID=0 # Root has $UID 0.E_WRONG_USER=65 # Not root?E_NOSUCHUSER=70SUCCESS=0if [ "$UID" -ne "$ROOT_UID" ]...
分类:其他好文   时间:2014-06-10 14:59:50    阅读次数:259
shell之变量
变量赋值变量的赋值有五种:使用read命令,直接赋值,使用命令行参数,使用命令行的输出结果,从文件读取。1 先说一下从read命令吧:(主要是在需要交互时使用)Read命令是系统内置命令,语法格式为:read 变量1 变量2当Shell脚本执行到read命令时,将暂停脚本的执行并等待键盘的输入...
分类:其他好文   时间:2014-06-10 13:04:32    阅读次数:209
shell之输出
echo printfprintf命令模仿C程序库(library)里的printf()库程序(library routine)。它几乎复制了该函数的所有功能。不过在Shell层级的版本上,会有些差异。由于printf的行为是由POSIX标准所定义,因此使用printf的脚本比使用echo移植性好。...
分类:其他好文   时间:2014-06-10 10:15:40    阅读次数:241
web小流量实验方案
近期在思考怎么做小流量,在网上搜了一下,总结例如以下:1、前提,站点pv已经达到了一定的规模,比方上百万pv,不做小流量冒然更新功能,可能会带来大面积流量损失。在这样的前提下须要做小流量实验2、什么是小流量?让pv总量的一小部分使用到新功能,而其余用户仍然使用原来的功能3、怎么做?3.1、程序上准备...
分类:Web程序   时间:2014-06-10 09:15:26    阅读次数:224
Erlang Shell调试网络程序真方便
Erlang的shell功能强大,这里我将它当成我的客户端。可以动态的输入你需要发送的内容,也可以动态的接收内容,就像调试器一样,在开发过程中起到很重要的作用。具体使用方式如下:C:\Documents and Settings\Administrator>erlEshell V5.10.4 ...
分类:其他好文   时间:2014-06-10 09:06:40    阅读次数:205
大型网站架构演化
一、大型网站系统特点 (1)高并发、大流量:PV量巨大 (2)高可用:7*24小时不间断服务 (3)海量数据:文件数目分分钟xxTB (4)用户分布广泛,网络情况复杂:网络运营商 (5)安全环境恶劣:黑客的攻击 (6)需求快速变更,发布频繁:快速适应市场,满足用户需求 (7)渐进式发展...
分类:Web程序   时间:2014-06-09 20:33:09    阅读次数:346
Linux-shell实现阳历转农历(序)
本脚本实现原理是查表法(因为公式有误差);基于农历新年为基准,对农历新年前后两个不同的农历进行计算。写这个脚本之前是想在Linux 终端命令提示符中加入阳历及农历日期。在Ubuntu中有Lunar软件可以获取农历日期,但在Fedora或CentOS中并没有类似软件,所以就想自己来实现一个,但网上用其...
分类:系统相关   时间:2014-06-09 19:56:12    阅读次数:441
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!