Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
分类:
其他好文 时间:
2014-05-09 05:14:32
阅读次数:
405
书写一个shell脚本并使之执行的步骤:1. 打开一个文件,以 #!
bin/bash作为开头2.在文件中写入一些正确可执行的shell语句3.保存文件4.更改文件权限,执行文件一些小技巧:
如果想在系统中添加自己的命令,比如执行自己建好的shell脚本语句这样一条命令实例: 1.创建文件cd......
分类:
其他好文 时间:
2014-05-08 22:34:19
阅读次数:
378
之前在处理数据时,没有考虑过使用行转列,更多的是使用创建临时表,用过之后销毁,今天碰到了棘手的问题,采用临时表很复杂,所以采用行转列来实现。先描述一下问题,当下做的人事考核系统中,分为上半年、下半年的考核,考核类型有多种,查询出来的数据如下:可以看出来,这样数据处理的效果并不好,而从MSSQL200...
分类:
数据库 时间:
2014-05-08 18:26:31
阅读次数:
343
Yslow的第4个经验法则指出:启用gzip压缩功能,可以减少HTTP传输的数据和时间此,从而减少客户端请求的响应时间。
本篇是Yslow法则的第四个,主要包括三个方面的内容:
1. 什么是gzip
2. gzip与HTTP
3. nginx启用gzip
什么是gzip?
Gzip最早出现在Unix系统中,是GNU的文件压缩工具。我们今天所...
分类:
Web程序 时间:
2014-05-08 15:50:14
阅读次数:
451
Linux man命令的使用方法(整理收集自网络)Linux提供了丰富的帮助手册,使用Linux
man命令来查看一些不熟悉的命令的使用方法,还可以用来查询系统库文件中的一些函数定义和使用方法。Linux
man中的man就是manual的缩写,用来查看系统中自带的各种参考手册,但是手册页分为好几个...
分类:
系统相关 时间:
2014-05-08 10:17:35
阅读次数:
464
JEECG微云快速开发平台--开发指南专题
2.JEECG框架初探
2.1演示系统
打开浏览器,输入JEECG演示环境地址:http://demo.jeecg.org:8090/可以看到如图21所示的登录界面。
图21演示系统登录界面
点击【登陆】按钮,进入演示系统的主界面,如图22所示。
图22演示系统主界面
在JEECG演示系统中的功能模块包括系统管理、流程管...
分类:
其他好文 时间:
2014-05-08 08:06:55
阅读次数:
310
1,进程和线程的概念。|--进程:运行在系统中的任务|--线程:运行在进程中的任务2,jvm中的多线程体现。|--主线程,垃圾回收线程,自定义线程。以及他们运行的代码的位置。4,创建线程的两种方式。|--继承Thread
|--步骤 |--实现Runnable |--步骤 |--两种方式的区别?5,...
分类:
编程语言 时间:
2014-05-08 08:04:51
阅读次数:
294
1、python升级:去看我的另外一篇随便吧!2、搭建开发工具安装Ecpilpse环境之前,需要先检查一下系统中的java版本确认gcj的版本号,linux自带的JAVA环境:#
rpm -qa | grep gcj java-1.4.2-gcj-compat-1.4.2.0-40jpp.115l....
分类:
编程语言 时间:
2014-05-08 06:57:14
阅读次数:
440
本文结合大量实例阐述如何编写一个shell脚本。 为什么要进行shell编程
在Linux系统中,虽然有各种各样的图形化接口工具,但是sell仍然是一个非常灵活的工具。Shell不仅仅是命令的收集,而且是一门非常棒的编程语言。您可以通过使用shell使大量的任务自动化,shell特别擅长系统...
分类:
其他好文 时间:
2014-05-08 06:17:09
阅读次数:
405
平时可以感觉到的几个事实: 1 音乐、视频数据都是放在文件系统中、2 大图片文件是放到文件系统中的、3 小的配置文件,文件系统会比数据库的效率高出很多
假定在程序效率和关键过程相当且不计入缓存等措施的条件下,读写任何类型的数据都没有直接操作文件来的快,不论MSYQL过程如何,最后都要到磁盘上去读这个“文件”(记录存储区等效),所以当然这一切的前提是只读 内容,无关任何排序或查找操...
分类:
微信 时间:
2014-05-08 06:00:49
阅读次数:
672