从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类:
其他好文 时间:
2014-05-05 13:10:34
阅读次数:
463
VB/C#.Net实体代码生成工具(EntitysCodeGenerate)【ECG】是一款专门为.Net数据库程序开发量身定做的(ORM框架)代码生成工具,所生成的程序代码基于OO、ADO.NET、分层架构、ORM及反射+工厂设计模式等。支持.Net1.1及以上版本,可用于Oracle、SqlServer、Sybase、DB2、MySQL、Access、SQLite、PostgreSQL、DM(达梦)、PowerDesigner文件、Informix、Firebird、MaxDB、Excel等和OleDb...
分类:
Web程序 时间:
2014-05-04 00:13:17
阅读次数:
658
第 1 章 MySQL 基本介绍一、与其它数据库比较总的来说,MySQL
数据库在发展过程中一直有自己的三个原则:简单、高效、可靠。从上面的简单比较中,我们也可以看出,在MySQL
自己的所有三个原则上面,没有哪一项是做得不好的。而且,虽然功能并不是MySQL 自身所追求的三个原则之一,但是考虑到当...
分类:
数据库 时间:
2014-05-04 00:00:41
阅读次数:
367
在C++中,编译器在看到模板的定义的时候,并不立即产生代码,只有在看到用到模板时,比如调用了模板函数 或者 定义了类模板的
对象的时候,编译器才产生特定类型的代码。
一般而言,在调用函数的时候,只需要知道函数的声明即可;
在定义类的对象时,只需要知道类的定义,不需要成员函数的定义。
但是,这对于模板编译是不奏效的,模板要进行实例化,则必须能够访问定义模板的源代码,当调用函数...
分类:
编程语言 时间:
2014-05-03 23:54:04
阅读次数:
576
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示,
在提交job后,会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类:
其他好文 时间:
2014-05-03 15:56:22
阅读次数:
282
看到这个名称我惊呆了...
SQL不是希望快速查询取得结果吗,怎么什么时候会有这个概念。
问了一个哥们,哥们认为是漫查询:同时多查询。
于是Google得出了如下结果:
慢查询其实对应的是MySQL慢查询日志系统,用来记录执行比较慢的SQL。
怎么去判断执行慢呢,MySQL中你show variables like '%quer%';时,你可以看到long_query_time 属性,对应的就是设置的比较时间。
当看到long_query_time 属性时,你同时可以看到log_slow_queries状态...
分类:
数据库 时间:
2014-05-03 15:23:59
阅读次数:
500
一、关于复制的相关问题1、异步复制解决了那些问题复制解决的基本问题是让一台服务器的数据和另外的服务器保持同步,可以位于不同的网络拓扑中,对整台服务器的特定的数据库,甚至特定的表进行复制。基于语句复制和基于行复制,都是通过记录主服务器的二进制日志,并在从服务器..
分类:
数据库 时间:
2014-05-03 15:17:52
阅读次数:
486
MySQL/MariaDB数据备份与恢复备份数据对我们来说再重要不过了,那我们如何做到对数据尽可能的安全呢,当我们的数据丢失了那又该怎么做呢,所以说数据备份对我们的数据安全性来说太重要了。数据对我们来说再熟悉不过了,也最平常不过了,我们每天都在接触各色各样的数据,数据记..
分类:
数据库 时间:
2014-05-03 15:10:58
阅读次数:
499
一、主从一主多从时,主服务器上必须启用多个binlogdump线程,来对多个从服务器发起binlogeventdump,同时主服务器来得面临,前端众多客户端发起的写操作。主服务器压力很大,若挂了,从还能读不能写了,业务不能工作了,这样就催生了双主模型。双主模型下连上多个从也可以。但..
分类:
数据库 时间:
2014-05-03 14:44:43
阅读次数:
394
大致规划:主机IP描述VIP192.168.0.222对外提供高可用IPhaproxy+keepalived(node1)192.168.0.111haproxy为后端两台WEB服务的做动静分离;keepalived为haproxy做高可用。haproxy+keepalived(node2)192.168.0.112WEB(node3)192.168.0.113提供静态请求响应Apache+PHP+MySQL(node4)..
分类:
Web程序 时间:
2014-05-03 14:37:46
阅读次数:
610