spark所支持的文件格式 1.文本文件 在 Spark 中读写文本文件很容易。 当我们将一个文本文件读取为 RDD 时，输入的每一行 都会成为 RDD 的 一个元素。 也可以将多个完整的文本文件一次性读取为一个 pair RDD， 其中键是文件名，值是文件内容。 ...
分类：
其他好文 时间：
2017-04-08 18:40:30
阅读次数：
205
好记性不如烂笔头,就拿Java IO来说吧,这部分的基础类我大学都已经学过一遍了，但是现在忘记的差不多了，所以准备写一篇博客，讲这些东西都回忆一下，并且整理一下。 首先借用网上的一张图： 纵向分为字节流和字符流.横向分为针对读写进行划分 在这幅图中那些非常基本的也就不提了，就提一下需要注意的几个类。 ...
分类：
编程语言 时间：
2017-04-08 18:20:06
阅读次数：
253
读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。 为什么要分库、分表、读写分？ 单表的数据量限制，当单表数据量到一定条数之后数据库性能会显著下降。数 ...
分类：
数据库 时间：
2017-04-08 18:08:42
阅读次数：
189
摘要: 在Netty中，通常会有多个IO线程独立工作，基于NioEventLoop的实现，每个IO线程负责轮询单独的Selector实例来检索IO事件，当IO事件来临的时候，IO线程开始处理IO事件。最常见的IO事件即读写事件，那么这个时候就会涉及到IO线程对数据的读写问题，具体到NIO方面即从内核 ...
分类：
Web程序 时间：
2017-04-08 13:32:17
阅读次数：
267
1 import java.io.BufferedReader; 2 import java.io.File; 3 import java.io.FileNotFoundException; 4 import java.io.FileReader; 5 import java.io.FileWrit... ...
分类：
其他好文 时间：
2017-04-08 11:20:28
阅读次数：
208
事务处理之父Jim Gray对事务隔离性的定义： Isolation: Concurrently executing transactions see the stored information as if they were running serially (one after another ...
分类：
其他好文 时间：
2017-04-08 10:52:09
阅读次数：
647
Linux基础（四） 通过前面的知识的学习，来现学现卖咯！ 1、题目：集群搭建 1.1、部署nginx反向代理三个web服务，调度算法使用加权轮询； 1.2、所有web服务使用共享存储nfs，保证所有web都对其有读写权限，保证数据一致性； 这个怎么实现呢？ 先介绍一下nginx，Nginx 是一个 ...
分类：
系统相关 时间：
2017-04-07 21:18:20
阅读次数：
281
最近在写哈夫曼压缩，遇到了一个比较让人头疼的问题，那就是对文件的读写操作，尤其是以二进制的形式来读写，无奈C++Primer第五版上写的并不详细，很多让人困惑的地方没有涉及或者没有讲清楚。于是这几天我一直在网上看了很多这方面相关的文章，觉得理解了不少，很多困惑也迎刃而解。 我们都知道，C语言里面对文 ...
分类：
编程语言 时间：
2017-04-07 19:39:55
阅读次数：
186
基于GTID的主从replication并配合MHA搭建高可用架构，请参考之前的博客：http://linzhijian.blog.51cto.com/1047212/1906434。这里只叙述如何在此基础上增加maxscale中间件，实现读写分离的功能。MaxScale是maridb开发的一个MySQL数据中间件，其配置简单，能够实现读写分离，并..
分类：
数据库 时间：
2017-04-07 19:00:17
阅读次数：
365
1.新建用户组，shengchan，caiwu，jishu2.新建用户要求如下：*tom是shengchan组的附加用户*harry是caiwu组的附加用户*leo是jishu组的附加用户*新建admin用户，此用户不属于以上提到的三个部门3.新建目录要求如下：*/pub目录为公共存储目录对所有用户可以读，写，执行，但用户只..
分类：
其他好文 时间：
2017-04-07 18:53:14
阅读次数：
229
