Hadoop学习笔记总结 01. InputFormat和OutFormat 1. 整个MapReduce组件 InputFormat类和OutFormat类都是抽象类。可以实现文件系统的读写，数据库的读写，服务器端的读写。这样的设计，具有高内聚、低耦合的特点。 2. 提交任务时，获取split切片 ...
分类：
其他好文 时间：
2017-04-27 23:20:39
阅读次数：
356
格式化时主要有如下格式，且对应的操作系统的不一样： FAT32：Windows和Mac都支持，不过单个文件不能超过4G，但可以采用分包压缩的方式搞定。 NTFS：Windows专用格式，Mac常规无法识别，但是可以通过命令破解而不需要安装其它软件。 exFat：Windws和MAc都支持，缺点是不太 ...
分类：
其他好文 时间：
2017-04-27 23:19:15
阅读次数：
318
使用shell脚本简单模拟对特定文件同时读写操作文件内容的格式：field1 , field2 ， field3 , field4以，为分隔符，但是存在空格。 脚本用法如下： ./check_write_read.sh 10 输出结果： Thu Apr 27 19:59:44 CST 2017:Re... ...
分类：
系统相关 时间：
2017-04-27 21:16:29
阅读次数：
321
一、背景 在复制的运用场景中，事务发布是使用最为广泛的，我遇到这样一个场景：在YangJiaLeClub数据库中有表、存储过程、视图、用户定义函数，需要提供给其它程序读取放入缓存，程序需要比较及时的获取到这些数据，需要从权限和性能控制的角度出发，我采用了SQL Server的事务复制技术和times ...
分类：
数据库 时间：
2017-04-27 19:46:04
阅读次数：
407
mysql-proxy代理加mysql主从实现读写分离一：实验目标MySQLProxy(代理)服务概述MySQLProxy实现读写分离MySQLProxy+mysql主从实现读写分离二：实验环境：关闭防火墙mysql-proxy服务端：xuegod62.cnIP：192.168.1.62mysql服务器（主，负责写）服务端：xuegod63.cnIP：192.168.1.6..
分类：
数据库 时间：
2017-04-27 19:27:30
阅读次数：
254
转载自贴吧：http://tieba.baidu.com/p/2825006787 一、关于txt纯文本的读写 其实.txt，.xml，.json这类文件都属于文本文件，类似的还有.lrc歌词文件，.ini配置文件，.reg注册表文件等等，这类文件所储存的内容都是文本，只是各自有它们自己的格式，便于 ...
分类：
编程语言 时间：
2017-04-27 14:46:55
阅读次数：
516
通常一个网站在初期访问量都比较小，所以一般的小架构足以支撑。但是，当网站逐渐发展起来后，随之而来的是大量的访问，这时候最先出现的瓶颈就是数据库了。因为数据的写入读取操作（I/O）是集群中响应速度最慢的，所以在集群建设时就要规划好后端存储架构。后端存储数据库架构..
分类：
数据库 时间：
2017-04-27 11:41:49
阅读次数：
269
点击链接加入群【Dubbo技术交流2群】：https://jq.qq.com/?_wv=1027&k=46DcDFI 一、环境 操作系统：CentOS-6.6-x86_64-bin-DVD1.iso JDK版本：jdk1.7.0_45 MyCat版本：Mycat-server-1.4-release ...
分类：
数据库 时间：
2017-04-26 20:53:04
阅读次数：
278
Java读取txt文件内容。可以作如下理解： 1、首先获得一个文件句柄。File file = new File(); file即为文件句柄。两人之间连通电话网络了。接下来可以开始打电话了。 2、通过这条线路读取甲方的信息：new FileInputStream(file) 目前这个信息已经读进来内 ...
分类：
编程语言 时间：
2017-04-26 19:24:08
阅读次数：
238
hdfs副本和基本读写。 core-site.xmlhdfs-site.xml 从/etc/hdfs1/conf下拷贝到工作空间 import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apa... ...
分类：
其他好文 时间：
2017-04-26 13:11:46
阅读次数：
1247
