原始思路
要想实现增量导入，完全可以不使用Sqoop的原生增量特性，仅使用shell脚本生成一个以当前时间为基准的固定时间范围，然后拼接Sqoop命令语句即可。
原生增量导入特性简介
Sqoop提供了原生增量导入的特性，包含以下三个关键参数：
Argument
Description
--check-column (col...
分类：
其他好文 时间：
2014-08-27 18:40:48
阅读次数：
332
我们有个数据库用 mysqldump备份 后来备份的速度越来越慢，备份文件也越来越大。检查的时候发现有两个表非常大而且没有必要备份，所以决定备份这个库的时候排除他们两个。可是mysqldump可没有排除某个表这个选项，那么就用shell脚本来实现吧！ 我这里就用cactidb来举例吧，我这里不备份 ...
分类：
数据库 时间：
2014-08-27 12:25:27
阅读次数：
396
什么是正则表达式？简单的说，正则表达式就是一套大量的字符串而定义的规则和方法。通过正则表达式这些特殊符号，我们可以快速的过滤，替换需要的内容。为什么要学习正则表达式？在工作中，我们做LINUX运维工作，时刻面对着大量的日志，程序，命令的输出。迫切的需要过滤我们需..
分类：
其他好文 时间：
2014-08-27 02:49:37
阅读次数：
274
前记：这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。分析原因：很多hadoop的初学者对hadoop的脚本不是很清楚，..
分类：
其他好文 时间：
2014-08-27 02:46:48
阅读次数：
306
今天上班有一周了，总算开始进行对平台的运维，遇到了第一个实战上的错误。
今天遇到一个告警，说磁盘不能写入，然后查看了一下磁盘空间
使用 df -h 发现磁盘并没有写满，还有很多的剩余空间，然后就想是什么问题，会不会是磁盘出故障什么的了。
然后咨询了一下其他人，通过df -i 查看磁盘的inode号，结果发现inode号在这个磁盘中使用为百分之百。
解决办法：
卸载磁盘
格式化...
分类：
其他好文 时间：
2014-08-26 23:03:56
阅读次数：
546
#!/bin/bash#encodebegin##endcodeend#compile=true#Author:birdman#CreateDate:2013-04-28#AlterDate:2013-04-28#Description:#Usage:functionBirdman_Init(){source/etc/profile>>/dev/null2>&1ScriptName=`basename$0`exportpid="${pid}-->$ScriptName"LogF..
分类：
其他好文 时间：
2014-08-26 19:51:38
阅读次数：
325
#!/bin/bash#encodebegin##endcodeend#compile=false#Author:birdman#CreateDate:2013-04-28#AlterDate:2013-05-02#Description:用于加密shell编译#Usage:shcompile.shfunctionBirdman_Init(){source/etc/profile>>/dev/null2>&1ScriptName=`basename$0`exportpid..
分类：
其他好文 时间：
2014-08-26 19:51:17
阅读次数：
210
getopt命令并不是bash的内建命令，它是由util-linux包提供的外部命令。相比较bash的内置命令，getopt不只支持短参-s，还支持--longopt的长参数，甚至支持-longopt的简化参数。getopt可以用于tcsh其它的shell。现在就以系统自带的帮助文件，说说getopt在bash下的使用技巧。#!/bi..
分类：
其他好文 时间：
2014-08-26 19:50:37
阅读次数：
287
举个栗子：#! /bin/bashecho -e "你真要想要执行此操作吗,yes or no?"read Confirmcase $Confirm iny|Y|yes|Yes)echo "做你想做的事情吧";;*)echo "操作终止了!"esac
分类：
其他好文 时间：
2014-08-26 11:33:45
阅读次数：
140
举个栗子#! /bin/bashdate1=`date +%Y-%m-%d` #这里用反引号引起来，反引号在键盘左上角第一个哟time1=`date +%H:%M:%S`echo "start at $date1 $time1"
分类：
其他好文 时间：
2014-08-26 11:17:15
阅读次数：
202
