上一篇中我们基本完成了从数据库到文件的读写，但是上一篇的处理上面是返回字符串，这样在我们的处理过程会变的很简单，但是当我们如果处理程序返回的不是一个String类型的字符串，而是一个entity类型呢？那么在我们的writer的处理时候就会边的不一样了。现在我们就来看看他们之间的区别。我们如果对于S...
分类：
数据库 时间：
2014-10-18 16:47:51
阅读次数：
172
上一篇已经介绍了如何将csv文件中的内容导入到数据库中，这一片我们来看看如何将数据库中的数据导出到csv文件中在上一篇的基础上，我们新加内容，就不重新新建maven项目了首先在原来的项目上面的java包下新建一个configuration，用来配置job的相关内容，为与上篇区分，我们取名为Confi...
分类：
数据库 时间：
2014-10-18 16:42:00
阅读次数：
315
最近在学习Spring batch相关的内容，网上也有不少Spring Batch相关的知识，不过大多都是使用xml进行配置的。这里是我用注解的方式进行相关的学习心得。首先我们来看如何将一个文本文件中的内容导入到数据库中。我们先来看一下我们所需要的环境。我们这里使用的是STS（Spring Tool...
分类：
编程语言 时间：
2014-10-18 11:07:04
阅读次数：
487
悲剧的背景跑自己主动化脚本的机器连不上toastserver了，仅仅能自己写个脚本每天跑了。当然要放在crontab里了。5 3 * * * sh ~/nosecron.sh更悲剧的结果第二天过来一看结果，FAIL了大半。烦燥的分析非常多都是由于：catch_pkts.append(pkt.getl...
分类：
其他好文 时间：
2014-10-17 18:39:38
阅读次数：
196
到目前为止，我们使用的学习方法都是批量学习（batch learning）方式，即首先给定训练集学习出拟合假设函数中的参数，然后评价的效果的时候使用独立的测试集。本篇博文将会介绍一种在线学习（online learning）方式，即算法必须在学习的过程中不断地作出预测，而不是批量学习方式一样，学习过...
分类：
其他好文 时间：
2014-10-16 13:54:32
阅读次数：
204
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合...
分类：
其他好文 时间：
2014-10-16 00:17:11
阅读次数：
415
create or replace procedure BATCH_INSERT_A(insertNo in integer) isn_id integer;/***************************name:batch_insert_table_ppurpose:--向A表批量插入数...
分类：
其他好文 时间：
2014-10-15 20:11:31
阅读次数：
227
一、简介 当我们需要oracle数据库定时自动执行一些脚本，或进行数据库备份、数据库的性能优化，包括重建索引等工作是需要使用到定时任务。 定时任务可以使用以下两种完成。 1、操作系统级的定时任务，win的定时任务，unix的crontab 2、数据库级的定时任务。 相对来...
分类：
数据库 时间：
2014-10-15 00:04:49
阅读次数：
302
一、Crontab -e 加入输出Log*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1二、查看Log发现，找不到Hadoop三、脚本中指定Hadoop完整路径#!/bin/sh#upload list t...
分类：
Web程序 时间：
2014-10-13 22:51:47
阅读次数：
659
