在导出大量CSV数据的时候，常常体积较大，采用C#自带的压缩类，可以方便的实现该功能，并且压缩比例很高，该方法在我的开源工具DataPie中已经经过实践检验。我的上一篇博客《功能齐全、效率一流的免费开源数据库导入导出工具（c#开发，支持SQL server、SQLite、ACCESS三种数据库）.....
分类：
数据库 时间：
2014-07-07 13:50:58
阅读次数：
182
最近在用kettle做数据统计，遇到了标题中说的问题，解决方法也简单，不过还要说明一下虽然这两个都是内存溢出，但是是有区分的，OutOfMemoryError表示堆溢出，StackOverFlowError表示栈溢出，一般出现前者的情况比较多，后者的情况出现的较少，除非你用了深度循环。一般情况下s..
分类：
其他好文 时间：
2014-07-02 06:21:41
阅读次数：
246
今天再弄kettle 的时候遇到两个问题， 1.更新数据的时候，遇到一个问题，就是我的输入表主键不是null，但是他一直说我插入null值 2.更新的数据，出现乱码首先说第一个 其实kettle在进行更新数据的时候，它是需要你根据你的主键进行更新，你的数据的，如果你的主键只进行比较而不进行更新，.....
分类：
其他好文 时间：
2014-07-01 20:38:03
阅读次数：
275
中间库---->机构代码表 本地数据库------>机构表他们两张表的结构是这样的： 机构代码表 Id 机构表 Id Flag需求是这样的，我本地的机构表中的Id只要在中间库的机构代码表里存在，我就要把机构表里的Flag列更新为1，其实一开始想的是使用变量应该是可以的，...
分类：
其他好文 时间：
2014-07-01 20:27:52
阅读次数：
928
Odyssey.js 是一个开源工具，它可以让你的地图，叙述和其他多媒体结合成一个美丽的故事。创建新的故事很简单，要求无非是一个现代的 Web 浏览器和一个好的想法。你可以使用现成的模板来控制和设计精美的布局，让你的故事的整体外观和感觉都充满吸引力。
分类：
Web程序 时间：
2014-07-01 18:39:44
阅读次数：
278
原文:c#自带压缩类实现数据库表导出到CSV压缩文件的方法 在导出大量CSV数据的时候，常常体积较大，采用C#自带的压缩类，可以方便的实现该功能，并且压缩比例很高，该方法在我的开源工具DataPie中已经经过实践检验。我的上一篇博客《功能齐全、效率一流的免费开源数据库导入导出工具（c#开发，支持SQ...
分类：
数据库 时间：
2014-07-01 17:24:29
阅读次数：
268
Greenplum主要组件包括：Master、Segments、Interconnect；其他组件包括ETL Server、Greenplum command center等。0. 组件之-Master：master功能master也是一个gp的独立的数据库，是gp的入口，负责接受和管理客户端的连接...
分类：
其他好文 时间：
2014-07-01 16:57:59
阅读次数：
411
1.ETL：数据抽取2.抽取数据在不同的数据源之间，把数据进行转化，加载，清洗操作，保证抽取的数据合法。3.开源实现：Kettle 工具====================================================================学习：大家可以学学这个Ket...
分类：
其他好文 时间：
2014-06-26 13:05:42
阅读次数：
210
在我这篇文章中，我提到了如何用OpenSSL从https网站上导出SSL的CA证书? 这种方式不太直观，且需要用户自己手工拷贝，然后另存为文件，那么有没有更好更方便的工具呢？
幸运的是，有热心于开源项目的行业人士为我们提供了一个更方便简单的工具：portecle； 利用这个工具我们更能轻松的从HTTPS网站上导出SSL的CA证书.大家应该等待不急了吧。
OK，不和大家饶弯子了，直接进入具体操作步骤。...
分类：
Web程序 时间：
2014-06-26 10:18:33
阅读次数：
231
写在前面一：
数据仓库ETL工具有很多，基于大数据环境下的分析，Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二：
所用软件说明：
一、什么是Kettle
Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transf...
分类：
其他好文 时间：
2014-06-22 12:01:20
阅读次数：
619
