该脚本针对批量导入数据sql文件，data目录存放所要导入的sql文件，list.txt存放要导入的列表信息。脚本内容如下：#!/usr/bin/envpython
#-*-coding:utf-8-*-
importos,sys,logging,datetime
#日志文件配置
ifnotos.path.isdir(‘logs‘):
os.mkdir(‘logs‘)
logging.basicConfig(..
分类：
数据库 时间：
2017-03-29 14:39:49
阅读次数：
275
之前由于数据储存使用excel保存了所有数据，经过初步数据筛选，数据量近4000条。一条一条录入数据库显然是不可行的。以下是我所操作的步骤： 1.只保留excel的数据部分，去除第一行的具体说明 2.文件另存为（.csv）格式 保存即可 3.把刚才存成csv格式的文件用TXT打开再次另存为 注意！ ...
分类：
数据库 时间：
2017-03-26 21:39:04
阅读次数：
234
使用sqlload导文本数据到oracle中想必很多人多使用过，但是倘若有几百或者几千个数据文本，或者实时有文本数据产生。这种场景如何批量导入oracle呢，下面就来讲解下我处理的方式。1.shell脚本LoadData.sh如下#!/bin/bash
data_dir=/home/bea/datasource/warn-log/dayflow#文本..
分类：
数据库 时间：
2017-03-16 22:55:58
阅读次数：
608
前言 在批量导入Excel中的数据时发现出生日期为整数也就是为天数，结果倒腾了翻，这是其一，其二是数据库中的某一列存的是JSON数据，但是场景是为了作为作业来运行，此时不得不将筛选出的数据手动拼接成JSON，给需要的童鞋铺一点路。 日期问题 在Excel中我们给出的出生日期则是正确的日期格式，比如如 ...
分类：
数据库 时间：
2017-03-11 15:49:10
阅读次数：
287
<a class="edit" id="batchImport"> 批量导入 </a> js代码弹窗： $("#batchImport").click(function(){ //弹窗弹窗下列内容 var html='<form id="execlForm" method="post" enctyp ...
分类：
数据库 时间：
2017-03-08 11:20:42
阅读次数：
287
工作中可能会有对HBase的复杂操作，我们现在对HBase的操作太简单了。复杂操作一般用HBaseScan操作，还有用框架对HBase进行复杂操作，iparler，sharker。我们说HBase是数据库，数据库是用来查询数据的，那么我们的数据怎么进入HBase呢，可以通过put，但是put有点儿慢 ...
分类：
其他好文 时间：
2017-03-07 00:04:30
阅读次数：
237
一、需求我在数据库中建了一张表，用来保存ucloud云上的projectid和projectnamemodels.py代码如下#coding:utf-8
fromdjango.dbimportmodels
classProject(models.Model):
name=models.CharField(u‘项目名称‘,max_length=32,blank=True)
id=models.CharField(u‘项目ID‘,max_len..
分类：
其他好文 时间：
2017-03-06 22:33:16
阅读次数：
545
mysql批量导入数据在我们使用数据库的过程中，避免不了备份、恢复、导入、导出数据，方法比较多，根据不同的数据量选择不同的方法，会提高我们的工作效率，（1）从表A导入数据到表B；一般涉及到表结构相同或者表结构不同等情况，数据量少的时候效率很高，测试表A为send_done，..
分类：
数据库 时间：
2017-02-21 19:54:09
阅读次数：
369
在使用文本导入器批量导入数据时，如果需要设置主键自增长，可以先创建一个序列： create sequence SEQ_Userinf start with 1 increment by 1nomaxvaluenominvaluenocache; 然后在导入时设置主键字段的sql函数为：SEQ_Use ...
分类：
数据库 时间：
2017-02-07 13:54:10
阅读次数：
203
最近因为工作中遇到一个需求，需要做了一个批量导入功能，但长时间运行没个反馈状态，很容易让人看了心急，产生各种臆想！为了解决心里障碍，写了这么个功能。 通过线程执行导入，并把正在执行的状态存入session，既共享执行状态，通过ajax调用session里的执行状态，从而实现反馈导入状态的功能！ 上代 ...
分类：
编程语言 时间：
2017-02-03 13:41:36
阅读次数：
258
