应用场景： 在实际应用中，经常碰到导入数据的功能，当导入的数据不存在时则进行添加，有修改时则进行更新， 在刚碰到的时候，第一反应是将其实现分为两块，分别是判断增加，判断更新，后来发现在mysql中有ON DUPLICATE KEY UPDATE一步就可以完成，感觉实在是太方便了， 该语句是基于唯一索 ...
分类：
数据库 时间：
2020-01-05 09:24:18
阅读次数：
533
一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系 ...
分类：
其他好文 时间：
2020-01-04 12:52:32
阅读次数：
105
[TOC] 2.6 逻辑库和SAS数据集 2.6.1 临时和永久数据集 SAS数据集有临时和永久两种存在方式 SAS数据集名称 所有的SAS数据集都有一个两级名称，两个层级之间用句点.分隔。 第一层级：逻辑库引用名 第二层级：数据集名称 注意，两级名称出现在 DATA 语句和 DATA= 选项中 逻 ...
分类：
其他好文 时间：
2020-01-03 10:23:18
阅读次数：
450
[TOC] 2.1 导入数据的方法 将数据导入SAS的方法有很多，但可以归纳为四个基本类别，其中方法2、3是需要掌握的重点。 1. 直接将数据输入SAS数据集 通过VIEWTABLE窗口（打开方式：工具 → 表编辑器），以表格形式导入 通过SAS Enterprise Guide窗，以表格形式导入 ...
分类：
其他好文 时间：
2020-01-02 22:10:25
阅读次数：
411
当我们在进行导入sql语句的操作时,一定要注意是否设置了编码,如果没有设置编码,在php代码中进行读取时会出现乱码. 一般可以有两种方式 1.在sql文件中增加set names utf8 2.在进行导入时的命令中增加参数,比如 mysql -uroot -p123456 数据库名 --defaul ...
分类：
数据库 时间：
2020-01-02 20:34:58
阅读次数：
106
本系列文章用Java实现达梦数据库的备份还原功能，分为本地备份（本服务器），异地备份（备份到其他服务器），手动备份和定时任务备份，及数据还原功能。 1. 达梦数据库备份还原分类： 代码主要通过dexp和dimp命令实现全库和表级别的逻辑备份还原 逻辑导出和逻辑导入数据库对象分为四种级别：数据库级、用 ...
分类：
数据库 时间：
2019-12-31 18:40:57
阅读次数：
173
1.新建项目选择model类型是database 2.右键schema、code engineering、importDB schema from ODBC 3.选择数据源 关于数据源可参考https://www.cnblogs.com/jycjy/p/8581064.html，注意ODBC的版本是 ...
分类：
数据库 时间：
2019-12-31 18:26:05
阅读次数：
271
在我们使用mysql导入大文件sql时可能会报MySQL server has gone away错误，该问题是max_allowed_packet配置的默认值设置太小，只需要相应调大该项的值之后再次导入便能成功。该项的作用是限制mysql服务端接收到的包的大小，因此如果导入的文件过大则可能会超过该 ...
分类：
数据库 时间：
2019-12-30 21:17:07
阅读次数：
78
kaggle自行车租赁预测 1.数据 为自行车租赁系统提供的数据，提供数据为2年内华盛顿按小时记录的自行车租赁数据。数据来源： "Kaggle自行车租赁预测比赛数据 " 2.数据预处理 通过pandas导入数据 瞅一眼看看数据格式，这里打印前5行： 查看一下数据有没有缺省值 把月，日和小时单独拎出来 ...
分类：
其他好文 时间：
2019-12-30 00:20:48
阅读次数：
166
1.导入数据的长度超过要求的值 #修改mysql,超过的部分截断 mysql> SET @@global.sql_mode=''; Query OK, 0 rows affected (0.03 sec) 2.忘记密码（与之前的版本好像有不一样的地方） 其他文章中提到过了。 ...
分类：
数据库 时间：
2019-12-28 21:07:58
阅读次数：
97
