版本说明：Spark-2.3.0 使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。 1 DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并 ...
分类：
其他好文 时间：
2018-10-19 02:19:29
阅读次数：
360
原始需求如下： 业务系统设置成这样，见截图。 工资项目为了方便录入，都是做成列的。 但是这些数据需要和另外的费用报销系统的数据关联，费用报销系统的费用项目是横向的，用费用项目、金额的多行来表达。那么这里工资的数据如何转换成行呢？ 在Kettle里面做一个列转行的转换就行。参考如下。 其中表输入的数据 ...
分类：
其他好文 时间：
2018-09-09 16:52:19
阅读次数：
474
数据合并时可以使用merge方法，对两个dataFrame根据某一个series合并，这个方法非常好用，只要找到了合并的标准，新的数据就可以重构出来。 1.命令： pd.merge() on：列名，join用来对齐的那一列的名字，用到这个参数的时候一定要保证左表和右表用来对齐的那一列都有相同的列名。 ...
分类：
其他好文 时间：
2018-09-08 17:59:46
阅读次数：
569
接着上篇文章的订单表（商品编号，价格设置时间id(类似于创建时间，创建时间约早，则act_id越小) ，价格的时间段，商品价格） 一、将一条记录中多个字段的值拼接为一个字段 现要求将两个时间段合并为一个字段，应该如何做呢？ 先来看下理想的结果： 查询出的时间段合并到一起了： 代码如下，将查询的字段用 ...
分类：
数据库 时间：
2018-08-30 23:36:39
阅读次数：
367
1.提炼函数 2.避免不必要的if..else.. 3.不要对参数赋值 4.替换逻辑 5.提炼类 6.以对象代替数组或者字典 7.以常量代替魔法数据 8.合并重复的条件片段 9.获取数据库表字段，按需要获取 10.移除不必要的参数 11.将查询函数和修改函数分开 ...
分类：
编程语言 时间：
2018-08-25 18:51:01
阅读次数：
289
在用户登录时，将cookie中的购物车数据合并到redis中，并清除cookie中的购物车数据。 普通登录和QQ登录都要合并，所以将合并逻辑放到公共函数里实现。 在carts/utils.py中创建merge_cart_cookie_to_redis方法 修改登录视图 rest_framework_ ...
分类：
其他好文 时间：
2018-07-30 22:40:36
阅读次数：
284
#!/usr/bin/env python# -*- coding:utf-8 -*-import pandas as pdsalary = [4000,8000,5000,7500,12000]age = [25,30,28,33,40]limit = [20000,70000,35000,500 ...
分类：
其他好文 时间：
2018-07-27 15:31:33
阅读次数：
134
打印： (190) [{…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, ...
分类：
其他好文 时间：
2018-07-25 19:08:07
阅读次数：
220
MYSQL中可以通过内外键链接,将有关系的表中数据合并到一起进行条件筛选: 首先创建两个新表,数据如下: student 表数据: score 表数据: 可以看到students表中stu_id为16048008的记录对应score表没有数据; 1.当进行内连接时,系统会自动忽略两个表中对应不起来的 ...
分类：
其他好文 时间：
2018-06-24 21:04:51
阅读次数：
178
该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。 需要设置的参数： 旧数据来源：旧数据来源的步骤 新数据来源。新数据来源的步骤 标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。 1. “i ...
分类：
其他好文 时间：
2018-06-22 20:32:40
阅读次数：
201
