从这里找的一个宝贝源码，可以大大缓解内存问题。https://www.kaggle.com/arjanso/reducing dataframe memory size by 65/code ...
分类：
其他好文 时间：
2020-03-06 23:40:50
阅读次数：
117
pyinstaller打包一个exe动辄几十M几百M （特别是import pandas以后） 知乎上居然没有人po这方面的”知识“ 查了很多关于reduce pyinstaller打包出exe大小的方法 列举如下 玄学解法1 去除不必要的库 当我们用cmd/powershell 输入这一段神秘代码 ...
分类：
编程语言 时间：
2020-03-04 14:59:11
阅读次数：
349
高阶函数 传入函数 既然变量可以指向函数，函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数称为高阶函数 map/reduce map(func, iterables) map object Make an iterator that computes the function ...
分类：
其他好文 时间：
2020-03-04 11:16:47
阅读次数：
69
1、什么是Spring Data Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data可以极大的简化JPA的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作 ...
分类：
编程语言 时间：
2020-03-02 21:03:08
阅读次数：
78
1、什么是Spring Data Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data可以极大的简化JPA的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作 ...
分类：
编程语言 时间：
2020-03-02 20:42:38
阅读次数：
69
我的个人博客：https://www.luozhiyun.com/ 为什么需要Spark？ MapReduce的缺陷 第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。 第二，只提供Map和Reduce两个操作。 举个例子，两个数据集的Join是很基本而且常用的功能，但是 ...
分类：
其他好文 时间：
2020-03-01 12:46:39
阅读次数：
87
MapReduce: 分布式并行编程, 也就是多台机器的 CPU 之间的并行编程. MapReduce 帮你自动实现底层. 分而治之的策略: 理念: 实例: 两个文件, 统计这两个文件中单词的个数 key:单词, value:出现次数 reduce: key - value list. 用 Iter ...
分类：
其他好文 时间：
2020-02-29 15:01:41
阅读次数：
64
第一： 匿名函数 lambda的理解 第二： filter函数的理解 第三： map函数的理解 第四：reduce函数的理解 ...
分类：
编程语言 时间：
2020-02-29 13:13:17
阅读次数：
54
1. 内建属性 2. 内建函数 range map filter reduce sorted 1. 内建属性 python3中查看类的内建属性和方法： 1 >>> class Person: 2 ... pass 3 ... 4 >>> dir(Person) 5 ['__class__', '__ ...
分类：
其他好文 时间：
2020-02-28 21:08:38
阅读次数：
109
一、 reducer纯函数方便自动化测试 二、 ...
分类：
其他好文 时间：
2020-02-28 01:20:25
阅读次数：
48
