PART 5 数据读取与保存 1.文件格式与文件系统： Spark支持的一些常见文件格式： 1.1文本文件： 读取：文本文件的读取通过textFile()，如果需要读取整个文件夹，可以使用wholeTextFiles()，该方法会返回一个pair RDD，键为文件名 保存：saveAsTextFil ...
分类：
其他好文 时间：
2018-02-05 21:58:51
阅读次数：
231
最近翻出大学的教材《计算机网络（谢希仁版）》看一看，网络基础还是很重要的。 No1： OSI的七层协议体系结构的概念清除，理论也较完整，但它既复杂又不实用。 TCP/IP体系结构则不同，但它现在却得到了非常广泛的应用。TCP/IP是一个四层的体系结构，它包含应用层、运输层、网际层和网络接口层（用网际 ...
分类：
其他好文 时间：
2018-02-05 16:09:01
阅读次数：
103
import cv2 import numpy import os # Make an array of 120,000 random bytes. randomByteArray = bytearray(os.urandom(120000)) flatNumpyArray = numpy.arra ...
分类：
编程语言 时间：
2018-02-05 12:44:27
阅读次数：
222
《深入理解计算机系统》第三章 程序的机器级表示学习 读书笔记 一、这章主要任务： 二、程序编码 计算机系统使用了多种不同形式的抽象，利用更简单的抽象模型来隐藏实现的细节。对于机器级编程来说，其中两种抽象尤为重要： 1、指令集体系结构或指令级框架：它定义了处理器状态、指令的格 ...
分类：
其他好文 时间：
2018-02-04 22:50:39
阅读次数：
242
读书笔记: 博弈论导论 17 不完整信息的动态博弈 建立信誉 建立信誉(Building a Reputation) 本文是Game Theory An Introduction (by Steven Tadelis) 的学习笔记。 为什么我们要建立良好的信誉？为什么我们更愿意和有信誉的人交往？ 本 ...
分类：
其他好文 时间：
2018-02-04 13:55:22
阅读次数：
130
本篇是刘汝佳《算法竞赛入门经典——训练指南》的读书笔记。 知识点： 并查集 解题思路： 将每种元素看成一个点，而每种化合物看成是由两种元素（即两个点组成的一条边），以此建图。如果加入某一条边后会出现环（即\(k\)条边(化合物),\(k\)个点(元素)），那么我们就不将这条边加入图中，即\(ans+ ...
分类：
其他好文 时间：
2018-02-03 23:14:57
阅读次数：
216
概述 花了几天时间看完了[程序员修炼之道][1]，有很多感悟，记录于此，供自己开发时参考，相信对其他人也有用。 值得一提的是，这本书写的非常好，很多大牛在走了很多弯路之后再读这本书都很感慨没有早些读。 注重实效的哲学 我的源码让猫给吃了 1.为你的行为负责是注重实效的哲学的一块基石。 2.除了尽你所 ...
分类：
其他好文 时间：
2018-02-03 00:50:01
阅读次数：
221
概述 花了几天时间看完了[程序员修炼之道][1]，有很多感悟，记录于此，供自己开发时参考，相信对其他人也有用。 值得一提的是，这本书写的非常好，很多大牛在走了很多弯路之后再读这本书都很感慨没有早些读。 [《程序员修炼之道》读书笔记①][1] 弯曲，或折断 解耦与得墨忒耳法则 1.函数的得墨忒耳法则规 ...
分类：
其他好文 时间：
2018-02-03 00:40:34
阅读次数：
175
