在spark streaming读取kafka的数据中，spark streaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream，前者会自动把offset更新到zk中，默认会丢数据，效率低， ...
分类：
其他好文 时间：
2020-01-31 01:00:37
阅读次数：
82
1.settings里配置 增加一个字典（里面配置redis信息） 2.安装django_redis模块，并导入 from django_redis import get_redis_connection r = get_redis_connection()# 实例一个链接对象r 方法里面传sett ...
分类：
其他好文 时间：
2020-01-29 19:41:01
阅读次数：
212
操作系统：win10 环境：vscode+anaconda（python3.7） 非常头疼的问题，查了很久发现是可能是anaconda的ssl模块和系统自带的冲突了，最后参考了以下这篇文章解决: 下载openssl的安装包并安装，并添加到系统环境变量 https://slproweb.com/pro ...
分类：
编程语言 时间：
2020-01-28 23:30:29
阅读次数：
93
一、结构（Struct）是CTS中五种基本类型之一，是一种值类型，同样封装了同属一个逻辑单元的数据和行为，这些数据和行为通过结构中的成员表示；结构与类共享大多数相同的语法，但结构比类受到的限制更多，结构适用于表示轻量级类型；使用struct关键字定义结构： //定义一个公共结构MyStruct pu ...
有两个隐藏事务提交时间点需要注意，第一个是 `autocommit=1` _Mysql session_ 级别的自动提交变量，所有 _ORM_ 框架中的事务提交控制都会受到这个字段影响，默认情况下当前语句会自动提交，但是如果是显示 _begin transaction_ 开启事务需要自行手动提交... ...
分类：
数据库 时间：
2020-01-27 17:42:37
阅读次数：
143
一、类（Class）是CTS中五种基本类型之一，是一种引用类型，封装了同属一个逻辑单元的数据（Data）和行为（Behavior），这些数据和行为通过类中的成员表示；使用class关键字定义类： //定义一个公共类MyClass public class MyClass { public int M ...
关系表介绍及使用 一对一关系 增加数据 方式1 方式2 删除数据 表一外键关联到表二,表一删除,不影响表2,表2删除会影响表1 更新数据 一对多关系 增加数据 方式1 外键关联的直接赋值为某个对象即可 方式2 删除数据 更新数据 多对多关系 添加数据 删除数据 示例 ...
分类：
其他好文 时间：
2020-01-25 20:49:00
阅读次数：
74
https://pintia.cn/problem-sets/12/problems/352 1 double fact(int n) 2 { 3 double product; 4 if (n == 0) 5 { 6 product = 1; 7 } 8 else 9 { 10 product = ...
分类：
其他好文 时间：
2020-01-25 20:44:03
阅读次数：
101
查询接口 all() 查询所有结果，结果是queryset类型 filter( kwargs) and条件关系：参数用逗号分割表示and关系 其中filter的参数也可以通过字典方式传入 get( kwargs) 返回与所给筛选条件相匹配的对象，不是queryset类型，是行记录对象，返回结果有且只 ...
分类：
其他好文 时间：
2020-01-23 22:50:56
阅读次数：
125
1 # Author：Winter Liu is coming! 2 import cv2 as cv 3 import numpy as np 4 import matplotlib.pyplot as plt 5 6 7 def match_demo(src1, src2): 8 res = c ...
分类：
其他好文 时间：
2020-01-23 22:41:59
阅读次数：
100
