(本文是根据 "neuralnetworksanddeeplearning" 这本书的第五章 "Why are deep neural networks hard to train?" 整理而成的读书笔记,根据个人口味做了删减) 在之前的笔记中,我们已经学习了神经网络最核心的 BP 算法,以及一些改 ...
分类:
Web程序 时间:
2018-01-07 16:01:45
阅读次数:
431
前言 说起自己读汇编,总有人会在问:读汇编有啥意义?读汇编对我的开发工作有帮助吗?...我觉得读汇编是为了让我们更好地有计算机工作原理方面的知识,不仅仅是一味地高屋建瓴。就拿 IDE 和 Linux gcc 来说,我们为什么要试着用 gcc 去编译链接并生成可执行程序,而不是点一下 Run 程序就能 ...
分类:
编程语言 时间:
2018-01-07 15:59:56
阅读次数:
168
在神经网络的训练过程中,总会遇到一个很蛋疼的问题:梯度消失/爆炸。关于这个问题的根源,我在上一篇文章的 "读书笔记" 里也稍微提了一下。原因之一在于我们的输入数据(网络中任意层的输入)分布在激活函数收敛的区域,拿 sigmoid 函数举例: 如果数据分布在 [ 4, 4] 这个区间两侧,sigmoi ...
分类:
其他好文 时间:
2018-01-07 15:58:16
阅读次数:
247
之前提到,深度神经网络在训练中容易遇到梯度 消失/爆炸 的问题,这个问题产生的根源详见之前的 "读书笔记" )。在 Batch Normalization 中,我们将输入数据由激活函数的收敛区调整到梯度较大的区域,在一定程度上缓解了这种问题。不过,当网络的层数急剧增加时,BP 算法中导数的累乘效应还 ...
分类:
其他好文 时间:
2018-01-07 15:54:22
阅读次数:
193
(本文是根据 "neuralnetworksanddeeplearning" 这本书的第三章 "Improving the way neural networks learn" 整理而成的读书笔记,根据个人口味做了删减) 上一章中,我们领略了神经网络中最重要的算法:后向传播算法(BP)。它使得神经网 ...
分类:
Web程序 时间:
2018-01-07 15:53:23
阅读次数:
309
1-1:整数值用%d输出,实数用%f输出。 1-2:整数/整数=整数,浮点数/浮点数=浮点数。 1-3:scanf中的占位符和变量的数据类型应一一对应,且每个变量前需要加&符号。 1-4:在算法竞赛中,输入前不要打印提示信息。输出完毕后应立即终止程序,不 要等待用户按键,因为输入输出过程都是自动的, ...
分类:
编程语言 时间:
2018-01-06 16:01:14
阅读次数:
91
初次接触 Swift,建议先看下 A Swift Tour 否则思维转换会很费力,容易卡死或钻牛角尖。 同样是每一章只总结3个自己认为最重要的点。这样挺好!强迫你去思考去取舍。以后再看,也方便快速重建记忆。 注意: 个人笔记,仅供参考,不保证严格意义上的正确性。 ...
分类:
编程语言 时间:
2018-01-06 14:14:11
阅读次数:
329
objc 自己较为熟悉,想熟悉下风头正劲的 swift。就先从官方的入门手册开始撸。 每一小节,我都摘录或总结3个对自己三观冲击最大的【知识点】,以方便以后温习。总结不保证绝对正确,仅供交流之用。O(∩_∩)O哈哈~ ...
分类:
编程语言 时间:
2018-01-06 14:14:05
阅读次数:
142
之前对于网络这一块不是很清楚,值知道TCP/IP协议,三次握手四次握手之类的很笼统,零碎的知识,现在打算系统学习下网络相关的知识,先从http协议开始。 本人,还是新手,对于一些知识如果有理解错误的,欢迎各位大牛指正,小弟先谢过了哈... 正文开始 http请求组成部分:请求行、消息报头和请求正文 ...
分类:
Web程序 时间:
2018-01-05 16:54:37
阅读次数:
182
Executor与Task的耦合性 1,除非线程池很非常大,否则一个Task不要依赖同一个线程服务中的另外一个Task,因为这样容易造成死锁; 2,线程的执行是并行的,所以在设计Task的时候要考虑到线程安全问题。如果你认为只会在单任务线程的Executor中运行的话,从设计上讲这就已经耦合了。 3 ...
分类:
编程语言 时间:
2018-01-04 12:25:30
阅读次数:
144