Just for Life.

来整理一下在机器学习中常用的优化方法，无非是在容易出问题的地方加入人的调控，包括数据数据，数据处理，反向传播，梯度函数等方面，在各种容易出问题的地方加入调控，使得神经网络更有效，或者说神经网络的运行在你的控制之中，而不是调了一堆参数后网络没有优化，甚至调一些无关紧要的参数。

本文收录内容：

• 正则化的常用方式与实现
• 有关数据输入和传输的处理
• 优化后的梯度函数

还是在实际的背景下对于这些概念的理解，学会变通和利用已有的知识进行问题转换。

趁寒假看完了DeepLearning的前生今世之后，用了一个下午自己推导了一番，想来还是留下个电子版的整理，供他人交流和日后查阅。（其实是我纸质版整理的太丑了）。

本文收录内容：

• 循环神经网络的基本概念
• 循环网络的经典结构
• LSTM与GRU的keras实现，自行查阅keras文档喽

重点是对于这些概念的理解，尽力写下人能看懂的公式描述，知道在什么背景下调用和背后的数学观念就可以啦。

感觉一篇博客写太长也不是很好，所以把RNN拆成了两部分，在描述了经典的RNN结构之后，再来看看为了满足实际应用，RNN结构所作出的变化和适应。

本文收录内容：

• 双向循环神经网络
• 深层的RNN模型
• 序列化与注意力

还是在实际的背景下对于这些概念的理解，或者说是为了满足实际背景而产生了这些观念，学会变通和利用已有的知识进行问题转换。

某天(今天)下午闲的没事干，想起了当初学了一堆的深度学习的数学概念，还看了Keras的官方文档，既然会写(抄)代码和懂了理念，不如自己折腾点东西玩玩。

说干就干.png，本来是想做个OCR系统在写个GUI界面弄个小软件的，因为种种原因放弃(不喜欢那个数据集)，猫狗大战的话数据量太大。挑来挑去选择了迁移学习，使用VGG16的结构去识别MNIST手写文字，怎么感觉有一个好的开始却选择了一个low的实现呢？其实也无所谓，重点是实现过程，有了这次过程实现以后的迁移学习就不是问题了。

本文收录内容：

• 边缘检测与卷积运算
• 卷积神经网络的Keras实现
• 残差网络，Inception，迁移学习的简单介绍。

重点是对于这些概念的理解，如果想观看具体概念的实现请往他处。

其实是想把这个的标签设成python的，后来想想设置成keras，后来是改成了deeplearning。如果想看算法或代码请往他处，这里只是记录学习中的收获，或者更多的是理解。就像AI的发展，每次遇到坑都会出现新的解决方案和算法，所以重点不是那些算法，而是如何面对问题，解决问题，什么样的新思路。

本文内容如下：有关读完keras和tensorflow官方文档的收获。

让python更酷更实用一些~

记录一些黑魔法，比如正则表达式，或者各种库的应用，虽然感觉日后可能并无卵用。

暂时收录：

• pandas 对多属性约束下的数据筛选(比如接收到一份excel数据后对数据的快速清洗)。
• numpy的广播机制。
• pandas 将数据写入同一个excel文件的多个sheet表。
• numpy存取csv文件
• 在需要多次写入csv文件的情况下，如何保持不会产生空行

停止更新，并无卵用。（日后这里会记录numpy和pandas，等我用熟了再说）