这里是深度学习基础视频的学习笔记一
1.1 绪论
- 人工智能发展背景：在全世界的受重视程度越来越高，应用广泛，发展前景巨大，但是我国人工智能人才明显供给不足。
- 人工智能>机器学习>深度学习：深度学习方法是机器学习方法中的一种，而机器学习方法只是实现人工智能大目标的一种手段。
- 专家系统VS机器学习：专家系统基于手工设计规则，结果容易解释，但是构建系统费时费力，且个人主观性较强；机器学习则基于数据自动学习，减少个人主观性，处理效率以及准确率较高，但是结果可能不易解释。
- 机器学习所要研究的内容：模型（对要学习问题映射的假设）、策略（从假设空间中学习/选择最优模型的准则）、算法（根据目标函数求解最优模型的具体计算方法）。
- 传统机器学习VS深度学习：机器学习根据是/否应用了神经网络分为传统机器学习和神经网络，神经网络应用了深度神经网络才称之为深度学习方法。
传统机器学习：人基于问题的理解，手动设计一些特征，再通过这些特征进行浅层学习，输出结果。由于需要人工设计特征，学习过程往往费时费力。深度学习：试图从特征比较简单的数据中学习复杂的高层特征，最后特征足够强大时输出结果。由于只要选择一定数量的数据，交由机器选择和优化模型即可，比较高效，节省精力。但数据很少时，使用人工指定规则的传统机器学习可能会占据上风。
1.2 深度学习概述
- 深度学习的能与不能：
1）算法输出不稳定，容易被攻击。2）模型复杂度高，难以纠错和调试。3）模型层及复杂程度高，参数不透明。4）端到端训练方式对数据依赖性强，模型增量性差。5）专注直观感知类问题，对开放性推理问题无能为。6）人类知识无法有效引入进行监督，机器偏见难以避免。 - 浅层神经网络：
- M-P神经元：
- 特点：
1）多输入信号进行累加。
2）权值正负模拟兴奋/抑制，大小模拟强度。
3）输入和超过阈值，神经元被激活。 - 限制：权重预先设置，无法自己从数据里学习。
- 特点：
- 单层感受器：
- 概念：是首个可以学习的人工神经网络。
- 限制：单层感受器无法处理异或问题。
- 多层感受器：
- 用三层感受器实现同或门。
- 万有逼近定理：
- 概念：如果一个隐层包含足够多的神经元，三层前馈神经网络（输入-隐层-输出）能以任意精度逼近任意预定的连续函数。
- 梯度消失：
- 前面层的学习会显著慢于后面层的学习（只能更新后面几层的参数，前面的基本更新不了）。
- M-P神经元：
- 神经网络到深度学习：
- 逐层预训练：
- 让网络有一个很好的初始值。即在解决问题的时候，不用从零开始训练一个模型，可以从类似问题中训练过的模型入手。
- 自编码器：
- 一般是一个多层神经网络（最简单：三层，包括输入层、隐层以及输出解码层）
- 学习目标：使得输出层与输入层误差最小。
- 最初被提出用来降维。
- 受限玻尔兹曼机（RBM）：
- 为两层神经网络，包含可见层v（输入层）和隐含层h。不同层之间全连接，层内无连接（二分图）。
- 逐层预训练：