PyTorch 学习和使用手册，包括 pytorch 基本语法，神经网络编程流程，具体例子和迁移学习使用，记录以备忘，摘自 PyTorch简明教程
之前看的一些传统优化问题，用的基本都是拉格朗日乘子法 (Lagrange Multiplier)，但最近遇到一些非平常的优化问题，特此系统整理一下这一块的理论，包括：拉格朗日法的基础理论，不同限制条件下的拉格朗日法，对偶问题，交替方向乘子法 (ADMM) ，具体优化例子。
机器学习中的常用线性回归和分类算法原理，包括线性回归，逻辑回归，线性判别分析，多分类，参数模型优缺点等。
整理一下之前有关 SVM 的笔记，并补充一些内容，包括原始问题定义、对偶问题推导、松弛变量的加入、核函数的应用等。
在数据驱动的机器学习时代，构建泛化能力强的模型需要大量规范、带标注的数据，而数据打标往往代价昂贵且费时，因此对已有的数据和模型进行重用很有必要。传统的机器学习假设这些数据服从相同分布，不再成立。迁移学习 (Transfer Learning) 可以基于不同分布的源域数据进行知识迁移，实现对目标域数据的标定。著名学者吴恩达在 NIPS 2016 的 Tutorial 上曾表示：“在监督学习之后，迁移学习将引领下一波机器学习技术商业化浪潮”。