集成学习

集成学习一句话版本

集成学习的思想是将若干个学习器（分类器&回归器）组合之后产生新的学习器。

在学习这一章节中，老师提到了这个说法，我觉得非常言简意赅就直接引用了过来。集成学习算法的成功在于保证若分类器（错误率略小于0.5，即勉强比瞎猜好一点）的多样性，且集成不稳定的算法也能得到一种比较明显的提升。

注：深度学习其实也可以看作是一种集成学习

知识前置

这个章节的机器学习，其实更像是一种概率论的学习，同时这也是机器学习和数据分析中非常重要的一环。如果学习遇到了困难非常推荐参考张宇考研概率论部分的内容。同时这一章的算法，也是在文本分类中使用的比较多的。

名词解释：

• 先验概率：$P(A)$
• 条件概率：$P(A|B)$
• 后验概率：$P(B|A)$
• 全概率：$P(B) = \sum_{i=1}^n P(A_i)*P(B|A_i)$
• 贝叶斯公式：$P(A|B) = \frac{P(A)P(B|A)}{\sum_{i=1}^n P(B|A_i)P(A_i)}$

概率分布：

• 高斯分布：简单的来说它的分布呈现的是正态分布的样子。参考链接
• 伯努利分布：伯努利分布是0-1分布，简单的来说就是那种仍硬币的概率分布。参考链接
• 多项式分布：是伯努利分布的推广，不再是只有两种情况，有多种情况的概率分布。参考链接

贝叶斯算法的核心思想：

找出在特征出现时，各个标签出现的概率，选择概率最大的作为其分类。

聚类算法上中讲了大名鼎鼎的K-Means算法及其优化变种，在这篇中几种讲述两位两种不同思路的聚类算法。

前言

聚类算法很多，所以和讲回归算法一样，分成了上下，上中主要讲了传统的 K-Means 算法以及其相应的优化算法入 K-Means++，K-Means|| 和 Canopy 等。下中主要讲了另外两种的思路的聚类算法，即层次聚类和密度聚类。

序言

最近迷上了吉他，当然不是指那种一周速成的把妹弹唱啦。为了防止大家对吉他有一种特别简单，把妹专用道具的奇怪印象。特别提一个小知识，古典吉他在世界公认的十大难学的乐器中排第三，顺便一提，钢琴排第五。

1、前言

在之前我们介绍了线性回归算法以及其变种，LASSO回归、Ridge回归。他们是从减少过拟合的角度出发而得到的算法，而 SVM（支持向量机）则是优化原本线性回归算法中选择“分割线”，或者说选择分割超平面这样一个过程。

TAG：# 拉格朗日数乘子算法 # KKT条件

懒人攻略

只有四步：

1. 找到自己喜欢的别人的博客的Github地址，一般为username.github.io结尾。
2. Fork一份对方的源码，之后把仓库名改为YourGithubName.github.io
3. 在_config.yaml中更改个人信息，同时把_posts中的文章都删了，注意别人的文章格式，之后仿照对方的格式写即可。
4. 给你Fork的原作者写封邮件表达感谢！说不定就这么勾搭了一个大佬也不一定呢。 完成了四步后，浏览器输入YourGithubName.github.io就能在晚上看到自己的博客啦。

1、剪枝优化是什么？

决策树的剪枝是决策树算法中最基本、最有用的一种优化方案，分为以下两类：

• 前置剪枝：在构建决策树的过程中，提前停止。这种策略无法得到比较好的结果

• 后置剪枝：在决策树构建好后，然后开始剪裁，一般使用两种方案。a）用单一叶子结点代替整个子树，也节点的分类采用子树中最主要的分类。b）将一个子树完全替代另一个子树。后置剪枝的主要问题是存在计算效率问题，存在一定的浪费情况。

1、 前言

之前我们已经说了，机器学习的从线性回归，概率这个出发点发展的算法。这次我们讲从第三个出发点，使用信息熵的算法，决策树。

在前面的章节中我们已经介绍了机器学习中常用的线性回归相关的算法。这次我们引入一个新的小伙伴决策树。

读书笔记

在巴菲特看来，真正富有的人生应该是这样的：做一份自己喜欢的工作，找到兴趣相投的朋友。只要能做到这些，你的人生也一样是成功的。 正如巴菲特的总结，做一个自己能感到自己价值的工作，找到能互相认可的人也许才是人生的最大意义。在努力的做自己的喜欢的工作的时候才能更容因进入”专注“的境界。而兴趣相投的朋友则会让你的生活变得丰富，人说到底还是群居的动物，社交是必要的也是维持正常心理所必须要的要素。

同时他们之间也是互通的，一个好的社交保持了好的积极的心态，保持了良好的且多元的信息社区，促进了工作的进步，工作的进步获得了回报，在财力和心理上形成正向激励，达成”飞轮效应“，进步越来越开实现复利增长。

巴菲特有三宝，“内部积分卡”，“专注”，“复利” 内部积分卡指的是，自己的行为有自己的评价标准，自己来定义自己是什么样的人，而不是由外部来定义自己，这样做到之后就会达到一种非常好的内心自洽。正如熊太行老师讲的那样，其实有时候内心自洽是一个强大者的开端，能让我们不去盲目的做一些违背自我的决定。

“异于常人”的专注，其实很多时候是别人不能复制你成功的最大的壁垒。有着异于常人的专注的巴菲特能够通过专注找到“地上的烟蒂”，而缺了专注的行业其他人即便知道了方法也不能发现“烟蒂”。

复利，在滚雪球中，复利的魅力用于体现在投资上，每次都能在之前的基础上以一个固定的比例进行增长，之后会越涨越快一发不可收拾。这点在吴军的《Google方法论》和《硅谷来信》，以及吴伯凡老师也多次提及，不过名词略有不同，吴军老师称之为指数增长，吴伯凡老师称之为飞轮效应。都在强调可叠加的魅力。如果放在生活中，我们应该常常反思，我们现在做的工作是不是可以叠加的，是不是在以大利益行动，是不是能成为未来的自己工作学习的基础。

人生就像滚雪球，最重要的就是发现湿雪和长长的山坡 这句话特别经典，也被很多人视为人生格言。我的感悟是，湿雪不难找到，但是有耐心和勇气去用人生这一个有限的时间，去选择一个长而不急的山坡不是每个人都能做到的。很多人看到别人在急坡中一时的成功，便忍不住放弃自己的计划，跟随别人，最终摔得人仰马翻。随后重复上述过程，直到到达山底最终一无所获。最佳的策略也许是认准一个“湿雪”较多的路径，随着不陡不缓的山坡，不急不躁，把自己的雪球越滚越大。