Pre-Demo-Field

DeamoV's Blog


  • 首页

  • 分类

  • 关于

  • 归档

  • 标签

  • 搜索

EM-最大期望算法

发表于 2020-11-04 | 分类于 机器学习 | 阅读次数 Generating
| 字数统计 1538 | 阅读时长 7

必要的前置知识

  1. 最大似然估计(MLE):找出一组参数(模型中的参数),使得似然函数(模型的输出概率)的值最大。
  2. 贝叶斯算法估计:从先验概率和样本分布情况来计算后验概率的一种方式。
  3. 最大后验概率估计(MAP):求 $\theta$ 使 $P(x|\theta)P(\theta)$ 的值最大,这也就是要求 $\theta$ 值不仅仅是让似然函数最大,同时要求 $\theta$ 本身出现的先验概率也得比较大。
  4. Jensen 不等式:如果函数 $f$ 为凸函数,那么存在公式$f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta) f(y)$,进一步推论得到若 $\theta_1,…\theta_k \geq 0$ 且$\theta_1+\theta_2+…+\theta_k = 1 $,则有 $f(\theta_1 x_1 + … + \theta_k x_k) \leq \theta_1 f(x_1) + … + \theta_k f(x_k)$。这里会在后续 EM 的公式推导中使用到,证明可以看这里。
阅读全文 »

Vim 安装配置

发表于 2020-09-13 | 分类于 Vim | 阅读次数 Generating
| 字数统计 1095 | 阅读时长 5

配置安装步骤详情请看这里呀,使用 bash vim/install.sh 的脚本就好了。这个文章会持续更新,主要记录的是当前配置内容,以及一些常用命令。

阅读全文 »

GTD vs OKR 时间管理思考

发表于 2020-05-08 | 分类于 杂项 | 阅读次数 Generating
| 字数统计 2738 | 阅读时长 13

前言

自从进入了研究生以后,时间就开始严重不够用了。虽然已经把玩游戏,刷微博看八卦这种纯粹浪费时间的事情全部去掉了,但是每天仍然被做不完的事情所充斥着。

阅读全文 »

终端登录北邮校园网

发表于 2019-08-30 | 分类于 软件使用 | 阅读次数 Generating
| 字数统计 284 | 阅读时长 1

curl 直接登录

重要的事情写在开头:现在 10.3.8.211 使用命令行登录可能会出现问题。

  1. 登录默认计流量的账号
    1
     curl 'http://10.3.8.217/login' --data 'user=student_id&pass=password&line='
    
阅读全文 »

SVD 奇异值分解

发表于 2019-08-26 | 分类于 数据分析 | 阅读次数 Generating
| 字数统计 439 | 阅读时长 2

简述

SVD(Singular Value Decomposition),即奇异值分解,本质上是一种矩阵分解技术,在应用领域已经出现了进百年。矩阵分解技术指的是将一个原始矩阵表示成新的易于处理的形式,这种形式是两个或多个矩阵的乘积,可以简单的理解为因式分解。最早使用 SVD 的应用的领域为信息检索,使用 SVD 的检索方法称为隐性语义索引(Latent Semantic Index,LSI)或隐性语义分析(Latent Semantic Analysis,LSA)。

阅读全文 »

PCA 主成分分析

发表于 2019-08-20 | 分类于 数据分析 | 阅读次数 Generating
| 字数统计 849 | 阅读时长 4

PCA

简要说明

PCA 的全称为主成分分析(Principal Component Analysis)。简单的来说,PCA 的本质是将原来的坐标系转变为新的坐标系,而新的坐标系的基的选择为原始数据中方差最大的方向。

阅读全文 »

OKR 简单总结

发表于 2019-08-19 | 分类于 任务管理 | 阅读次数 Generating
| 字数统计 953 | 阅读时长 4

OKR (Objectives and Key Results) is a goal system used by Google and others. It is a simple tool to create alignment and engagement around measurable goals.

阅读全文 »

Style Transfer Loss Summary

发表于 2019-08-12 | 分类于 Losses | 阅读次数 Generating
| 字数统计 734 | 阅读时长 3

TransferLoss

VGGLoss

VGGLoss 是提取 VGG 的不同的层学到的图片的特征,之后通过对比这些不同层的特征来计算两个图片的相似度,计算相似度的功能如下:

阅读全文 »

《思维简史》 - 伦纳德·蒙洛迪诺

发表于 2019-08-09 | 分类于 读书笔记 | 阅读次数 Generating
| 字数统计 1023 | 阅读时长 5

简要

思维简史这本书是伦纳德·蒙洛迪诺关于人类思维发展、进步的“历史”系书籍。由于作者本身为物理学家,书中后半段对物理发展的描写比较多。

阅读全文 »

Few-shot Learning 总结

发表于 2019-03-26 | 分类于 FewShotLearning | 阅读次数 Generating
| 字数统计 972 | 阅读时长 4

N ways K shot few-shot Learning 问题的描述

最终训练模型的效果需要达到,给模型之前完全没见过的 $N$ 个新类,每个新类中只有 $K$ 个样本。该模型需要能够通过利用这仅有的 $N \times K$ 个样本,来对接下来给出的新样本进行分类。在 RelationNet work 1 的问题描述中,将这给出的 $N \times K$ 个样本集称为 Support Set ,待分类的图片集称为 Query Set。

常用的训练步骤

训练集中的类的样本不止 $K$ 个样本

若我们使用数据集 $D$ 来训练模型, 而 $D$ 中所有的类中 $a$ 个样本,eg. mini-imagenet 中每个类有 600 个样本,则 $a=600$。整体的训练过程可以分为多个 meta-learning 的过程,在每个 meta-learning 开始的时候,从训练集 $D$ 中随机抽取 $N$ 个类,每个类中抽取 $K$ 个样本做成 Support Set,除此之外,还从已经抽取得到每个类中,除已抽取的样本外,再抽取 $T$ 个样本作为 Query Set。之后,模型将会去学习如何根据 Support Set 的样本,来正确分类 Query Set 的样本。

  1. Learning to Compare:Relation Network for Few-Shot Learning CVPR 2018 ↩

阅读全文 »
1 2 … 7
DeamoV

DeamoV

65 日志
16 分类
49 标签
RSS
Github Twitter
Links
  • J-Cabin
© 2021 DeamoV
由 Jekyll 强力驱动
主题 - NexT.Muse