CCM Blog

Generative Adversarial Networks

生成模型:用从分布$p_{data}$采样得到的训练集,学习估计出该分布的模型。形式可以是估计出分布$p_{model}$,也可以是学会生成$p_{model}$的样本。 1 生成模型优点 生成模型和强化学习关系密切。model-based强化学习中就包含生成模型。比如可用来学习根据现在state和action,生成未来state的分布;使用生成学习来模拟,还能减少因为错误acti...

Factorization Machines

1. 模型定义 其中,k为描述分解维度的超参。 优点: 特征稀疏时可用 线性复杂度 O(kn) 2. 学习 直接优化primal 3. 模型对比 SVM 线性核SVM一致 比Polynomial核,权重间是相关的 比其他Factorization方法 如Matrix and Tensor Factori...

Ad Click Prediction

1. FTRL $\textbf{g}t$ 第t个样本向量 $g{t, i}$ 第t个样本向量的第i个变量 $\textbf{g}_{1:t} = \sum_1^t \textbf{g}_i$ OGD(Online Gradient Descent): 其中$\eta$为学习速率。 缺点为稀疏性不足。 FTRL: 其中$\sigma$为学习率,$\sigma_{1:t} ...

Dynamic Topic Models

1. Dynamic Topic Model 1. Static Topic Model eg. LDA $\beta_{1:K}$ K topics, multinomial distribution of fixed volcabulary Generative Process: Choose topic proportions θ from a distributio...

Recent Advances in Convolutional Neural Networks

1. Introduction 基本结构: input layer first layer convolutional layer aims to learn feature representations of the inputs. The activation function introduces nonline...

Python immutables异常行为

from copy import copy >>> a = [1, 2, 3] >>> b = a[:] >>> a is b # 1 >>> copy(a) is a # 2 >>> c = (1, 2, 3) >>> d = c[:] >>> e = (1, ...

贝叶斯规划学习

最新一期的《环球科学》将贝叶斯规划学习(Bayesian program learning,简称BPL)评为2016年十大创新之一。找到其源头Human-level concept learning through probabilistic program induction科普一下。 人类学习的两个特点还没有被现在state-of-art的机器学习获得: 大多数算法还是data-...

逻辑回归

基本模型(二元) 对条件概率建模: y=1的对数几率(log odds/logit)为 $log \frac{p}{1 - p}=w \cdot x$ 参数估计方法 一般fit方式为极大似然法maximum likelihood,对其负对数似然函数(cross-entropy error)求极小值,就能得到参数$w$的估计值。具体求解可用梯度下降法(一阶...

knn

KNN是memory-based learning,或instance-based learning最简单的例子。在K为1时,可以生成Voronoi Diagram。 除了一般的定义方式,即选择离所需预测点最近的k个点的某种描述来预测,还可以从KDE角度来看。 TBC

Python参数传递

Python参数传递方式: call by sharing,means that each formal parameter of the function gets a copy of each reference in the arguments. def f(a, b): a += b return a >> a = (1, 2) >> ...