CCM Blog

Factorization Machines

1. 模型定义 其中,k为描述分解维度的超参。 优点: 特征稀疏时可用 线性复杂度 O(kn) 2. 学习 直接优化primal 3. 模型对比 SVM 线性核SVM一致 比Polynomial核,权重间是相关的 比其他Factorization方法 如Matrix and Tensor Factori...

Ad Click Prediction

1. FTRL $\textbf{g}t$ 第t个样本向量 $g{t, i}$ 第t个样本向量的第i个变量 $\textbf{g}_{1:t} = \sum_1^t \textbf{g}_i$ OGD(Online Gradient Descent): 其中$\eta$为学习速率。 缺点为稀疏性不足。 FTRL: 其中$\sigma$为学习率,$\sigma_{1:t} ...

Dynamic Topic Models

1. Dynamic Topic Model 1. Static Topic Model eg. LDA $\beta_{1:K}$ K topics, multinomial distribution of fixed volcabulary Generative Process: Choose topic proportions θ from a distributio...

Recent Advances in Convolutional Neural Networks

1. Introduction 基本结构: input layer first layer convolutional layer aims to learn feature representations of the inputs. The activation function introduces nonline...

Python immutables异常行为

from copy import copy >>> a = [1, 2, 3] >>> b = a[:] >>> a is b # 1 >>> copy(a) is a # 2 >>> c = (1, 2, 3) >>> d = c[:] >>> e = (1, ...

贝叶斯规划学习

最新一期的《环球科学》将贝叶斯规划学习(Bayesian program learning,简称BPL)评为2016年十大创新之一。找到其源头Human-level concept learning through probabilistic program induction科普一下。 人类学习的两个特点还没有被现在state-of-art的机器学习获得: 大多数算法还是data-...

逻辑回归

基本模型(二元) 对条件概率建模: y=1的对数几率(log odds/logit)为 $log \frac{p}{1 - p}=w \cdot x$ 参数估计方法 一般fit方式为极大似然法maximum likelihood,对其负对数似然函数(cross-entropy error)求极小值,就能得到参数$w$的估计值。具体求解可用梯度下降法(一阶...

knn

KNN是memory-based learning,或instance-based learning最简单的例子。在K为1时,可以生成Voronoi Diagram。 除了一般的定义方式,即选择离所需预测点最近的k个点的某种描述来预测,还可以从KDE角度来看。 TBC

Python参数传递

Python参数传递方式: call by sharing,means that each formal parameter of the function gets a copy of each reference in the arguments. def f(a, b): a += b return a >> a = (1, 2) >> ...

离散分布

假设投掷一枚硬币n次,正面朝上概率为p: 分布名 含义 Bernoulli n=1时,正面朝上 Binomial n次中有k次正面朝上 Geomery 第一次正面朝上之前,投掷次数 ...