偏差方差权衡

Posted by c cm on September 1, 2016

中文有些奇怪,实际是我们非常熟悉的bias variance tradeoff。是指

其中,

noise是即使我们知道“真实”的模型,也由于数据噪音导致的不能减少的误差。

注意不要和统计学中的TSS = ESS + RSS搞混,和上面的对应关系是:

TSS = expected loss
ESS = bias^2 + variance
RSS = noise

img

Andrew Ng在NIPS 2016的讲义Nuts and bolts of building AI applications using Deep Learning中,提出了现在对bias/variance的新观点。