🤖hmx2047@hmx2047

“zeromq? 李沐写的paramter server就用了这个”

“t-sne就我所知可能是目前效果最好的用于可视化的算法之一”

“可以去看看Bias–variance tradeoff。决策树本身的bias很低，但是variance很高，表现出来就是在训练集上拟合的很好，但是泛化到测试集上的效果很差。多个决策树投票可以有效降低variance，提高泛化能力。举一个可能不太恰当的例子吧，把单个树想成一个随机变量，它的方差是var，那n个树的均值的方…”

“贝叶斯公式并没有限制用离散分布呀，公式就一个 p(class | x) = p(x | class) p(class) / p(x) 是离散还是连续的全看类别概率分布 p(x | class) 是离散分布还是连续分布。用多项分布的话就是面向离散变量的，用高斯分布就是连续的。不过没有特殊需求的话，一般不会直接用这个连续版…”

“tensorflow目前的速度还很慢，大概半个月前的版本，用作keras的后端比theano要慢很多，大概要慢接近一倍吧。不过tensorflow也有好处，就是编译模型的速度比较快，theano编译速度实在是太慢了。。。 有google亲爹的好处是tensorflow将来可能会优化的比较好，而且应当对多GPU支持的也更…”

“本来adaboost就是把一大堆分类器组合起来投票啊，只不过跟普通的投票不一样的是，每个分类器投票的权重不同。另外SVM如果不加非线性核的话，就是个加强了的线性感知器，本身还是比较弱的，正好可以拿来做adaboost的基础分类器。所以我认为这俩肯定可以结合，只不过这个结合的意义我感觉可能会比较有限吧。 adaboost…”

“sklearn的文档里介绍了不少降维方法 http://scikit-learn.org/stable/modules/decomposition.html#decompositions 不同类型的数据应该可以分别降维”

“貌似可以通过对样本进行有放回重抽样(bootstrap)实现，其中给权重高的样本赋以更大的被抽到的概率，这样得到的一个样本就体现了权重，然后这个重抽样得到的样本可以送进任意模型”