• 得物一:
  • 线上线下不一致（指的是指标不一致，离线涨线下不涨）：
    • 训练时候：指标根本没有对齐线上，例如离线指标看的auc，实际上GAUC涨了才有收益；训练目标也和线上不一致，线上评估一个月的，线下转化标签只有24h的。长期转化看不到；训练标签就有问题，关联上或者标签是有问题的等的。
    • ab阶段：流量分配不均匀，aa就有问题；其他ab实验叠加导致有问题。
    • 推理阶段：
      1. 评估样本不一样，例如离线只评估曝光样本，线上可能会评估其他样本，导致其他样本曝光，以及数据采样策略的问题 离线训练样本的分布和线上不一样，线上可能新用户占比比较高
      2. 特征不一样：训练时候能拿到线上拿不到的标签和特征；工程漏填错填特征了
      3. 模型不一样：线上加载的模型有问题，Embedding没有加载上；dropout等设置有问题；batchnorm没有加载上
      4. 下游问题：q打分分布不一样了，导致后续重排逻辑出问题了
      5. 其他线上问题：耗时涨了很多，导致收益没了。
  • dead relu的原因并且如何恢复？如何避免？
    • 成因：
      • 学习率太高，一次更新就将b/w推的太负了
      • 初始化有问题：
        • relu会将方差减半，导致到后面方差越来越小，会被b主导
        • 方差过大：会导致输出过大，后续梯度很大，直接使b一下更新到很负的负数
        • 解决：初始化需要将var乘以2
      • 不小心对b也进行了权重衰减。以及b为0初始化
        • 解决：初始化大一点
      • 输入偏移了，导致在负半区
      • 深网络导致最后能是上游更新的通路很少了，每次有一半都没法更新的；并且会使层间的输出偏移，之后变得更快负。
        • resnet并且batchnorm
      • 并且类别不均衡
    • 拯救：
      • 立马降低学习率
      • 立马换损失函数
      • 重新初始化
      • 输入分布换一下

并不是noise越少越好，noise主要是为了摆脱鞍点的[¹]

所以主要是要学的一个更好的分布，分布更加均匀，更加散。同时在长尾的例子上希望能学的更好 [¹]

参考书⬆[¹]

• 负采样MRSE:done，一般负采样不用在评分预估上。
• 实习时候方法对比热榜是不是有偏重

方向一

标准脸

标准脸图片

1. 首先是需要对图数据写一个适配器，返回Data，label形式（one-time only）
2. 然后需要禁用所有的pin_memory至少在我本机上是这样的
3. 修改backdoor形式
4. 改优化器
5. 改文件夹保存的文件名格式，”:”改成“_”
6. 处理引用__init__.py

Algorithm

1. Style/artratex.sty:316:注释掉了
2. Thesis.tex:48-52:增加了Algoritme的包及其设置

强化学习

Basics [¹]

前向传播方式 [¹]

• KMP：
  • 重复的子字符串KMP
  • strstr

排列组合

线性规划

1. 单纯形法

pair[¹]

Pair is used to combine together two values that may be different in type.

推荐系统[¹]

• ALS: 矩阵分解算法，$Q=LR$,交替最小二乘。通过分别固定左右矩阵，依次更新。通过$L=QR^{-1}$，求得另一个矩阵。矩阵通过随机初始化，然后更新到收敛为止。

Question List[¹](其实吧，我怀疑就是抄的c++ primer里面的，c++primer介绍的确实详细。)

梯度下降

C++ [¹, ²]

• global variable is automatically initialized with default value.But local varible not!!.

Adaboost[¹]

注意点：

1. 数据有权重，根据权重进行学习得到基分类器
2. 基分类器学习方法：任一弱分类器？
3. 基分类器的权重系数：根据分类误差率进行设置。
4. 数据权重更新：上一轮权重乘以当前模型分类误差率相关系数
5. 最终模型，基模型相加。
6. 损失函数是指数函数（可证明）：$L(y, f(x))=\exp [-y f(x)]$
   1. 证明挺巧妙的，主要是把$f_m(x)$ 拆分为两部分，一部分是之前学的分类器加和以及当前需要学的$G(x)$。
   2. 对$f_m(x)$施加指数损失函数后，数据权重$w_{mi}$实际上就是前面分类器的指数损失结果。
   3. 而当前求得的$\alpha_m$为将该指数损失函数最小化的结果，通过求导为零解出。
   4. $w_{mi}$ 的更新：由于 \(\bar{w}_{m i}=\exp \left[-y_{i} f_{m-1}\left(x_{i}\right)\right]\) ，直接将 $f_m(x)$ 展开即可得更新公式为上一步的 $w_{m-1}$ 乘以这一步的 $G(x)$ 的损失直接得到。
   5. 最终与原始算法差距一个$Z$系数。
7. adaboost为什么是前向加法模型：https://blog.csdn.net/zhangyingjie09/article/details/85875264

公式

1. 分类误差率：

   \[\begin{equation} e_{m}=\sum_{i=1}^{N} P\left(G_{m}\left(x_{i}\right) \neq y_{i}\right)=\sum_{i=1}^{N} w_{m i} I\left(G_{m}\left(x_{i}\right) \neq y_{i}\right) \end{equation}\]

多命令连接(数据处理)

• free | grep fdf

LDA [¹]

文本集合的概率模型，文本-话题，话题-单词矩阵的多项式概率参数由狄利克雷分布生成，但是仅生成一次，并不是没生成一个单词就生成一个分布，所以可以计算。和逻辑回归的参数可以假设符合正态分布类似，同时该假设与l2正则等价。参数符合预设的分布能降低过拟合概率。

CRF [¹]

HMM [¹]

推荐系统

• 机器学习/推荐系统/推荐系统算法工程师面试指导

  • LFM MF SVD SVD++ FM difference

  • EVD: 特征值分解， $A=Q\Sigma Q^{-1}$, 在线性子空间，各个分量的大小。[¹]

  • SVD：适用于非方阵 [¹]

    • 一般来说SVD里的 \(M=U*\Sigma*V\), \(U \in R^{m*m}\), \(\Sigma \in R^{m*n}\), \(V \in R^{n*n}\) [²]
    • 但是推荐系统里一般指compact SVD， \(U \in R^{m*k}\), \(\Sigma \in R^{k*k}\), \(V \in R^{k*n}\) [², ³]
    • 求解：通过求\(MM^T\) 和 \(M^TM\)的特征值，分别得到\(U\)和$V$。然后$\Sigma$由下式得到：$A=U \Sigma V^{T} \Rightarrow A V=U \Sigma V^{T} V \Rightarrow A V=U \Sigma \Rightarrow A v_{i}=\sigma_{i} u_{i} \Rightarrow \sigma_{i}=\frac{A v_{i}}{u_{i}}$
    • 由于求解太复杂，所以有了compact SVD， 只保留前几个奇异值，同时效果还可以。
    • 同时原始的SVD必须是要稠密矩阵，应用中实际上大量是空的，所以一般要均值填充或其他方法如下面的FunkSVD。

    • FunkSVD: 分解为两个矩阵，且只关心非空元素,同时有l2正则。[⁴]

      \[\begin{equation} \min _{q^{*}, p^{*}} \sum_{(u, i) \in \mathcal{K}}\left(r_{u i}-q_{i}^{T} p_{u}\right)^{2} \end{equation}\]

    • PMF：概率形式的FunkSVD， 参数符合正态分布。[⁴]

    • BiasSVD: 加入了用户和item的偏置，减少参数学习的难度。[⁴]

参考索引[¹, ²]

• Mitigating Poisoning Attacks on Machine Learning Models: A Data Provenance Based Approach（2017）：该论文增加了假设：数据有标注人ID，所以可以根据ID进行划分删减部分数据进行训练，评估模型的准确率。

BN的作用

• 深度学习模型对输入的分布有一定的假设，认为其分布是稳定的。并且模型内部模块也要求内部输入分布是稳定的。

1. ELMO(2018.2): word representation。加上双向LSTM作为模型，在语料上做预训练
   • 预训练方式：因为是双向LSTM，所以能计算前向概率以及后向概率，两者相乘就得到了第n个单词生成的概率（算是常规的操作了，和CRF之类的基本差不多）。作者是对logP进行优化，所以就相当于进行相加。最终的优化目标还是句子的生成概率。该生成概率和GPT之类的生成模型的生成概率不一致。为每个单词的条件生成概率相乘，条件为其他所有单词。 \(\begin{equation} p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} \mid t_{1}, t_{2}, \ldots, t_{N}\right) \end{equation}\)
   • 然后将输入以及模型所有层的输出拼接在一起，作为下游任务的输入。
   • 同时论文还给不同层的输出设置了权重，该权重通过在下游任务中训练得到（作者在论文中提到，底层的输出对语法更为关注，而顶层的输出则对语义信息更为关注。）。

阿里

1. BERT:

1. SGD:

1. 梯度提升树和提升树区别在于，梯度提升树拟合的是负梯度，当loss采用l2loss的时候，负梯度和残差一致。
   GBM算法：
   [¹]

一般说的线性回归通常用的l2 loss。

参考：foundations of machine learning , appendix B

By keeping $y$ of points at the margin line being $ \pm 1$,let

How to solve $ Ax=b $? ( \(A\in \mathbb{R}^{m*n}, x \in \mathbb{R}^{n*1}, b \in \mathbb{R}^{m*1}\))

1. when $m=n$ and $\mathrm{Rank}(A) = m$:

\[\begin{aligned} &\left.\ell_{\text {atk }}\left(\theta, g_{t}\right)=\mathbb{E}_{G \in \mathcal{D}\left[y_{t}\right], G^{\prime} \in \mathcal{D}\left[y_{y}\right]} \Delta\left(f_{\theta}\left(m\left(G ; g_{t}\right)\right)\right), f_{\theta}\left(G^{\prime}\right)\right) \\ &\ell_{\text {ret }}\left(\theta, g_{t}\right)=\mathbb{E}_{G \in \mathcal{D}} \Delta\left(f_{\theta}(G), f_{\theta_{0}}(G)\right) \end{aligned}\]

from：统计学习方法 第二版,

LSA

L2

PCA

from：Deep Learning- lan,

• 频率派，学习是对参数做点估计，参数是固定值，但是采样是随机的。
• 贝叶斯：后验概率公式还是啥，对概率做积分？参数是随机的，而数据不是。
  • 判别式：模型给一个条件概率公式
  • 生成式：模型给联合概率公式，然后自己用贝叶斯公式求条件概率。

图片格式：