一般说的线性回归通常用的l2 loss。

最后的推导结果和解线性代数文章里的第二种方法一致。

Ridge就是加了l2 正则

lasso加了l1正则

两个正则加上去的结果可以参考正则化这篇文章

Logistic Regression

1. log logit是sigmoid的逆函数，所以说是线性模型。