求问梯度下降法迭代求极值点与导数等于零求极值点有何不同？

导数求零点的前提是要知道函数表达式。很多情况下只是知道数据，能求出数据的下降趋势，而不能用一个准确的表达式来表示

不敢苟同。在linear regression中，我们是对参数向量w作导等于零求得极值点。在logistic regression中，我们同样可以得到对参数向量w的导数表达式，为何还要用梯度下降法迭代求解呢？ 【 在 maitian13 的大作中提到: 】 : 导数求零点的前提是要知道函数表达式。很多情况下只是知道数据，能求出数据的下降趋势，而不能用一个准确的表达式来表示

楼主的第二种情况即为闭式解，但是很多情况下需要牵涉到矩阵求逆（O（d^3）的复杂度）（思考LMS问题），高维空间下其实运算速度会更慢。

最小二乘法就是直接求导解决的，但是要求矩阵可逆

优化的目标函数肯定是知道的，逻辑回归求导等于0,是非线性方程组，这个解非线性还是很困难的；线性回归中是线性方程组，所以可以直接解 【 在 Lovedianexe 的大作中提到: 】 : 不敢苟同。在linear regression中，我们是对参数向量w作导等于零求得极值点。在logistic regression中，我们同样可以得到对参数向量w的导数表达式，为何还要用梯度下降法迭代求解呢？

最近在做一些关于求最值的活，个人认为梯度下降放最重要的应用实在多维上，如果是一维情况显然两者都可以，但是一旦维数上升，先不管你在多维情况下是否能够求导或求偏导，就算求得了也不一定就能够判断极值点在哪里。梯度下降法给出计算机数值解的方法其实不算是最好，因为有很多工程问题并不一定有导数。共轭梯度法是梯度下降法的一个进阶，可以一看。 【 在 Lovedianexe 的大作中提到: 】 : 就是说，梯度下降法迭代求解可以求出极值点，同样，函数导数等于零也可以求出极值点，这两种方法孰优孰劣？貌似前者用得多，为什么？感谢解答！

相同点：要求目标函数可导 不同点：1.导数等于0适合维度不高，且能求出解析解的情况，比如最小二乘 2.梯度下降适合高维度，或者导数为0后无法求出解析解，比如：X为未知数，令导数为0得到AX+XB=0，这时没有解析解，只能迭代求近似

惭愧，知识混淆了，以前看过的帖子，给忘了http://www.cnblogs.com/elaron/archive/2013/05/20/3088894.html 【 在 Lovedianexe 的大作中提到: 】 : 不敢苟同。在linear regression中，我们是对参数向量w作导等于零求得极值点。在logistic regression中，我们同样可以得到对参数向量w的导数表达式，为何还要用梯度下降法迭代求解呢？

马克，学习 来自「北邮人论坛手机版」