【逻辑回归笔记】牛顿法

【问题描述】上节课内容是逻辑回归，计算 θ 有更好的方法，比如牛顿法，它比梯度上升算法快很多。【方法】 - 求找到一个θ，使得 f(θ)=0 .

2023-11-24 技术

【问题描述】上节课内容是逻辑回归，计算 $θ$ 有更好的方法，比如牛顿法，它比梯度上升算法快很多。
【方法】
-
求找到一个 $θ$ ，使得 $f(θ)=0$ .
$f'(θ^{(0)})=\frac{f(θ^{(0)})}{\Delta}$
$\Delta=\frac{f(θ^{(0)})}{f'(θ^{(0)})}$
$θ^{(1)}=θ^{(0)}-\Delta=θ^{(0)}-\frac{f(θ^{(0)})}{f'(θ^{(0)})}$
SO,
$θ^{(t+1)}=θ^{(t)}-\Delta=θ^{(t)}-\frac{f(θ^{(t)})}{f'(θ^{(t)})}$
那么，这和逻辑回归中 $ℓ(θ)$ 最大有什么关系吗？
明显的，当 $若ℓ(θ)to max,则ℓ'(θ)=0$ ,这样就回到了牛顿法中，上式就变为
$θ^{(t+1)}=θ^{(t)}-\Delta=θ^{(t)}-\frac{ℓ'(θ^{(t)})}{ℓ''(θ^{(t)})}$
牛顿法收敛很快，即“二次收敛”，误差平方位收敛。
$0.01 \space error—>0.001\space error$
这样的结果会在足够近时体现。
但是，现在还有两个问题：
极大极小问题 $θ^{(t+1)}$ 会出现怎样的变化呢？

可以动手计算一下，求值公式是一模一样的。
机器学习来源是Learn Machine By Andrew Ng From Stanford

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击举报进行投诉反馈！