使用梯度下降的线性回归（Matlab代码实现）

       目录

💥1 概述

📚2 运行结果

🎉3 参考文献

👨‍💻4 Matlab代码

---

💥1 概述

梯度下降法，是一种基于搜索的最优化方法，最用是最小化一个损失函数。梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。

📚2 运行结果

主函数部分代码：

%--------------------------------------------------------------------------

%LOCAL FUNCTIONS

%--------------------------------------------------------------------------

function generateLossGraph(N,x_d,y_d)

    

    range = 2;

    M_ = 500;

    b_ = linspace(-range,range,M_);

    m_ = linspace(-range,range,M_);

    

    [B,M] = meshgrid(b_,m_);

    

    reg = zeros([1,N]);

    loss_function = zeros(M_);

    

    for j=1:M_

        for i=1:M_

            for k=1:N

                reg(1,k) = m_(j)*x_d(k) + b_(i);

            end

            

            loss_function(i,j) = sum((reg-y_d).^2);

        end

    end

    

    axes(loss_function_graph)

    pcolor(B,M,loss_function)

    xlabel('angular coeficient (m)')

    ylabel('linear coeficient (b)')

    title('2D Loss Function')

    shading interp

    axis image

    colormap jet

end

function delete_a_graph_component_from_its_tag(obj_handle,tag_name)

    obj = findobj(obj_handle,'Tag',tag_name);

    if(~isempty(obj))

        delete(obj)

    end

end

function [posX,posY,Width,Height]=centralizeWindow(Width_,Height_)

%Size of the screen

screensize = get(0,'Screensize');

Width = screensize(3);

Height = screensize(4);

posX = (Width/2)-(Width_/2);

posY = (Height/2)-(Height_/2);

Width=Width_;

Height=Height_;

end

end

🎉3 参考文献

​[1]李兴怡,岳洋.梯度下降算法研究综述[J].软件工程,2020,23(02):1-4.DOI:10.19644/j.cnki.issn2096-1472.2020.02.001.

👨‍💻4 Matlab代码