先用一个不精确的通俗的例子来说明：
①初中数学里面的f(x)=12Ax2−bx+cf(x)=\frac{1}{2}Ax^2-bx+cf(x)=21Ax2−bx+c
显然我们知道A>0时，f(x)f(x)f(x)才有最小值。
②再来看三维:
f(x)=12xTAx−bTx+cf(x)=\frac{1}{2}x^TAx-b^Tx+cf(x)=21xTAx−bTx+c
当A正定时，f(x)才有唯一最小值。(当然了，这里的bTb^TbT前面的符号也可以是+,这并不影响结论)
正定的意思其实就是：定义的变量取值为正。
负定的意思其实就是：定义的变量取值为负。
为了清晰对比，我们把他们放在表格里面：
发现规律没？
其实三维中的正定这个东西的含义，仅仅是为了"对标"二维中的唯一且最小的这两个条件。
正定其实是为了满足几何特性而服务的。
关于唯一且最小，下面我们使用matlab来比较:
正定矩阵、半正定矩阵、不定矩阵、负定矩阵、半负定矩阵的几何图形到底有什么区别：
注意，负定矩阵的定义式：
若矩阵A是n阶负定矩阵，则A的偶数阶顺序主子式大于 0，奇数阶顺序主子式小于 0。
而正定矩阵的定义是：
计算A的各阶主子式。若A的各阶主子式均大于零，则A是正定的；
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
另外可以看到，对于不定矩阵而言，仅仅靠特征值以及正负定情况是无法直接判断是否存在唯一的最大/最小值的。
以负定矩阵为例，上述表格中的matlab的绘图代码如下：
colormap Jet% ###########################[x,y]=meshgrid(-3:0.1:3,-2:0.1:2);subplot(2,2,1),mesh(z1)z1=(-x.^2-y.^2+0.1*x.*y);subplot(2,2,1),mesh(z1)x=xlabel('X轴');y=ylabel('Y轴'); %y轴标题z=zlabel('Z轴'); %z轴标题
为什么要研究曲线的最小值和最大值呢？
因为hessian矩阵是由神经网络的各种系数组成的矩阵，
hessian矩阵正定，则空间曲线有最小值，则目标函数有最小值，则拟合最佳。
目标函数一般是误差函数,不考虑过拟合和欠拟合的情况下目标函数的最小值是我们的追求目标，
所以要研究hessian矩阵的正定性和鞍点。
注意：
概念上而言，不定矩阵≠非正定矩阵≠非负定矩阵
如果觉得《通俗理解Hessian矩阵的几何意义》对你有帮助，请点赞、收藏，并留下你的观点哦！
