回归分析(三):多元线性回归模型
发布网友
发布时间:2024-10-22 17:59
我来回答
共1个回答
热心网友
时间:2024-10-22 19:18
本文基于Bovas Abraham和Johannes Ledolter的《回归分析入门》内容,主要阐述多元线性回归模型。首先,我们讨论一般模型,其表达式为[公式],其期望值为[公式],方差为[公式]。在有n个等式的情况下,协方差矩阵可以通过[公式]和[公式]计算。
模型估计的核心在于找到[公式]的估计值,通过最大化似然函数。向量形式下,最小二乘估计通过调整[公式]来最小化[公式]。当[公式]是满秩的,我们可以通过求解[公式]来得到[公式],这是[公式]的最小二乘估计值。
用几何语言解释,[公式]可以表示为[公式]的子空间,其中[公式]是[公式]的线性组合。最小二乘目标是找到使[公式]最小的[公式],这在[公式]满秩时,通过几何方法得到[公式]的估计。
固定值[公式]表示[公式]在[公式]上的垂直投影,而残差向量[公式]垂直于[公式]。对于残差的特性,不论模型是否充分,某些特性始终成立,而在模型正确时,其他特性也成立。对于统计推断,目标是构造置信区间和进行假设检验,如[公式]的分布和相关计算。
预测部分涉及新观测值的预测,与之前不同的是,预测误差的方差为[公式]。接着是附加平方和原理[公式],这部分内容将在后续章节继续展开。方差分析和决定系数[公式]是模型评估的常用工具,而一般化的最小二乘则进一步扩展了模型应用的范围。