小白求问一下加权最小二乘法是啥在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x²,lnx等等,我想问下这个权数到底是啥意思,是不是将要拟合的每个数据都乘以一个对应的
来源:学生作业帮助网 编辑:作业帮 时间:2024/07/14 05:19:47
![小白求问一下加权最小二乘法是啥在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x²,lnx等等,我想问下这个权数到底是啥意思,是不是将要拟合的每个数据都乘以一个对应的](/uploads/image/z/8881070-14-0.jpg?t=%E5%B0%8F%E7%99%BD%E6%B1%82%E9%97%AE%E4%B8%80%E4%B8%8B%E5%8A%A0%E6%9D%83%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E6%98%AF%E5%95%A5%E5%9C%A8%E4%B8%80%E4%BA%9B%E8%BD%AF%E4%BB%B6%E4%B8%AD%E7%BB%8F%E5%B8%B8%E9%81%87%E5%88%B0%2C%E5%9C%A8%E6%8B%9F%E5%90%88%E7%9A%84%E6%97%B6%E5%80%99%E8%A6%81%E6%B1%82%E9%80%89%E6%8B%A9%E4%B8%80%E4%B8%AA%E6%9D%83%E6%95%B0%2C%E6%AF%94%E5%A6%821%2Fx%2Cx%26%23178%3B%2Clnx%E7%AD%89%E7%AD%89%2C%E6%88%91%E6%83%B3%E9%97%AE%E4%B8%8B%E8%BF%99%E4%B8%AA%E6%9D%83%E6%95%B0%E5%88%B0%E5%BA%95%E6%98%AF%E5%95%A5%E6%84%8F%E6%80%9D%2C%E6%98%AF%E4%B8%8D%E6%98%AF%E5%B0%86%E8%A6%81%E6%8B%9F%E5%90%88%E7%9A%84%E6%AF%8F%E4%B8%AA%E6%95%B0%E6%8D%AE%E9%83%BD%E4%B9%98%E4%BB%A5%E4%B8%80%E4%B8%AA%E5%AF%B9%E5%BA%94%E7%9A%84)
小白求问一下加权最小二乘法是啥在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x²,lnx等等,我想问下这个权数到底是啥意思,是不是将要拟合的每个数据都乘以一个对应的
小白求问一下加权最小二乘法是啥
在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x²,lnx等等,我想问下这个权数到底是啥意思,是不是将要拟合的每个数据都乘以一个对应的权数,然后再进行拟合?
小白求问一下加权最小二乘法是啥在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x²,lnx等等,我想问下这个权数到底是啥意思,是不是将要拟合的每个数据都乘以一个对应的
呃,楼上是个广告男……
加权最小二乘(WLS)最一般的用法是克服异方差.比方说,现在有一个多元回归y = bX + e(矩阵表示,【X'】代表矩阵X转置).原来的一般最小二乘(OLS)公式是
b = (X'X)^(-1) * X'y
而在异方差情况下,由于不满足OLS的五大假定,因此OLS的结果不再有效(not efficient,不是not valid).因此相应的做法是将异方差矩阵分解,并左乘到回归模型中,得到的结果就是WLS回归.比如说,异方差阵为W,且W的逆可以分解为W^(-1) = P'P,那么经过一系列推导(略,可以找一本计量的课本,参考异方差相应章节),可以知道
b* = (X'P'PX)^(-1) * X'P'Py
换言之,正如题主所言,要用矩阵P去变换这个X和y,从而得到WLS回归,其中W矩阵里的元素,就是权重(weight).至于选择什么权重,就取决于W矩阵的设定形式.
举个简单的例子,设一个一元回归y = bx + e,而扰动项e的方差协方差阵W是一个对角矩阵,即W = diag(s1,s2,...,sn),其中si代表第i个对角元,si ≠ sj
那么W^(-1) = diag(1/s1,1/s2,...,1/sn)
如果用sqrt(a)表示a的开方,那么P矩阵就是P = diag(sqrt(1/s1),...sqrt(1/sn))
从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)
可以看到,权重在这里是1/si,而对数据的变换方法是每个数据都乘以sqrt(1/si)
至于更复杂的设定形式(如 ln x 等),代表更复杂的方差协方差阵W的设定.这里不再展开.有兴趣可以参考计量经济学教材(如,伍德里奇的),有更详细的推导.