最小二乘法例题

导读：　最小二乘法例题(共5篇)最小二乘法应用实例系统辨识作业：用LS解决一个实际问题根据实测数据判断模型结构并辨识参数。% Matlab 利用原始数据画折线图clc,clear;T=[10 15 20 25 30 35 40 45];L=[2000 36 2000 50 2000 72 2000 80 2001 07 2001 ...

本文是中国招生考试网（www.chinazhaokao.com）成考报名频道为大家整理的《最小二乘法例题》，供大家学习参考。

最小二乘法例题(一)
最小二乘法应用实例

系统辨识作业：

用LS解决一个实际问题

根据实测数据判断模型结构并辨识参数。

% Matlab 利用原始数据画折线图

clc,clear;

T=[10 15 20 25 30 35 40 45];

L=[2000.36 2000.50 2000.72 2000.80 2001.07 2001.25 2001.48 2001.60]; plot(T,L,'m'); grid on;

xlabel('T/℃'); ylabel('L /cm');

title('T-L Line chart'); legend('T-L');

图 1 T-L Line Chart

由折线图可知，铜棒的长度l随温度T呈线性变化,设l=aT+b，用最小二乘法给出参数a和b的最小二乘估计值。

% Matlab 实现最小二乘参数估计

LN=[2000.36 2000.50 2000.72 2000.80 2001.07 2001.25 2001.48 2001.60]'; TN=[10,1;15,1;20,1;25,1;30,1;35,1;40,1;45,1]； ab=inv(TN'*TN)*TN'*LN；%最小二乘计算 x=10:1:45；

plot(x,y,'b',T,L,'m'); grid on;

xlabel('T/℃'); ylabel('L /cm');

title('T-L Line chart'); legend('L=aT+b','T-L');

a=ab(1)% a的最小二乘估计值aˆ a = 0.0368

ˆ b=ab(2) % b的最小二乘估计值b

b =

2.0000e+003

%原始数据折线图与l=aT+b函数图形对比：

图 2 折线图与直线图对比

所以铜棒的长度l与温度T的线性关系式为：l=0.0368T+

2000

最小二乘法例题(二)
最小二乘法综述及举例

最小二乘法综述及算例

一最小二乘法的历史简介

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。 二最小二乘法原理

最小二乘法的基本原理是：成对等精度测得的一组数据xi,yi(i1,2,...,n)，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。

设物理量y与1个变量x1,x2,...,xl间的依赖关系式为:yf(x1,x2,...,xl;a0,a1,...,an)。

其中a0,a1,...,an是n +l 个待定参数,记s

v

i1

m

i

yi其中vi是测量值,vi是由己求得的

2

a0,a1,...,an以及实验点(xi1,xi2,,...,xil;vi)(i1,2,...,m)得出的函数值yf(xi1,xi2,...,xil;a0,a1,...,an)。

在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a

最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。 三曲线拟合

曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。 （1）一元线性拟合

设变量y 与x 成线性关系ya0a1x,先已知m个实验点xi,vi(i1,2,...,m)，求两个未知参数a0,a1。

令s即

yia0a1xi

i1

m

2

，则a0,a1应满足

s

0,i0,1。 ai

m

s

2(yia0aixi)0a0i1ms

2(yia0a1xi)0a1i1

化简得

mm

a11a0xiyi

i1i1

a0xia1xiyi

i1

i1

mm

从中解出

a1

mxiyixiyimx

i1i1m

i1

i1

m

m

m

i

i1

2

x

i

1myia1mxi

a0

i1i1

（2）多元线性拟合

设变量y与n 个变量1,2,...,n(n1)的内在联系是线性的，即有下式

xxx

yaoa1xj

j1

n

设xj的第i次测量值为xij，对应的函数值为yi(i1,2,...,m)，则偏差平方和

syiyiyia0a1x

'

m

2

m

i1i1

为使s去得最小值的方程组

mns2yia00a1xija0j1i1



mns2yia0xi10ajxijj1 a1i1

....................................................

mns2yia0xin0ajxijanj1i1

即

nm

m

ma0xijajyi

j1i1i1

k1,2,...,n。（4） m

nmm

xika0xijxikajxikyj1i1i1i1

将实验数据xij,yi代入（4）式，即得a0,a1,...,an。

（3）多项式拟合

科学实验后得到一组数据时，常会遇到因变量y 与自变量x 之间根本不存在线性关系。此可以考虑用一个n 次多项式来拟合y与x 之间的函数关系。

对于n次多项式y

ax，令xx(

ii

j

i

n

j

0,1,...,n)，则可将其化为线性形式：

n

i0

ya0ajxj

j1

对于i=1,2,...,m个实验点有xijxi，代入（3）式有

nm

m

ma0xijajyi

j1i1i1

k1,2,...,n m

nmm

xika0xijxikajxikyij1i1i1i1

j

从而得出多项式的最小二乘法拟合的方程

m

mjk

xiaixikyii1i1i1n

k0,1,...,n

写成矩阵的形式即为

mmxii1...

mnxii1

x

i1

m

i

x

i1

m

2i

.........

x

i1

m

2i

x

i1

m

3i

......

n1i

x

i1

m

x

i1

m

n2i

...

mxyii1a0i

mmn1

xia1xiyii1 i1

.........an

mm

nxi2nxyiii1i1

n

i

m

从中可以解出a0,a1,...,an。 （4）指数函数拟合

此时拟合函数具有形式yae（a，b为待定系数）。两端取自然对数有

bx

lnylnabx

令Ylny

(*)

b0lna

则（*）式化为线性形式 Yb0bx

再利用（1）式和（2）式，即可求出b0,b。 从而有ae。故ye四最小二乘法应用举例

例：已知某铜棒的电阻与温度关系为：RtR0t。实验测得7组数据（见表1）如下：试用最小二乘法求出参量R0、以及确定它们的误差。

bo

bobx

。

此例中只有两个待定的参量R0和，为得到它们的最佳系数，所需要的数据有n、xi、



y

i

、

x

2i

、

y

2i

和

xy

i

i

六个累加数，为此在没有常用的科学型计算器时，通过

列表计算的方式来进行，这对提高计算速度将会有极大的帮助（参见表2），并使工作有条理与不易出错。其中表内双线右边的计算是为了确定R0和的误差项用的。

根据表2中所求得的数据，代入公式（12））则可得：

k

720060.8245.5566.001472.60【最小二乘法例题】

0.28788/C 2

5115.3579340.8(245.5)

566.00245.5

0.2878870.76078 77

R0b

把测量数据代入式（13）和（15）中可求出相关系数

1245.5566.00xyxy20060.8iinii

7

11(245.5)2(566.00)22222

xi(xi)][yi(yi)]9340.8][(45826)]

nn77

1(245.5)22

9340.8x(xi)

k0.287880.99757 2

1(566.00)

45826yi2n(yi)2

7

2i

说明：电阻Rt与温度t的线性关系良好，所以取R0的有效数字与R对齐，即R0＝70.76；又因为t7－t1 = 31.0 ℃，R7－R1 = 8.80，取k有效数字为以上两个差值中较少的位数3位，则k = 0.288/C。由此可以得到电阻与温度的相关关系为：

Rt70.760.288t

按补充资料中的公式计算k和b的不确定度，可得

SySRt



2

i

n2

Sy



2845104

0.239()

72



0.2399340.8

(245.5)

7

2

SkS

xi2

SbSR0Sk

(xi)n

2i

2

0.2390.036990.0088(/C)

9340.8

0.33()

n7

故 R0(70.760.33)(70.80.3)，

(0.28790.009)/C(0.2880.009)/C 则 Rt70.80.288t

0.0088

参考文献：

1.《最小二乘法与测量平差》 郭禄光，樊功瑜著 同济大学出版社 1985

2.《近代最小二乘法》 测绘出版社 1980 3.《最小二乘法的拟合及其应用》 邓亮章 兰州教育学院学报 2012.11 4.《最小二乘法的创立及其思想方法》 贾小勇，徐传胜，白欣 西北大学学报2006.6

x

最小二乘法例题(三)
2.3最小二乘法习题

1.(2007广东)下表提供了某厂节能降耗技术改造后生产甲产品过程中记录的产量X(吨)与相应的生产能耗Y(吨标准煤)的几组对照数据：

（1）请画出上表数据的散点图；

（2）请根据上表提供的数据，用最小二乘法求出Y关于X的线性回归方

程

； ⑶已知该厂技改前100吨甲产品的生产能耗为90吨标准煤.试根据(2)求出的线性回归方程，预测生产100吨甲产品的生产能耗比技改前降低多少吨标准煤?(参考数值：

).

答案：⑴散点图，如图所示；

⑵；⑶(吨).

2.(2011山东理)某产品的广告费用x与销售额y的统计数据如下表

根据上表可得回归方程中的

为9．4，据此模型预报广告费用为6万元时销售额为 万元.

答案：65.5.

3.(2011广东理)某数学老师身176cm，他爷爷、父亲和儿子的身高分别是173cm、170cm、和182cm.因儿子的身高与父亲的身高有关，该老师用线性回归分析的方法预测他孙子的身高为 cm. 答案：185cm.

最小二乘法例题(四)
最小二乘法及其应用

最小二乘法及其应用

1． 引言

最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测

地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最

小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百

科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也

立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784

—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内

的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也

给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作

为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学

称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之

外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样

本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世

纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、

方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论

基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之

于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方

法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。

2. 最小二乘法

所谓最小二乘法就是：选择参数b0,b1,使得全部观测的残差平方和最小.

用数学公式表示为：

minei(YiYi)2(Yib0b1xi)2

为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为

例.

YiB0B1xii （一元线性回归方程） 2

由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即：

Yib0b1xiei(i1,2...n)

从上面的公式可以看出：残差ei是Yi的真实值与估计值之差，估计总体

回归函数最优方法是，选择B0,B1的估计量b0,b1，使得残差ei尽可能的小.

总之，最小二乘原理就是选择样本回归函数使得所有Y的估计值与真实

值差的平方和为最小，这种确定b0,b1的方法叫做最小二乘法。

最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线

性回归方程和非线性回归方程。

2.1 线性回归最小二乘法

最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法.

在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数（即真实

总体回归函数的估计值），但是在回归分析中最广泛应用的方法是最小二乘

法.

如果变量x和y有精确的线性关系比如说yaxb,那么yiyi即观测

值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此，

由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比

如说人的身高和体重就是一个对应，我们都知道长的高的人不一定就重，同

理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系,而这种

关系并非是yaxb所能确定的.那么我们要寻求身高和体重之间的关系

就需要通过数学的方法.首先调查统计得出数据;其次把数据描绘出来；然后

拟合一条跟已有的图象最接近的曲线,这样就可以相对地将身高和体重之间

的关系表示出来.在处理类似的事情中常常用到最小二乘法. 

2.2 非线性回归最小二乘法【最小二乘法例题】

非线性回归的种类很多，常用的有抛物线方程（YabXcX2）、指数方程（Yabx）等。

设已知列表函数yif(xi)(i0,1,...,m)，并且我们想用一个通常的

n(m)次多项式

pnxa0a1x...anxn （1） 去近似它。问题是应该如何选择a0，a1，...，an 使pnx能较好地近似列表函数fx。按最小二乘法，应该选择a0，a1，...，an使得

...，an Sa0，a1， fxipnxi （2）

i0m2

取最小。注意到S是非负的，且是a0，a1，...，an的2次多项式，它必有最小值。求S 对a0，a1，...，an 的偏导数，并令其等于零，得到

yai

i0m0a1xi...anxinxik0 (k0,1,...,n)

进一步，可以将它们写成

yx

iomkiia0xia1xikioiommk1... ,...anxikn (k0,1,niom

引进记号

skxi和ukyixik k

ioiomm【最小二乘法例题】

则上述方程组为

s0a0sa11snanu,0sasasau,1021nn11  (3)



a1sna2nunsna0sn1

它的系数行列式是

s0s1

s2



sn1sns2n. s1snsn1Xn1

由si(i0,1,,2n) 的定义及行列式性质，可以断言

Xn121W,,,. (4) 01n(n1)!

此处符号W 表Vandermonde行列式，而是对所有可能的i(i0,1,,n) 求和（每个i 可以取值x0,x1,,xm,并且当ij时ij。由（4）式及

Vandermonde 行列式的性质可知，当x0,x1,,xm互异时，

111

01n

W0,1,,n0212n20.



0n1nnn

从而，Xn100方程组(3)有唯一解a0,a1,,an ,且它们使(2)取极小值如此，我们应用最小二乘法找到了fx的近似多项式pnx.

在利用最小二乘法组成和式(2)时，所有点xi都起到了同样的作用，但是有时依据某种理由认为中的某些项的作用大些，而另外一些作用小些（例如，一些yi是由精度较高的仪器或操作上比较熟练的人员获得的，自然应该予以较大的信任），这在数学上表现为用和

ifxipnxi （5）

i0m2

n

替代和(2)取最小值.i0，且i1,i通常称之为权；而(5)为加权和.

i1

用多项式pnxa0a1xanxn去近似一个给定的列表函数（即给出的一组观测值yifxi时。需要确定的参数是a0,a1,,an;而pnx可以看成是a0,a1,,an的线性函数.但是有时在利用观测或实验数据去确定一个经

验公式时，往往要确定的函数和待定参数之间不具有线性形式的关系.这样问题就变得有些复杂.然而，常常可以通过变量替换使其线性化.

最小二乘法原理是用来求解线性方程组的,非线性方程经线性化后方可应用该原理. 通常在测量中遇到的问题不一定都是线性问题, 必须先把非线性问题线性化, 然后求解. 例如：

（i）有时，我们希望用如下类型的函数：

sptq (6) 去近似一个由一组观测数据（列表）所描绘的函数，其中p 和q 是待定的两个参数.显然s已非p和q的线性函数.怎样线性化呢？为此，我们在(6)式两端取对数，得到

InsInpqInt

记Insy,Inpa0,a1q,xInt,则 (6)式变成

ya0a1x .

这是一个一次多项式，它的系数a0和a1可以用最小二乘法求得.

(ii) 我们经常希望用函数

SAeCt (7) 去近似一个以给定的列表函数，其中A、C是待定的参数.这时，我们可以(7)的两端取对数：

InSInACt

最小二乘法例题(五)
最小二乘法习题_27507439

证明：若用CG法求解法方程

相关热词搜索：最小二乘法例题及答案 最小二乘法公式例题