Introduction to Numerical Analysis

Introduction to Numerical Analysis

Marek Kręglewski

Course contentWeek 1 Solutions of nonlinear equations in one variable: the bisection algorithm.

Week 2 The Newton-Raphson method, the secant method. Fixed point iteration.

Week 3 Numerical integration: trapezoidal rule and Simpson’s rule.

Week 4 Numerical differentiation: forward and backward-difference formula. Three-point formula of numerical differentiation.

Week 5 Initial value-problem for differential equations: Euler’s method, the Runge-Kutta methods.

Week 6 Taylor expansion – error of a numerical method. The Richardson’s extrapolation.

Week 7 Initial value-problem for differential equations: Euler’s method, the Runge-Kutta methods.

Week 8 Polynomial interpolation: Newton and Lagrange polynomials.

Week 9 Methods for solving linear systems: linear systems of equations, Cramer’s rule, Gaussian elimination.

Week 10 Approximation theory: least-squares approximation.

Week 11 Linear algebra, matrix inversion and the determinant of a matrix.Week 12 The similarity transformations. Eigenvalues and eigenvectors.

Week 13 Iterative techniques in matrix algebra: Jacobi iterative method.

Week 14 Optimization.

Week 15 Round-off errors: absolute error, relative error, significant digits.

Course content 2LABORATORY CLASSES1. MS Excel – general introduction2. Application of the MS Excel in solving numerical problems

MANUALS:3. E. Steiner, Mathematics for chemists, Oxford.4. A. Ralston, Introduction to numerical analysis.

Solution of equation in one variable x=f(x)

READ x , ε, A

START

STOP

y=x

x=y

y=½(x+A/x)

|x-y|< ε

WRITE y

YESNO

Trace of operations

Algorithm notationSTART and STOP of a sequential algorithm

INPUT and OUTPUT operations

SUBSTITUTION operations

CONDITIONAL operation

LOOP

?

=

SUBSTITUTION variable = expression

Calculate the value of the expression and save it under the name of the variable

Convergent process: x=½(x+4/x)x y

4 2.52.5 2.05

2.05 2.0006097562.000609756 2.0000000932.000000093 2

Iteration process

0 1 2 3 4 5 60

2

4

6

8

10

12

LR

Divergent process: x=6-x*xx y

2.1 1.591.59 3.4719

3.4719 -6.05408961-6.05408961 -30.65200101

-30.65200101 -933.5451657-933.5451657 -871500.5763-871500.5763 -7.59513E+11-7.59513E+11 -5.7686E+23-5.7686E+23 -3.32768E+47

-3.32768E+47 -1.10734E+95

0 1 2 3 4

-10

-8

-6

-4

-2

0

2

4

6

8

LR

Solution of equation in one variable

Bisection methodSolution of an equation f(x)=0, i.e. search for zero points of the function f(x).Search for the a zero point in the range <a,b>, in which:

1) the function f(x) is continuous2) f(x) changes the sign in the range <a,b>, i.e. f(a)*f(b)<0

x

y

ba p1p4p3p2

b

ab

a

zero point

Bisection Algorithm

READ a, b, ε

START

STOP

f(a)*f(b)<0

p=(a+b)/2

f(a)*f(p)<0

WRITE a,bYESNO

WRITE: incorrect range

|a-b|<ε

NO

b=p a=pYES

Trace of operations

NO

YES

Differential CalculusDerivative of a function – a measure how rapidly the dependent variable changes with changes of the independent variable

x1 x2

y1

y2

y = y2-y1

x = x2-x1

Tangent line tan(α) (slope)

y=y(x)

α

dxdy

xy

xxxyxy

xxxx

1212

limlimtan12

12 derivative

Differential CalculusFind the derivative of the functiony = a x2

Let x = x2-x1 and y = y(x2)-y(x1)

y = a(x2)2-a(x1)2 = a(x1+x)2-a(x1)2 = a[(x1)2+2x1x+(x)2]-a(x1)2 = = a[2x1x+(x)2]

After dividing by x

In the limit as x2 → x1 (i.e. x → 0)

xaxaxy

12

xaxy

dxaxd

x2lim

0

2

The derivative of the function y=ax2 is dy/dx=2ax

Differential Calculus

Function y=y(x) Derivative dy/dx=y’(x)xn n xn-1

ax ax ln(a)ln(x) 1/xsin(x) cos(x)cos(x) -sin(x)a 0

Derivatives of some elementary functions (a is a constant):

Let y(x) and z(x) are differentiable functions of x:

dxdz

dxdy

dxzyd

dxdz

dxdy

dxzyd

dxdyz

dxdzy

dxyzd

2/

zdxdzy

dxdyz

dxzyd

Composite function f(u(x)) dxdu

dudf

dxdf *

Solution of equation in one variable

Newton-Raphson methodThe search of a zero point begins at any point x0, if:

1) the function f(x) and its first derivative are continuous2) the first derivative is different from zero

x

y

zero point

x0x2x3x1

The expansion inTaylor series: 0

001

010!11

01

'

...'

xfxfxx

xxxfxfxf

Newton-Raphson algorithm

READ x0 , ε

START

STOP

x1=x0 - f(x0) / f ’(x0)

|x0-x1|< ε

WRITE x1

YESNO

Trace of operations

x0=x1

Solution of equation in one variable

Secant MethodThe search for the zero point begins from a pair of points(x0, x1), if:

1) the function f(x) is continuous2) f(x0) f(x1), when x0x1

x

y

zero point

x0x1x3x2

The first derivative from the Newton-Raphson method approximated with an expression:

01

01012

01

011'

xfxfxxxfxx

xxxfxfxf

Secant method algorithm

READ x0 , x1 , ε

START

STOP

x2=x1 – q1(x1-x0) /(q1-q0)

|x2-x1|< ε

WRITE x2

YESNO

Trace of operations

x0=x1; x1=x2

q0=q1 ; q1=f(x2)

q0=f(x0)

q1=f(x1)

Integral Calculus – principal facts

• The antiderivative F(x) of f(x) is the function such that dF(x)/dx=f(x)

• The indefinite integral is the same thing as the antiderivative function

• A definite integral is the limit of a sum of terms f(x)x

aFbFdxxfb

a

Integral Calculus - examplesA car moves with constant velocity v(t)=50 km/h. Calculate the distance it covers in 2 hours.

kmtdtdttvs

kmhhkmttvs

1000*502*505050

1002*/50)(

2

0

2

0

2

0

A stone is falling with the acceleration g(t) = 10 m/s2. At the begining its velocity is 0 m/s. Calculate the distance the stone covers between 2nd and 4th second of the fall.

mttdtdttvs

constv

consttdtdttgtv

6020802*54*5510

000

1010)(

224

2

24

2

4

2

Numerical integration

T1

a b

T2

b

a

dxxf

mabh

hmafhmafhThafhafhThafafhT m **12

...222 21

hiaffffhTffhTffhT immm *,2

...22 1212101

mm ffffhTTTT ...222

... 21021

Trapezoidal rule

Tm

h

Numerical integration

S1

a b

b

a

dxxf

mabh

hiafffffhSfffhSfffhS immmm *,43

...43

43 122/43222101

mmmm ffffffhSSSS 122102/21 42...243

...

Simpson’s rule

Sm/2 m must be even

Analytical integration – an example12

10

)( dxxfI

f(x)=x3

f(x)=x4

26844

104

124

4412

10

12

10

43

xdxx

4,297665

105

125

5512

10

12

10

54

xdxx

Numerical integration – an example

f(x)

x x3 x4

10 1000 10000

11 1331 14641

12 1728 20736

12

10

)( dxxfI Calculation results

x3 x4

T(h=2) 2728 30736

T(h=1) 2695 30009

S(h=1) 2684 29766,67

I (accurate) 2684 29766,4

268417281331*4100031)1(

269517281331*2100021)1(

27281728100022)2(

hS

hT

hT

f(x)=x3 f(x)=x4

32297662073614641*410000

31)1(

300092073614641*21000021)1(

30736207361000022)2(

hS

hT

hT

Errors of the trapezoidal rule

error ~ h2

h T(h) T(h)-I

2 2728 44

1 2695 11

h T(h) T(h)-I

2 30736 969,6

1 30009 242,6

Geometrical series

111

11

1

...

/*...

321

12101

0

xxxaS

xaxS

xaaxaxSS

axaxaxaxxS

xaxaxaxaxaxS

n

n

nn

nnnn

nn

nn

r

rn

When a=1 12 ...111

n

n

xxxxx

i) The sum is equal to

ii) is a series expansion of the function

xxn

11 12 ...1 nxxx

12 ...1 nxxx

xxn

11

Taylor series expansion at x=0...)( 4

43

32

210 xcxcxcxccxf

...,,, 3210 cccc constants

...1262)("

...432)('

24

1322

2

34

23

121

xcxccdx

fdxf

xcxcxccdxdfxf

Thus

...)0('''!3

1)0("!2

1)0('!1

10

0!

1!0

!3)0('''!2)0(")0('0

32

3210

xfxfxffxf

fn

ccnf

cfcfcfcf

nnn

n

Taylor series expansion ...)( 4

43

32

210 axcaxcaxcaxccxf

...,,, 3210 cccc constants

...1262)("

...432)('

24

1322

2

34

23

121

axcaxccdx

fdxf

axcaxcaxccdxdfxf

Thus

...)('''!3

1)("!2

1)('!1

1!

1!

!3)('''!2)(")('

32

3210

axafaxafaxafafxf

afn

ccnaf

cafcafcafcaf

nnn

n

Series expansion of a function

2,010000

0

kyeyxf kx

Call the Taylor series

Calculate the value f(6) using the Taylor series expansion

xfkxf

eykxf

eykxf

ekyxf

nn

kxnnn

kx

kx

1

0

02

0'

*

1

"

Różniczkowanie numeryczne

hhxfxf

hxfhxfxf

hh

)()(lim)()(lim00

Przybliżenia jednostronne:

h

hxfxfxf

hxfhxfxf

L

P

)()(~

)()(~

x-h x x+h

f(x+h)

f(x)

f(x-h)

Średnia P i L (różnica centralna):

h

hxfhxfxfxfxf LP

2)()(

2

~~~

Różniczkowanie – błąd metody

...!3

1!2

1!1

1

...!3

1!2

1!1

1

32

32

hxfhxfhxfxfhxf

hxfhxfhxfxfhxf

hxfh

xfhxfxf

hhxfxfhxfhxf

hxfhxfxfhxf

!21

:/!2

1!2

1!1

1

2

2

pochodna błąd ~ h1

2

3

3

!31

2

2:/!3

22

!322

hxfh

hxfhxfxf

hhxfhxfhxfhxf

hxfhxfhxfhxf

pochodna błąd ~ h2

Pochodna jednostronna Pochodna centralna

_

Przykład – obliczenie pochodnej

f(x)=ln(x)

ln'(3)=1/3 ln(3)=

1.098612

f'(x)=[f(x+h)-f(x-h)]/(2*h)

h xh f(xh) f'(3) błąd h^2błąd/h^2

1 41.38629

40.34657

4 0.01324 1 0.01324

20.69314

7

0.5 3.51.25276

30.33647

20.00313

9 0.250.01255

6

2.50.91629

1

0.1 3.11.13140

20.33345

70.00012

4 0.010.01235

4

2.91.06471

1

f'(x)=[f(x+h)-f(x)]/h

h x+h f(x+h) f’(3) błąd h błąd/h

1 41.38629

40.28768

2 -0.04565 1 -0.04565

0.5 3.51.25276

30.30830

1 -0.02503 0.5 -0.05006

0.1 3.11.13140

20.32789

8 -0.00544 0.1 -0.05435

Oblicz pochodną ln(x) w punkcie x=3 metodą pochodnej centralnej oraz jednostronnej dla różnych długości kroków:

Zmniejszenie kroku zmniejsza błąd, przy czym szybciej błąd maleje w metodzie różnic centralnych

Równanie różniczkowe I rzędu

kt

btbt

bt

bt

aetN

kbkaeabe

abedttdN

aetN

tkNdttdN

Równanie różniczkowe opisujące rozpad promieniotwórczy

Propozycja rozwiązania:

Sprawdzanie poprawności:

Podstawienie do równania:

Lewa strona równa prawej, gdy:

Wartość a wyznaczana z warunku początkowego:

kt

k

eNtN

NaNae

NN

0

0

00

00

Ostateczne rozwiązanie analityczne:

k – stała szybkości rozpadu promieniotwórczego

Rozpad promieniotwórczy tkN

dttdN

Równanie różniczkowe opisujące rozpad promieniotwórczy

kteNtN 0Rozwiązanie analityczne:

Okres połowicznego rozpadu :

k

kk

e

NeN

NN

k

k

2ln2ln

ln 21

21

021

0

021

Równanie różniczkowe – metoda Eulera

iii

iii

iii

hfyydxxdyhyy

yihxffihxyydxxdyhxyhxy

hxyhxy

dxxdy

xyxfdxxdy

1

1

,

,Równanie (f jest znaną funkcją):

Wzór przybliżony na pochodną:

Uproszczony zapis:

Ostatni wzór pozwala na obliczanie wartości funkcji y punkt po punkcie.Wartość funkcji w punkcie zerowym y0 określają warunki początkowe.

Po przekształceniu:

Równanie różniczkowe I rzędu1.01386.05 hkkN

dtdN

i t N dN/dt Nanalit0 0 1000 -5000 10001 0.1 500 -2500 606.53072 0.2 250 -1250 367.87943 0.3 125 -625 223.13024 0.4 62.5 -312.5 135.33535 0.5 31.25 -156.25 82.0856 0.6 15.625 -78.125 49.787077 0.7 7.8125 -39.0625 30.197388 0.8 3.90625 -19.5313 18.315649 0.9 1.953125 -9.76563 11.109

10 1 0.976563 -4.88281 6.73794711 1.1 0.488281 -2.44141 4.08677112 1.2 0.244141 -1.2207 2.47875213 1.3 0.12207 -0.61035 1.50343914 1.4 0.061035 -0.30518 0.91188215 1.5 0.030518 -0.15259 0.55308416 1.6 0.015259 -0.07629 0.33546317 1.7 0.007629 -0.03815 0.20346818 1.8 0.003815 -0.01907 0.1234119 1.9 0.001907 -0.00954 0.07485220 2 0.000954 -0.00477 0.0454 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

0

200

400

600

800

1000

1200

NNanalit

Równanie różniczkowe II rzęduDrgania harmoniczneFp = ma a - przyspieszenieFw = -kx x - wychyleniePrzyjmijmy: m=1 k=1Równowaga sił Fp = Fw

a=-x

x0

F

ibb

ceecb

ecbtx

cbetx

cetx

txdt

txd

btbt

bt

bt

bt

1

"

'

2

2

2

2

2 Rozwiązania szczególne równania:

it

it

cetx

cetx

2

1

Rozwiązanie ogólne równania:

itit ecectx 21

Stałe c1 i c2 wyznaczane z warunków początkowych

Równanie różniczkowe II rzędu itit ecectx 21

x10-1

Warunki początkowe:

00'

10

xx

21

221

1

1

21

210

20

1

210

20

1

12

00'

10

ccc

ccicicieciecx

ccececxii

ii

teetx itit cos21

21

Rozwiązanie ogólne z uwzględnieniem warunków początkowych:

Rozwiązanie numeryczne I

dtdxtv

dtxd

dtdvtagdzietxta 2

2

:

Korzystamy z przybliżonych wzorów na pochodne:

t

tvttvta

ttxttxtv

ttatvttv

ttvtxttx

tktvv

tktxx

k

k

0

0

Oznaczamy:

tavvtvxx

kkk

kkk

1

1

Z postaci równania wynika: kk xa

Rozwiązanie numeryczne I c.d.

2401 00

tsmvmxGdy t=0 :

0 2 4 6 8 10 12 14

-3

-2

-1

0

1

2

3

pochodna jednostronna

y(k)v(k)a(k)

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5

-3

-2

-1

0

1

2

3

v

a

k t(k) x(k) v(k) a(k)0 0 1 0 -11 0.1308997 1 -0.1309 -12 0.2617994 0.9828653 -0.261799 -0.9828653 0.3926991 0.9485958 -0.390456 -0.9485964 0.5235988 0.8974852 -0.514627 -0.8974855 0.6544985 0.8301207 -0.632108 -0.8301216 0.7853982 0.747378 -0.74077 -0.7473787 0.9162979 0.6504114 -0.838602 -0.6504118 1.0471976 0.5406387 -0.92374 -0.5406399 1.1780972 0.4197214 -0.99451 -0.41972110 1.3089969 0.2895404 -1.049451 -0.2895411 1.4398966 0.1521675 -1.087352 -0.15216812 1.5707963 0.0098335 -1.107271 -0.00983313 1.701696 -0.135108 -1.108558 0.135107914 1.8325957 -0.280218 -1.090872 0.280217815 1.9634954 -0.423013 -1.054192 0.423012616 2.0943951 -0.561006 -0.99882 0.56100617 2.2252948 -0.691751 -0.925384 0.691751218 2.3561945 -0.812884 -0.834834 0.812883719 2.4870942 -0.922163 -0.728428 0.922163220 2.6179939 -1.017514 -0.607717 1.017514221 2.7488936 -1.097064 -0.474525 1.097064122 2.8797933 -1.159179 -0.330919 1.159179323 3.010693 -1.202497 -0.179183 1.202496524 3.1415927 -1.225952 -0.021777 1.2259515

Rozwiązanie numeryczne II

dtdxtv

dtxd

dtdvtagdzietxta 2

2

:

Korzystamy z przybliżonych wzorów na pochodne centralne:

t

ttvttvtta

ttxttxttv

21

23

21

tttattvttvtttvtxttx

21

23

21

tktvv

tktxx

k

k

0

0

Oznaczamy:

tavv

tvxx

kkk

kkk

1

1

21

23

21

Z postaci równania wynika: 11 kk xa

Rozwiązanie numeryczne II c.d.

24201 000021

ttavvsmvmxGdy t=0 :

k t(k) x(k) v(k+1/2) a(k)0 0 1 -0.06545 -11 0.1308997 0.9914326 -0.195228 -0.9914332 0.2617994 0.9658773 -0.321661 -0.9658773 0.3926991 0.923772 -0.442583 -0.9237724 0.5235988 0.8658381 -0.555921 -0.8658385 0.6544985 0.7930682 -0.659733 -0.7930686 0.7853982 0.7067094 -0.752241 -0.7067097 0.9162979 0.6082413 -0.83186 -0.6082418 1.0471976 0.4993511 -0.897224 -0.4993519 1.1780972 0.3819047 -0.947216 -0.381905

10 1.3089969 0.2579145 -0.980977 -0.25791411 1.4398966 0.1295049 -0.997929 -0.12950512 1.5707963 -0.001124 -0.997782 0.001123613 1.701696 -0.131733 -0.980538 0.13173314 1.8325957 -0.260085 -0.946493 0.260085115 1.9634954 -0.383981 -0.89623 0.383980716 2.0943951 -0.501297 -0.83061 0.501296917 2.2252948 -0.610024 -0.750758 0.610023518 2.3561945 -0.708298 -0.658042 0.708297619 2.4870942 -0.794435 -0.554051 0.794435120 2.6179939 -0.86696 -0.440566 0.866960221 2.7488936 -0.92463 -0.319532 0.924630222 2.8797933 -0.966457 -0.193024 0.966456923 3.010693 -0.991724 -0.063207 0.991723724 3.1415927 -0.999997 0.0676921 0.9999975

0 2 4 6 8 10 12 14

-1.5

-1

-0.5

0

0.5

1

1.5

pochodna centralna

y(k)

v(k+1/2)

a(k)

-1.5 -1 -0.5 0 0.5 1 1.5

-1.5

-1

-0.5

0

0.5

1

1.5

v

a

Ekstrapolacja RichardsonaCzy wykonując obliczenia ze skończona długością kroku h można oszacować wynika graniczny dla h 0 ?

prhOhaahF rp 10

F(h) – wartość obliczona dla długości kroku ha0 = F(0) hipotetyczna wartość dla zerowej długości krokup – rząd błędu metody numerycznej

Obliczamy wynik numeryczny F dla dwóch różnych kroków h i (qh)

110

10

qhOqhaaqhF

hOhaahFrp

rp

pp

pp

hqaaqhF

qhaahF

10

10 /*

Ekstrapolacja Richardsona c.d.

rthOq

qhFhFhFa tp

10

a0 też jest obarczone błędem i postępowanie można prowadzić dalej.

Najczęściej ekstrapolację stosujemy dla q=2, a wtedy:

rthOhFhFhFa tp

122

0

10

10

10

pp

pp

pppp

qaqhFhFq

hqaaqhF

hqaaqhFq odejmujemy stronami

Ekstrapolacja Richardsonaprzykład 1

268412

10

3 dxxI

h T(h)

2 2728

1 2695

Wyniki numeryczne metodą trapezów:

26841126953

27282695269512

211 20

TTTa

Ekstrapolacja Richardsona przykład 2

f(x)=ln(x)f'(x)=[f(x+h)-f(x-h)]/(2*h)

ln'(3)=1/3

h P(h) /3 a00.8 3.8 1.335001 0.341590

2.2 0.788457

0.4 3.4 1.223775 0.335330 -0.002087 0.3332432.6 0.955511

0.2 3.2 1.163151 0.333828 -0.000501 0.3333282.8 1.029619

0.1 3.1 1.131402 0.333457 -0.000124 0.3333332.9 1.064711

błąd metody różnic centralnych h2, czyli p=2. = P(h)-P(2h)

Interpolacja wielomianemDana jest funkcja f(x) w postaci tablicy, tzn. znamy jej wartości w (n+1) punktach (węzłach)

f(x0), f(x1), f(x2), ..., f(xn).Zadanie: znaleźć wielomian n-tego stopnia taki, że:

w(x0)= f(x0)w(x1)= f(x1)...w(xn)= f(xn)wn(x) nazywamy wielomianem interpolacyjnym.

Cele interpolacji:• łatwe zapamiętanie postaci funkcji

(współczynniki)• wykonywanie operacji matematycznych na

wielomianie• wyznaczanie pośrednich wartości funkcji

Obliczanie wartości wielomianuPostać naturalna wielomianu

nn

n

k

kkn xaxaxaaxaxw

...2210

0

Obliczanie wartości wielomianu wg schematu Hornera

011 ...... axaxaxaxw nnn

Obliczanie wartości wielomianuAlgorytm

Wczytaj n , {ai}, x

START

STOP

w=an

i≥0

Wypisz w

TAK

NIE

i=n-1

w=w*x+ai

i=i-1

Ślad działańw3(x)=1+3x-2x2+4x3

n=3 a0=1 a1=3 a2=-2 a3=4Oblicz wartość wielomianu w punkcie x=3.

n w i3 4 2

4*3-2=10 110*3+3=33 0

33*3+1=100 -1

Wartość wielomianu w punkcie x=3 wynosi 100.

Postać Newtona wielomianuNiech x0, x1, x2,..., xn-1 są danymi liczbami, dla których wartości wielomianu są określone (dane).Tworzymy wielomiany pomocnicze pk (k=0,1,2,...,n) takie, żep0(x) = 1p1(x) = x-x0

p2(x) = (x-x0)(x-x1)...pk(x)= (x-x0)(x-x1)... (x-xk-1)

Wielomian wn(x) przedstawiamy jako

n

kkkn xpbxw

0

Jak wyznaczyć współczynniki bk?

Wyznaczanie współczynników bkx f(x) f[xl,xl+1] f[xl,xl+1,xl+2]

x0 f(x0)

x1 f(x1)

x2 f(x2)

...

xn f(xn)

01

0110 ,

xxxfxfxxf

12

1221, xx

xfxfxxf

1

11,

nn

nnnn xx

xfxfxxf

02

1021210

,,,,xx

xxfxxfxxxf

2

12112

,,,,

nn

nnnnnnn xx

xxfxxfxxxf

kk xxxfb ,...,, 10

Przykład

32

3

3

2

1

0

4231

4231475851833100

75353

31

xxx

xxxxxxxw

xxxxpxxxp

xxpxp

x f(x) f[x0,x1] f[x0,..,x2]f[x0,...,x3

]3 1005 466 1837 1296 415 589 2782 743 82 4

b0 = 100b1 = 183b2 = 58b3 = 4

Interpolacja liniowaProsta: w1(x)=a0+a1x

x

y

x1x0

f0

f1

f(x0) = f0 = a0+a1x0 (/ x1)f(x1) = f1 = a0+a1x1 (/ x0) Wyznacz a0, a1

f1 -f0 = a1x1 – a1x0 a1=(f1-f0)/(x1-x0)f0x1-f1x0 = a0x1 – a0x0 a0=(f0x1 –f1x0 )/(x1-x0)

w1(x)= [(f0x1 –f1x0 )/(x1-x0)] + [(f1-f0)/(x1-x0)] xw1(x)= [(f0x1 –f0x0 +f0x0 –f1x0 )/(x1-x0)] + [(f1-f0)/(x1-x0)] xw1(x)=f0 + [(f1-f0)/(x1-x0)] (x-x0)

to postać Newtona dla

w1(x) = b0 p0(x) + b1 p1(x) , gdzie

p0(x) = 1 b0 = f0

p1(x) = x-x0 b1 = (f1-f0)/(x1-x0)

Zjawisko RungegoPrzy interpolacji wielomianem wysokiego stopnia, np. 10-tego dla funkcji w przedziale [-1,1] dla węzłów równoodległych

xi = -1 + i *0,2 i = 0,1,2,...,10

22511)(x

xf

x f(x) w(x)

-10.03846

2 0.038462-0.8 0.0588240.10181 0.058824

-0.6 0.1 0.2058820.26018

1 0.1

-0.4 0.2 0.5 0.7352940.79185

5 0.2

-0.2 0.5 1.5 2.5 2.9411762.68665

2 0.5

0 1 2.5 2.5 1.48E-15 -3.67647-

6.36312 1

0.2 0.5 -2.5 -12.5 -25 -31.25 -27.5735-

17.6753 0.5

0.4 0.2 -1.5 2.5 25 62.5 93.75 101.102984.8416

3 0.2

0.6 0.1 -0.5 2.5 -1.5E-15 -31.25 -93.75 -156.25 -183.824-

167.916 0.1

0.8 0.058824 -0.20588 0.735294 -2.94118 -3.67647 27.57353101.1029183.8235229.7794220.941

7 0.058824

1 0.038462 -0.10181 0.260181 -0.79186 2.6866526.363122 -17.6753 -84.8416 -167.916 -220.942-

220.9420.038462

Zjawisko RungegoPorównanie wykresu funkcji i wielomianu:

-1.5 -1 -0.5 0 0.5 1 1.5

-0.5

0

0.5

1

1.5

2

2.5

Rozwiązywanie układu równań

bAxbAAxA

bAx

1

11

Przykład: x1+2x2+3x3=12x1+3x2+4x3=13x1+4x2+ x3=1

41

42

41

42

48

410

41

410

413

3

2

1

111

143432321

1AxbAxxx

011

111

41

42

41

42

48

410

41

410

413

3

2

1

xxx

bAx 1

x1=-1x2=1x3=0

Macierze a przekształcenia geometryczne

y2

x1x2

y1

inwersja

2

2

1

1

1001

yx

yx

P

y2

x1x2

y1

odbicie w płaszczyźnie

2

2

1

1

1001

yx

yx

P

y2

x1

x2y1

obrót

2

2

1

1

cossinsincos

yx

yx

Pφ

Macierze transformacji geometrycznych są macierzami ortogonalnymi

1001

1001

1001

1001

QQQQ

Q

T1

1001

1001

1001

1001

QQQQ

Q

T1

1001

cossinsincos

cossinsincos

cossinsincos

QQQQ

Q

T1

Przekształcenie macierzy przez podobieństwo

Istnieje odwzorowanie A, które przekształca x y: yAx

y’

x

x’y Jeżeli wektory x’ i y’ przekształcane są do wektorów x i y poprzez transformację Q, jak wygląda odwzorowanie wektora x’ w wektor y’ ?

''

QyyQxx

Jeżeli oraz , to yAx '' QyAQx

Jeżeli macierz Q jest nieosobliwa, to

'''

''

BxAQxQyAQxQQyQ

1

11

Macierze A i B są swoimi transformatami przekształconymi przez podobieństwo AQQB 1

Przekształcenie - przykład

'22

1'12

12

'22

1'12

11

221

121

xxx

xxx

yxxyxx

'2

'1

21

21

21

21

2

1'2

'1

21

21

21

21

2

1

2

1

2

1

cossinsincos

1111

yy

yy

xx

xx

yy

xx

Q

'2

'1

'2

'1

21

21

21

21

'2

'1

'2

'1

21

21

21

21

21

21

21

21

'2

'1

'2

'1

21

21

21

21

'2

'1

21

21

21

21

1111

2002

1111

1111

xx

xx

yy

xx

yy

yy

xx

'2

'2

'1

'1

'2

'1

yxx

yxx

2’

1

1’2

φ=-45°

Przekształcenie - przykład

222

13

21

13

21

1111

21

21

21

21

212

3

21

21

21

21

'2

'1

'2

'1

21

21

21

21

'2

'1

'2

'1

21

21

21

21

21

21

21

21

'2

'1

'2

'1

21

21

21

21

'2

'1

21

21

21

21

1111

2002

1111

1111

xx

xx

yy

xx

yy

yy

xx

22

2

21

23

21

23

2’

1

1’2

(x1,x2)=(1,2)(y1,y2)=(3,-1)

1+2=31-2=-1

x

y

221

121

yxxyxx

-45°

(x’1,x’2)=(y’1,y’2)=

2

12

3 , 22,2

'2

'2

'1

'1

'2

'1

yxx

yxx

Równanie charakterystyczne macierzyλ – skalar , A(nn) I(nn) K(nn)

K = A – λI macierz charakterystyczna macierzy A

detK = K(λ) = det(A - λI)=A - λI= 0 równanie charakterystyczne macierzy

K(λ) = λn + an-1 λn-1 + an-2 λn-2 + ... + a1 λ + a0 = 0

Pierwiastki wielomianu K(λ): λ1 , λ2 , ... , λn-1 , λn nazywamy pierwiastkami charakterystycznymi (wartościami własnymi) macierzy A.

Jeżeli B = Q-1AQ, to macierz charakterystyczna macierzy BK = B – λI = Q-1AQ - Q-1IQ = Q-1(A - I)Q , a wyznacznikdetK =B - λI= Q-1 A - λI Q = A - λI= 0

Dwie macierze związane przekształceniem przez podobieństwo mają te same pierwiastki charakterystyczne.

Pierwiastki charakterystyczne

2,220110111

011

11det

2,220110111

01111

det

1111

1111

1111

2122

2122

21

21

21

21

21

21

21

21

I

IA

B

A

B

Macierz diagonalna

nn

n

nn

dddd

dddd

d

dd

d

d

dd

d

,...,,,

0...

...000...............0...000...000...00

...000...............0...000...000...00

332211

321

3

2

1

3

2

1

ID

IDD

Jeżeli istnieje takie przekształcenie przez podobieństwo, które macierz A sprowadzi do macierzy diagonalnej D , to elementy na przekątnej macierzy diagonalnej są zarazem pierwiastkami charakterystycznymi (wartościami własnymi) macierzy A.

Przykład diagonalizacji macierzy

2sin2cos2sin2cos2sin2cos2sin2cos

sincossin2cossincossin2cossincossin2cossincossin2cos

sincossincossincossincos

cossinsincos

cossinsincos

1111

cossinsincos

1111

cossinsincos

2222

2222

AQQ

AQ

1

Aby wyzerować elementy niediagonalne:

84212tan2cos2sin02sin2cos

Po przekształceniu otrzymujemy macierz:

2,220

02sincos0

0sincos21

44

44

Pierwiastki i wektory charakterystyczneC-1AC jest przekształceniem diagonalizującym macierz A.

Kolumny macierzy C są wektorami charakterystycznymi.

Jeżeli macierz C jest ortogonalna, to C-1=CT , a C-1AC = CTAC.

88

88

88

88

cossinsincos

cossinsincos

C

Obustronne pomnożenie macierzy A przez wektor charakterystyczny daje wartość charakterystyczną:

222

22sincossincossinsincoscos

sincossincos

sincossincos

1111

sincos

4482

888882

88

8888

8

888

Ogólnie:

nkk ,...,2,1kTk Acc

64

Regresja liniowa

Regresja liniowa:

y=a*x+b

Zadanie: Wyznaczyć optymalne wartości a oraz b.

0 1 2 3 4 5 6 7 8 90

5

10

15

20

25

30

(x1,y1)

(x2,y2)

65

Regresja liniowaPodstawowe założenia:

1) Rozkład yi wokół linii prostej jest losowy

2) Wariancja σy2 jest niezależna od x

Metoda najmniejszych kwadratów:

Wyznaczamy min Φ(a,b) względem a oraz b:

2

1

,

n

iii bxayba

02,

02,

1

1

n

iii

n

iiii

bxaybba

xbxayaba

66

Regresja liniowa

n

ii

n

ii

n

iii

n

ii

n

ii

n

ii

n

ii

n

ii

n

ii

n

iii

ybnxa

yxxbxa

bnxay

xbxayx

11

111

2

11

11

2

1

0

0

Rozwiązanie układu równań ze względu na a, b:

2

11

2

1111

2

2

11

2

111

n

ii

n

ii

n

ii

n

iii

n

ii

n

ii

n

ii

n

ii

n

ii

n

ii

n

iii

xxn

xyxyxb

xxn

yxyxna

67

Regresja liniowaEstymata wariancji dla wartości yi:

2n

bxays

n

1i

2ii

2

Estymata wariancji dla parametrów a oraz b:

2i2i

2i22

b2i

2i

22a xxn

xssxxn

nss

Współczynnik korelacji liniowej dla próbki r

yyxx

xy

ii

ii

SSS

yvarxvary,xcovr

Wartość r zawiera się między -1 i +1. r>0 wskazuje na zależność dodatnią, a r<0 na zależność ujemną między x oraz y. r=0 wskazuje na brak zależności liniowej między x oraz y.

68

Regresja liniowa - przykład

0 1 2 3 4 5 6 7 8 9 10

-40

-35

-30

-25

-20

-15

-10

-5

0

69

x [km] y [kg] x*x x*y y-a*x-b (y-a*x-b)^2 x-xsr y-ysr

1 -2 1 -2 -0.4 0.16 -4 18

3 -10 9 -30 0.8 0.64 -2 10

5 -20 25 -100 0 0 0 0

7 -30 49 -210 -0.8 0.64 2 -10

9 -38 81 -342 0.4 0.16 4 -18

Sum: 25 -100 165 -684 0.00 1.6 0 0

a=-4.6

kg/km

b= 3 kg

s^2= 0.5333 s= 0.7303 kg

sa^2= 0.0133 sa= 0.1155

sb^2= 0.44 sb= 0.6633

xsr= 5 cov(x,y)= -36.8000

ysr= -20 var(x)= 8.0000

var(y)= 169.6000

r(x,y)= -0.9991

70

Więcej o korelacji - kwadranty

0 1 2 3 4 5 6 7 8 9 10

-40

-35

-30

-25

-20

-15

-10

-5

0

I II

IV III

μx

μy

Kwadranty:I x-μx<0 y-μy<0 (x-μx)(y-μy)>0

II x-μx>0 y-μy<0 (x-μx)(y-μy)<0

III x-μx>0 y-μy>0 (x-μx)(y-μy)>0

IV x-μx<0 y-μy>0 (x-μx)(y-μy)<0

y,xcovn

yx)y,xcov( yixi

71

Współczynnik korelacji liniowej

yyxx

xy

ii

ii

SSS

yvarxvary,xcovr

r=-1x

y

-1<r<0

y

r=0

y

0<r<1

y

r=1

y

Regresja liniowa jako układ równań

nnn baxy

baxybaxybaxy

333

222

111Niewiadome: a , b

Szukamy rozwiązania takiego, aby uzyskać

n

iii

n

ii

n

ii

baxy1

2

1

2

1

2min

Zapis macierzowy:

nnn

ba

x

xx

y

yy

...

1......11

...2

1

2

1

2

1

aJy

Układ równań nadmiarowy

JayJayεε

εJay

TT

n

n

n

ii

......2

1

211

2

Poszukujemy rozwiązania a, dla którego T jest minimalne.

yJJJa

yJJaJ

0yJJaJaεε

yJaJaJayyJayyJaJaJayyJayJayJayJay

TT

TT

TTT

TTTTTTTTTTT

TTTT

1

22

2

Tak obliczone wartości parametrów a zapewniają minimalizację sumy kwadratów odchyleń od prostej

Przykład przedstawienia macierzowego

5,91,5

140802

140802

51402821

18

16

14

12

80204*120det42020120

18161412

18

16

14

12

18161412

51402821

80120

8020

8020

804

80120

8020

8020

804

2

a

yJJJ

JJJJ

aJy

T1T

TT

ba

WariancjeWariancja dla zmiennej y

22

n

syεεT

7,01,09,1

3,1

5,91,5

18161412

51402821

Jayε 9,228,5

7,01,09,1

3,1

7,01,09,13,124

12

ys

Wariancje i kowariancja dla parametrów

80348

8058

8058

806,11

80120

8020

8020

804

22

2

*9,2),cov(

),cov( 1TJJyb

a ssba

bas

Współczynnik korelacji liniowej

91,0348*6,11

58),cov(,22

ba ssbabar

JakobianW regresji liniowej funkcja modelu to prosta y= a*x + b.Jakobian to macierz pochodnych po parametrach a, b we wszystkich punktach danych i = 1,2,...,n

1......11

......2

1

22

11

nnby

nay

by

ay

by

ay

x

xx

J

Jeżeli do danych chcielibyśmy dopasować wielomian 2-go stopnia y= a0 + a1*x + a2*x2 , to jakobian miałby postać:

2

222

211

222

111

1.........

11

.........

210

210

210

nnnay

nay

nay

ay

ay

ay

ay

ay

ay

xx

xxxx

J

77

Rozkład złożonego pasma

0

5

10

15

20

25

0 5 10 15 20 25

Należy dopasować do pasma krzywe Gaussa w postaci

a

b

c

a - wysokośćb - położeniec - szerokość

Pasmo doświadczalne

2

2

2 k

k

cbx

kk eaxP

78

Metoda najmniejszych kwadratów

{ak}, k=1:M , M dopasowanych parametrówFunkcja błędu (suma po n punktach):Φ{ak} = j [yj(dośw) - yj({ak}]2

ZadanieMinimalizować Φ modyfikując zbiór {ak} startując z wartości początkowych {ak}0

79

Funkcja błędu i jakobian

2

2

2

2

2

2

23

2

22

2

k

k

k

k

k

k

cbx

k

kk

k

k

cbx

k

kk

k

k

cbx

k

k

ecbxa

cP

ecbxa

bP

eaP

N

kk

cbx

kk

xPxP

eaxP k

k

1

2 2

2

Rozkład na N pasm

Elementy jakobianu

80

Algorytm

2

2

2

1

1

1

11

2121

12111111

2

1

......

............

......

...

...

cbacba

bP

aP

bP

aP

aP

cP

bP

aP

y

yy

aJY

nn

n

Poprawiona wartość {ak}

YTJJTJa1

81

Metoda najmniejszych kwadratów

Krok 1

0

5

10

15

20

25

0 5 10 15 20 25

Krok 2

0

5

10

15

20

25

0 5 10 15 20 25

Krok 3

0

5

10

15

20

25

0 5 10 15 20 25

Krok 4

0

5

10

15

20

25

0 5 10 15 20 25

Pasmo rozłożone na 2 składowe

0

5

10

15

20

25

0 5 10 15 20 25

Calculation precisionSources of errors:

• input data errors• round-off errors• cut-off errors• the model errors• accidental errors

Absolute and relative errors:

xx~ approximate value

accurate value

absolute error

relative error xx

xxxr

xxx

~

~

Round-off and cut off errors round-off cut-off0.2397 0.240 0.239-0.2397 -0.240 -0.239

round-off to t digit after the decimal pointthe resulting absolute error ½·10-t

Example above: 0.240 ½·10-3 = 0.,240 0,0005

How to round-off numbers ending with 5?0.2345 0.2340.2435 0.244in addition the errors cancel

Przenoszenie się błędówDodawanie i odejmowanie

05,075,3~~70,303,042,102,033,2~~min80,303,042,102,033,2~~max

03,042,1~02,033,2~

21

21

21

2

1

xxxxxx

xx

Jaki jest błąd sumy?

Jaki jest błąd różnicy?

05,089,0~~84,003,042,102,033,2~~min94,003,042,102,033,2~~max

21

21

21

xxxxxx

Przenoszenie się błędówDodawanie i odejmowanie

2121

212121

2121212121

2211212211

222111

~~~~

~~~~

~~

xxxxxxxxxx

xxxxxxxxxxxxxxxxxxxx

xxxxxx

Podobnie:

2121

212121

~~~~

xxxxxxxxxx

Błąd bezwzględny sumy lub różnicy równa się sumie błędów bezwzględnych składników.

Znoszenie się składników przy odejmowaniu

%10010001,00001,0

0001,0~~0001,00001,0~~

10105763,05764,0~~105763,0~105764,0~

21

21

4214

21

21

421

2

421

1

r

xxxxxx

x

x

błąd bezwzględny

błąd względny

Przenoszenie się błędówMnożenie i dzielenie

212121

2121212121

2121221121

2222211111

1~~11

1111~~1~1~

rrxxxxrrxxrrrrxxrrxxrxrxxx

rxxxxrxxxx

Podobnie:

212

1

2

1

22

112

12

1

1~~

111~1~

~~

rrxx

xx

rx

rxx

xxx

Błąd względny iloczynu lub ilorazu równa się sumie błędów względnych czynników.

Wykorzystanie zasad przenoszenia błędów

Oblicz pierwiastki równania kwadratowego wykonując obliczenia z dokładnością do 5 cyfr znaczących.

62

21

321

2

321

1

21

212

212

21

109982,55

0005,0

103018,0

0005,010982,55982,2728

10018,0982,2728

982,277831784428

028

r

r

x

x

xx

tylko 2 cyfry znaczące

5 cyfr znaczących

Wykorzystanie zasad przenoszenia błędów

Wykorzystanie wzorów Viete’a

62

51

621

2121

321

2

21

212

212

21

109982,55

0005,0

103017863,0

0000005,0

10017863,0982,55111

10982,55982,2728

982,277831784428

028

r

r

xxxx

x

xx

acxx

cbxax

21

2 0

Błędy maksymalne złożonych wyrażeń

yyr

xxyx

xyx

xyy

xxyy

xxxxxxxxxxxxyy

xxxyy

y

nxnxx

n

ii

xi

nnn

n

n

~2

~21

~1

1 ~

222111

21

21

...

~...~~~,...,~,~~

,...,, Dana zależność funkcyjna

Parametry xi obarczone błędami. Jaki jest błąd maksymalny wielkości złożonej y?

Przykład szacowania błędu maksymalnego

%1616,0232,0

32,01,010

2011012

101

11

210

300320

2

2

yr

ccbab

ca

c

ccyb

bya

ayy

cbay

1,01,00,101130022320

ccbbaa

Błędy standardowe złożonych wyrażeń

22

~

22

2

~2

21

2

1

1

22

~

222111

21

21

...

,~...,~,~~,...,~,~~

,...,,

nxnxx

y

n

ii

xiy

nnn

n

n

sxys

xys

xys

sxys

sxxsxxsxxxxxyy

xxxyy

Dana zależność funkcyjna

sx to błędy standardowe zmiennych x. Jaki jest błąd standardowy wielkości złożonej y?

Przykład szacowania błędu standardowego

22,01,010

2011012

101

11

210

300320

22

22

22

2

22

22

22

2

22

22

22

cba

cbay

scbas

cs

c

scys

bys

ays

cbay

1,01,00,101130022320

c

b

a

scsbsa