State Space        Reconstruction

NG  SOOK  KIEN

Prepared by: Ng Sook Kien

NG  SOOK  KIEN

Table of Contents:       Time Series       Phase Space       Phase Space Reconstruction

Delay Reconstructiona. Minimal Embedding Dimension

➢ Method:    1. False Nearest Neighbours    2. Saturation of  Invariant of Attractors    3. True Vector Fields

b. Optimal Time Delay (lag)

➢ Method:    1. Mutual Information    2. Autocorrelation

➢ What Is It ?➢ Why Minimum?

➢ What Is It ?➢ Why ?

A

B

NG  SOOK  KIEN

What Is Time Series?

Time series: a scalar sequence of measurements taken at fixed sampling time

Time series analysis accounts for the fact that data points taken over time may have an internal structure (such as autocorrelation, trend or seasonal variation) that should be accounted for

Time series analysis accounts for the fact that data points taken over time may have an internal structure (such as autocorrelation, trend or seasonal variation) that should be accounted for

What is time series?

Main goal TS analysis

Time Series VS Phase Space

What is Phase Space

Phase Space (Math)

(Attractor, Trajectory)

Why PS Reconstruction

What Info?

eg. Fig

Summary

NG  SOOK  KIEN

Time Series Analysis

➢ Identifying the nature of the phenomenon     ➢ predicting future values 

 2 main goals of time series analysis:

 We can extrapolate the identified pattern to      predict future events.

 Requirement: the pattern of observed time    series data is identified Requirement: the pattern of observed time    series data is identified

 We can extrapolate the identified pattern to      predict future events.

What is time series?

Main goal TS analysis

Time Series VS Phase Space

What is Phase Space

Phase Space (Math)

(Attractor, Trajectory)

Why PS Reconstruction

What Info?

eg. Fig

Summary

NG  SOOK  KIEN

Time Series VS Phase Space

 What we observe?

Time Series Phase Space

 Therefore, Convert observation into state vector (phase space)

 So, how ?

PHASE SPACE RECONSTRUCTION

What is time series?

Main goal TS analysis

Time Series VS Phase Space

What is Phase Space

Phase Space (Math)

(Attractor, Trajectory)

Why PS Reconstruction

What Info?

eg. Fig

Summary

NG  SOOK  KIEN

Phase Space I➢ Demonstrate & visualise the changes in the              dynamical  variables

➢ May contain many dimensions

➢ Phase diagram represents all that the system        can be, (its shape describes qualities of the             system) 

➢ Succession of plotted points => system's state         evolving over time. 

➢ Every possible state of the system => a point               plotted in multidimensional space.

What is time series?

Main goal TS analysis

Time Series VS Phase Space

What is Phase Space

Phase Space (Math)

(Attractor, Trajectory)

Why PS Reconstruction

What Info?

eg. Fig

Summary

NG  SOOK  KIEN

Phase Space II

 A state is specified by a vector 

 Is a finite­dimensional vector space

 Dynamics can be describe by:

➢ An explicit system of m­first­order ordinary     differential eq. ­­ continuous ­­ flow:

➢ m­dimensional map – time is a discrete    variable:➢ m­dimensional map – time is a discrete    variable:

What is time series?

Main goal TS analysis

Time Series VS Phase Space

What is Phase Space

Phase Space (Math)

(Attractor, Trajectory)

Why PS Reconstruction

What Info?

eg. Fig

Summary

NG  SOOK  KIEN

Phase Space III

 A sequence of points that fulfill the above eq.          => trajectory of the dynamical system

 Trajectory run away to infinity

stay in a bounded area forever

 Basin of attraction => a set of initial conditions     attracted to same asymptotic behaviour.

 Attractors:  ➢ subset of the phase space to which the         system evolves after a long enough time➢ Is invariant under the dynamical evolution 

What is time series?

Main goal TS analysis

Time Series VS Phase Space

What is Phase Space

Phase Space (Math)

(Attractor, Trajectory)

Why PS Reconstruction

What Info?

eg. Fig

Summary

NG  SOOK  KIEN

Why Phase Space Reconstruction?

 Deterministic system, once present state ­­ fixed,    states at all future times are determined as well.

 Establish a phase space for the system such that   specifying a point  in this space specifies the         state of the system, then.... We can study the dynamics of the system by   studying the dynamics of phase space.

 Example.......

Why Phase Space Reconstruction?

 Establish a phase space for the system such that   specifying a point  in this space specifies the         state of the system, then....

What is time series?

Main goal TS analysis

Time Series VS Phase Space

What is Phase Space

Phase Space (Math)

(Attractor, Trajectory)

Why PS Reconstruction

What Info?

eg. Fig

Summary

NG  SOOK  KIEN

What Information From Phase Space Reconstruction ?A = Too many predators.B = Too few prey.C = Few predator and prey;        prey can grow.D= Few predators, ample prey.

Drawn from point A is an arrow (vector) showing how the system would change from that point. 

Phase Space Reconstruction

Original phase space of Henon Map

Reconstructed phase space of Henon Map, delay = 1

NG  SOOK  KIEN

NG  SOOK  KIEN

Short Summary:

 Time series measure only 1 / limited variable

 Phase space reconstruction enable us to study     unobserved variables Attractors contain geometrical & dynamical properties     of the original phase space Study properties of attractors = study properties of the        system 

NG  SOOK  KIEN

 Derivative coordinates Principal value decomposition

 Delay coordinates:

Methods of Phase Space Reconstruction

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

Combination

NG  SOOK  KIEN

Delay Reconstruction We have:

➢ S – measurement function➢       measurement noise

 Delay reconstruction in m dimensions is formed   by the vector      :

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

 In practice, 2 problems exist:

➢ Optimal delay coordinates ?

➢ Necessary dimension of the reconstructed         phase space (minimum embedding                     dimension) is unknown 

Problems:

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

Embedding  Theorems: 

 Guarantee 1: for ideal noise­free data there exists                           a embedding dimension m such that                           vectors       are equivalent to                                       original phase space vectors. 

 Guarantee 2: Attractor formed by       =>                                      equivalent to the attractor in the                              original phase space if m > 2D

F 

 Most important embedding parameter: product of    (m.   ) 

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

Minimum Embedding Dimension Embedding => Condition when the attractor in the       original phase space is completely unfolded in the       reconstructed phase space. 

Dattractor  

<<  Doriginal phase space

 Unnecessary to reconstruct the original phase           space when...

 Precise knowledge – IMPOSSIBLE to                   reconstruct the original phase space.

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

Why Minimum Embedding Dimension?

  No. of points on the reconstructed attractor is too          few to obtain reliable estimates 

 Computational "cost" rises exponentially with          the m

 In the presence of noise, the unnecessary                     dimensions   of the phase space are not populated       by new information (already captured in smaller m)

m too large, chaotic data add redundancy & degrade the performance of many algorithms 

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

Problems With Embedding of Scalar Data

 2 aspects:➢ To characterise the state of a system uniquely

Manifold => CURVED

Construct D independent variables for every time t the signal is sampled.

➢ Find an embedding of a curved manifold in        Cartesian space – Whitneys' Theorem

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

Whitney Embedding Theorem

 Any smooth D­dimensional manifold can be   embedded in Euclidean 2D+1 space

➢ Proved only for integer D➢  Doesn't say how likely it is that a given           map really forms an embedding

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

 If the original attractor has dimension D, then an    embedding dimension of  m = 2D + 1 will be          adequate for reconstructing  the attractor.

NG  SOOK  KIEN

Takens' Embedding Theorem

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

If a time series comes from a dynamical system that is on an attractor, the trajectories constructed from the time series by embedding will have the same topological properties as the original one.

Requirement

NG  SOOK  KIEN

X(ti ) ­­ observable state variable at discrete time (t

i ), 

       ­­ is the time delay,τm     ­­ is the embedding dimension.  For example, 

Construct from the original time series x(ti ) vectors 

of dimension m, 

These points are then assumed to approximate the reconstructed attractor.

For  time series X1, X

2, X

3, . . . , X

10, the reconstructed 

attractor with   = 3 and m = 2 has points (Xτ1, X

4), (X

2, X

5), 

(X3, X

6), . . . , (X

7, X

10) in a 2­dimensional phase space.

Takens' Embedding Theorem

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

DD

NG  SOOK  KIEN

False Nearest Neighbours

 Property: m too low,  distant points  in the                 original phase space are close points in the                reconstructed phase space 

SO

 Increasing m, No more false nearest neighbour

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

Saturation of Invariant on The Attractor 

 Property: attractor ­­ unfolded, any invariant on      the attractor is independent of m

 Attractor ­­ not completely unfolded,                  invariants depend on the embedding                    dimension. 

SO

 Increasing m, Value of invariant on the attractor stops changing

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

NG  SOOK  KIEN

True Vector Fields: Property:  vector field associated with the vector        function  is unambiguous (attractor unfolded).

 Tangents to the evolution of the vector function        are smooth & unique throughout the phase space. 

 m too low, the vector field in some neighborhoods     is not unique (tangents point in different                     directions).

SO

Directional vectors in each neighborhood point in the same direction.

 Increasing m,

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

Time Lag

How?

NG  SOOK  KIEN

Optimum Delay (Time Lag)

 too small:  attractor restricted to the diagonal of                         the reconstructed phase space too large: components ­­ uncorrelated.                                       Reconstructed attractor no longer                               represents the true dynamics. 

 Not be close to an integer multiple of a       periodicity of the system

Almost every value of time lag should work.

 Not the subject of the embedding theorem – data   with infinite precision.

Reconstruction method

Delay Reconstruction (math)

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

Time Lag

How?

NG  SOOK  KIEN

How To Choose The Time Lag?suggestions :

➢ Let the lag be a quarter of the period of the        characteristic frequency 

➢ Let the lag be the autocorrelation time when      the autocorrelation approaches  1/e

➢ Let the lag be the time when the mutual                 information function reaches its first minimum 

Problems ( m, lag)

Embedding Theorem (Guarantee)

Minimum Embedding

Y Minimum Embedding

Problems with Embedding

Whitneys' Theorem

Takens' Theorem

False Nearest Neighbours

Saturation of Invariant

True Vector Fields 

Time Lag

How?

Examples

Very strong periodic signals

NG  SOOK  KIEN

Examples:Henon  original

Reconstructed, delay = 1

NG  SOOK  KIEN

Reconstructed, delay = 3

Reconstructed, delay = 2

Examples:

NG  SOOK  KIEN

Examples:

Reconstructed Phase Space of Lorenz Attractor, delay = 1

Original Phase space of Lorenz Attractor

Examples:

NG  SOOK  KIEN

Reconstructed Phase Space of Lorenz Attractor, delay = 3

Reconstructed Phase Space of Lorenz Attractor, delay = 2

Examples:

NG  SOOK  KIEN

Reconstructed Phase Space of Lorenz Attractor, delay = 7

Reconstructed Phase Space of Lorenz Attractor, delay = 15

NG  SOOK  KIEN

Examples:

Reconstructed Phase Space of Lorenz Attractor, delay = 30

Reconstructed Phase Space of Lorenz Attractor, delay = 35

NG  SOOK  KIEN

Examples:

Reconstructed Phase Space of Lorenz Attractor, delay = 50

Reconstructed Phase Space of Lorenz Attractor, delay = 60

Examples:

NG  SOOK  KIEN

Reconstructed Phase Space of Lorenz Attractor, delay = 80

Reconstructed Phase Space of Lorenz Attractor, delay = 100

NG  SOOK  KIEN

Examples:

Reconstructed Phase Space of Lorenz Attractor, delay = 150

Reconstructed Phase Space of Lorenz Attractor, delay = 200

Examples:

NG  SOOK  KIEN

Reconstructed Phase Space of Lorenz Attractor, delay = 300

Reconstructed Phase Space of Lorenz Attractor, delay = 500

NG  SOOK  KIEN

Examples:

NG  SOOK  KIEN

Examples:

Examples:

NG  SOOK  KIEN

NG  SOOK  KIEN

Examples:

NG  SOOK  KIEN

Examples:

NG  SOOK  KIEN

Examples:

NG  SOOK  KIEN

Summary: Phase diagram represents all that the system can be, (its      shape describes qualities of the system)  Is invariant under the dynamical evolution  Really possible to reconstruct the phase space from only one time   series.  Methods: Delay embedding Theorem

NG  SOOK  KIEN