УДК 519.24:519.711, 004.023 ПАРАЛЛЕЛЬНЫЕ ГИБРИДНЫЕ ...edu.tltsu.ru/sites/sites_content/site1238/html/... · оретические основы решения

Вектор науки ТГУ. № 3(17), 2011 45

Цыганов А.В., Булычов О.И., Цыганова Ю.В. ПАРАЛЛЕЛЬНЫЕ ГИБРИДНЫЕ АЛГОРИТМЫ...

управление, вычислительная техника и информатика

УДК 519.24:519.711, 004.023

ПАРАЛЛЕЛЬНЫЕ ГИБРИДНЫЕ АЛГОРИТМЫ ДЛЯ ЗАДАЧИ ПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ В СТОХАСТИЧЕСКИХ ЛИНЕЙНЫХ

СИСТЕМАХ

© 2011

А.В. Цыганов, кандидат физико-математических наук, доцент, доцент кафедры «Математический анализ»

О.И. Булычов, ведущий программист компании «Gladiators Software»Ульяновский государственный педагогический университет имени И. Н. Ульянова, Ульяновск (Россия)

Ю.В. Цыганова, кандидат физико-математических наук, доцент, доцент кафедры «Информационные технологии»

Ульяновский государственный университет, Ульяновск (Россия)_______________________________________________________________________________________

Ключевые слова: параллельные гибридные алгоритмы; параметрическая идентификация; фильтр Калмана; гра-диентные методы оптимизации.

Аннотация: В работе рассматривается задача параметрической идентификации в стохастических линейных системах. Для оценивания неизвестных параметров системы используется метод максимального правдоподо-бия. Поиск условного минимума функционала качества выполняется с помощью гибридных алгоритмов, осно-ванных на сочетании параллельных метаэвристических алгоритмов библиотеки HeO (Heuristic Optimization) и точных методов минимизации ньютоновского типа. Приводятся результаты численных экспериментов, под-тверждающие эффективность предложенных алгоритмов.

ВВЕДЕНИЕЗадача параметрической идентификации является одной

из важнейших задач, возникающих в различных областях на-уки и техники, таких как компьютерные сети, архитектура ЭВМ, базы данных, биология и медицина, метеорология и др. (см., например, [1]). К настоящему времени разработаны те-оретические основы решения таких задач, а также накоплен опыт по практической реализации методов и алгоритмов па-раметрической идентификации.

Однако бурное развитие современных программных средств и инструментов, в т. ч. параллельного программи-рования, стимулирует к разработке новых эффективных алгоритмов параметрической идентификации для систем реального времени. Одним из важных требований для иден-тификации в системах реального времени является высокая скорость процесса идентификации без потерь в точности найденных оценок. Следовательно, актуальной задачей яв-ляется разработка эффективных методов параметрической идентификации, которые при практической реализации име-ли бы высокое качество идентификации.

В данной работе рассматривается решение задачи пара-метрической идентификации по наблюдаемым данным в сто-хастических линейных системах, описываемых моделями в пространстве состояний. Для оценивания неизвестных пара-метров системы используется метод максимального правдо-подобия. При этом поиск условного минимума функционала качества выполняется с помощью гибридных алгоритмов, основанных на сочетании параллельных метаэвристических алгоритмов библиотеки HeO [2] и точных методов миними-зации ньютоновского типа. Задача параллельных метаэври-стических алгоритмов заключается в отыскании начального приближения для оценки неизвестных параметров, а задача точного численного метода – в уточнении найденного реше-

ния алгоритмами первой группы. Эффективная программная реализация подразумевает применение методов и средств параллельного программирования для повышения вычисли-тельных характеристик гибридных алгоритмов.

Работоспособность предложенных алгоритмов подтверж-дается результатами вычислительных экспериментов.

ПОСТАНОВКА ЗАДАЧИРассмотрим источник данных в виде линейной стохасти-

ческой дискретной системы , (1)

(2)с вектором состояния n

tx ∈ℜ и вектором измерения mtz ∈ℜ ,

где {w0,w1,…} и {v1,v2,…} суть q-мерная и m-мерная незави-симые последовательности независимых и одинаково распре-деленных случайных векторов с нулевыми математическими ожиданиями и ковариациями Q(Θ) и R(Θ) соответственно. Эти последовательности не зависят от случайного начально-го состояния системы 0 0 0( ( ), ( ))x x P∈ Ν Θ Θ . Предположим, что описывающие систему (1), (2) матрицы зависят от не-известного параметра pRΘ∈ , причем элементы указанных матриц являются дифференцируемыми по θi функциями, где θi – i-й элемент вектора Θ, i=1,…,p.

Предположим, что ( )D∀ Θ∈ Θ : R(Θ) > 0, P0 ≥ 0 и Г(Θ) Q(Θ) ГT(Θ) ≥ 0, Ф(Θ) – устойчивая матрица, система (1), (2) стабилизируемая, полностью наблюдаемая и полностью управляемая [3].

Важной задачей, возникающей часто в различных об-ластях науки и техники, является разработка эффективных алгоритмов параметрической идентификации для математи-ческой модели (1), (2) с учётом высказанных выше предпо-ложений. Данная задача заключается в нахождении оценки

46 Вектор науки ТГУ. № 3(17), 2011



неизвестного вектора параметров pΘ∈ℜ по данным наблю-дений 1 1 2[ | | | ]N T T T T

NZ z z z= , где N – размер выборки, в соот-ветствии с выбранным критерием качества идентификации, который определяется некоторым функционалом 1( ; )NJ ZΘ .

При заданном функционале качества 1( ; )NJ ZΘ нахожде-ние оценок θi (i=1,…,p) предполагает решение задачи нели-нейного программирования с ограничениями:

Наиболее часто для систем вида (1), (2) оценивание па-раметров проводят по методу максимального правдоподобия и наименьших квадратов (см. [3, 4] и др.). В этом случае для метода максимума правдоподобия запишем отрицательную логарифмическую функцию правдоподобия [5]:

(3) где вектор невязки измерений vt и его ковариационная матри-ца Bt при заданных значениях параметра Θ вычисляются по известным уравнениям фильтра Калмана [6]:

Для поиска условного минимума (3), как правило, исполь-зуются градиентные методы оптимизации или методы ньюто-новского типа. Градиентные методы (или методы первого по-рядка) требуют вычисления целевой функции и её градиента. Методы ньютоновского типа (или методы второго порядка), кроме целевой функции и градиента, дополнительно требуют вычисления матрицы вторых производных. К этой группе от-носится метод Гаусса-Ньютона, который будем использовать в работе в качестве точного метода. При использовании дан-ного метода для поиска минимума критерия (3) итерационная формула для вычисления оценки параметра Θ имеет вид:

где βk – длина шага вдоль выбранного направления, grad JMLF– градиент функционала (3), M – информационная матрица Фишера, которая задаётся выражением [5]:

Подробно вычислительные аспекты таких методов рас-смотрены в [4], [5]. Следуя работе [5], градиента (3) будем вычислять с помощью выражения:

, (4)

а в качестве оценки информационной матрицы Фишера бу-дем использовать вы ражение:

, (5)

где i=1,…,p, j=1,…,p, tr(A) – след матрицы A, tMij (Hk;Z 1

N) – i, j-ый элемент матрицы tM( Hk ;Z1

N ), величины vt и Bt вычисля-ются по выражениям фильтра Калмана.

Для вычисления величин t

i

νθ

∂∂ и t

i

Bθ

∂∂ необходимо ис-

пользовать так называемые уравнения чувствительности фильтра Калмана, которые получаются из уравнений дис-кретного фильтра Калмана дифференцированием по каждому неизвестному параметру θi. Различные методы построения уравнений чувствительности фильтра Калмана рассмотрены в работах [5, 7–9] и др. Заметим, что практическая реализация выражений (4) и (5) является наиболее трудоёмкой и требует для систем большой размерности значительных вычисли-тельных ресурсов при применении метода Гаусса-Ньютона.

Метод Гаусса-Ньютона является точным методом, то есть сходится за конечное число шагов к оптимальному значению при соблюдении известных условий теорем сходимости [10]. Однако хорошо известно, что на сходимость численных мето-дов влияют различные факторы, в частности, хороший выбор начального приближения. Если начальное приближение вы-брано неверно, то алгоритм нахождения оценок оптимальных параметров может расходиться, что означает невозможность идентификации. Одним из важных требований для иденти-фикации в системах реального времени является высокая скорость процесса идентификации без потерь в точности най-денных оценок. Следовательно, актуальной задачей является разработка эффективных методов параметрической иденти-

Рис. 1. График сходимости оценок а) параметров и б) невязки для алгоритма GA

{ }11

1

1( ; ) ln(2 ) ln(det )2

NN T

MLF t t t tt

J Z m B v B vπ −

=

Θ = + +∑




фикации, которые при практической реализации имели бы высокое качество идентификации (то есть реальную скорость сходимости и точность оценок неизвестных параметров).

Улучшить качество процесса идентификации представ-ляется возможным за счёт поиска начального приближения метаэвристическими алгоритмами оптимизации, которым для отыскания условного минимума совсем необязательно вычислять значение градиента, следовательно, реализация таких методов будет существенно проще, чем точных числен-ных методов первого и второго порядка. Такими методами являются, например, различные модификации генетического алгоритма, метод имитации отжига и т. п. Идея применения метаэвристических алгоритмов для решения задачи параме-трической идентификации не является новой. В частности, применение генетического алгоритма для параметрической идентификации ARMAX-модели рассмотрено в [11], а метода

имитации отжига для параметрической идентификации ли-нейных стохастических систем, представленных моделями в пространстве состояний, в работе [12]. Однако, описанные там алгоритмы не являются параллельными.

В связи с этим, целью данной работы является разработка и эффективная программная реализация параллельных ги-бридных алгоритмов параметрической идентификации в ли-нейных стохастических системах по наблюдаемым данным. Данные алгоритмы являются гибридами метаэвристических алгоритмов, задача которых заключается в отыскании началь-ного приближения для оценки неизвестных параметров, и численного метода Гаусса-Ньютона, который при отыскании минимума критерия (3) стартует с найденного начального приближения и уточняет найденное методами первой группы решение. Эффективная программная реализация подразуме-вает применение методов и средств параллельного програм-мирования для повышения вычислительных характеристик гибридных алгоритмов.

ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВПрограммная реализация алгоритмов была выполнена в

виде проекта ISLSP (Identification of Stochastic Linear System Parameters) на языке C++ с использование библиотеки мета-эвристических алгоритмов HeO.

Библиотека HeO (Heuristic Optimization) является про-

GA GA→GN SA SA→GNθ1 0.2865 0.3039 0.2895 0.3002θ2 0.6884 0.6668 0.6797 0.6746θ3 1.0269 1.0753 1.0644 1.0219r 0.2234 0.1724 0.1214 0.0733

Таблица 1. Установившиеся значения параметров и невязки

Рис. 2. График сходимости оценок а) параметров и б) невязки для алго-ритма GA→GN

Рис. 3. График сходимости оценок а) параметров и б) невязки для алгоритма SA

48 Вектор науки ТГУ. № 3(17), 2011



ектом с открытым исходным кодом и распространяется на основе лицензии MIT. Цель проекта – обеспечить исследова-телей современными и простыми в использовании средства-ми для решения широкого круга оптимизационных задач. Официальная страница проекта располагается по адресу: http://www.code.google.com/p/heo. Библиотека и демон-страционные проекты доступны через SVN или из раздела Downloads.

В качестве основной модели параллельных вычислений в библиотеке HeO используется мультистартовая модель. В этой модели алгоритм работает в несколько потоков, неза-висимо решающих задачу с возможностью периодической кооперации между потоками. В библиотеке реализованы два режима кооперации: синхронный и асинхронный.

В настоящее время в библиотеке реализованы следую-щие алгоритмы (солверы): генетический алгоритм (GA – Genetic Algorithm), метод имитации отжига (SA – Simulated Annealing), метод ветвей и границ (BnB – Branch and Bound) и заготовка для пользовательских методов (User). Одним из достоинств библиотеки HeO является возможность простого получения гибридных алгоритмов на основе существующих. Пользователям библиотеки доступны два типа гибридов: «сильные» (strong) и «слабые» (weak). При сильной гибри-дизации один из алгоритмов рассматривается как оператор другого алгоритма, например, метод имитации отжига, мо-жет рассматриваться как один из операторов генетического алгоритма. Набор и порядок выполнения операторов основ-ного алгоритма задаётся пользователем в конфигурационном файле без изменения исходного кода программы (более под-робно этот вопрос рассмотрен в [13]. При слабой гибридиза-ции результаты работы одного алгоритма служат начальными данными для другого алгоритма (обмен решениями при этом осуществляется через специальный буфер – пул решений).

В рамках проекта ISLSP были реализованы все необхо-димые проблемно-зависимые классы алгоритмов GA и SA, а также на основе пользовательского солвера User запрограм-мирован метод Гаусса-Ньютона (GN). В качестве функции приспособленности для GA и функции стоимости для SA использовался функционал (3). Для выполнения матричных операций использовалась библиотека Armadillo [14], син-таксис которой очень похож на синтаксис языков Matlab и Octave, что позволяет быстро переносить код, разработанный

для Matlab и Octave в программы на языке C++.

ПРАКТИЧЕСКИЙ ПРИМЕРДля демонстрации работы алгоритма рассмотрим пример

модели линейной стохастической системы второго порядка без управления:

(6)

(7)

где Q=θ3, R=0.1, 0 0 2( , )x x I∈ Ν (In – единичная матрица раз-мера n×n). Необходимо получить оптимальные оценки па-раметра 1 2 3( , , )Tθ θ θΘ = , входящие в переходную матрицу состояния Ф и в ковариационную матрицу Q. Реализации на-блюдений получались компьютерным моделированием при истинных значениях параметров θ1

*=0.30, θ2*=0.68, θ3

*=1 и N=100.

Задача решалась в 4 потока на системе с общей памятью следующей конфигурации: процессор – Intel Core 2 Quad Q6600 @ 2.4 ГГц; ОЗУ – 4 Гб; операционная система – MS Windows XP Professional SP 3.

Методика численных экспериментов заключалась в сле-дующем. Для 10 различных реализаций N наблюдений вы-полнялась идентификация параметров модели (6), (7) при по-мощи алгоритмов GA, SA и их слабых гибридов с алгоритмом Гаусса-Ньютона (GA→GN, SA→GN). В ходе каждого экспе-римента сохранялась история поиска решения. По окончании экспериментов результаты усреднялись и по ним строились графики сходимости полученных оценок и невязки (для ус-реднения выбирались результаты лучшего из потоков).

На рис. 1 и 2 представлены усреднённые графики схо-димости оценок параметров и графики сходимости невязки оценок вектора параметров для алгоритмов GA и GA→GN, а на рис. 3 и 4 представлены аналогичные графики для алго-ритмов SA и SA→GN. Невязка вычислялась для каждой ите-рации k алгоритма по формуле r=||Θk−Θk

*||.В таблице 1 приведены установившиеся значения пара-

метров и невязки для каждого из четырёх алгоритмов.Результаты экспериментов позволяют сделать вывод о

том, что для решения задачи параметрической идентифи-кации в стохастических линейных системах могут успешно

Рис. 4. График сходимости оценок а) параметров и б) невязки для алгоритма SA→GN

[ ]1 0t t tz x v= +




PARALLEL HYBRID ALGORITHMS FOR THE PROBLEM OF PARAMETER IDENTIFICATION IN STOCHASTIC LINEAR SYSTEMS

© 2011

A.V. Tsyganov, candidate of physical and mathematical sciences, associate professor of the chair «Mathematical analysis»

O.I. Bulychov, lead programmer company «Gladiators Software»Ulyanovsk State Pedagogical University Named After I. N. Ulyanov, Ulyanovsk (Russia)

Yu.V. Tsyganova, candidate of physical and mathematical sciences, associate professor of the chair «Information technology»

Ulyanovsk State University, Ulyanovsk (Russia)_______________________________________________________________________________________

Keywords: parallel hybrid algorithms; parameter identification; Kalman filter; gradient optimization methods.

Annotation: In the present paper the problem of parameter identification in stochastic linear systems is considered. The maximum likelihood method is used for estimation of the unknown parameters. The search for performance functional minimum is done with the usage of hybrid algorithms based on the combination of the metaheuristic algorithms of the HeO (Heuristic Optimization) library and the exact methods of the Newton type. Numerical results which demonstrate the efficiency of the proposed algorithms are provided.

применяться параллельные гибридные алгоритмы.

ЗАКЛЮЧЕНИЕВ работе рассмотрена программная реализация парал-

лельных гибридных алгоритмов параметрической идентифи-кации в линейных стохастических системах по наблюдаемым данным. Разработанные алгоритмы являются гибридами ме-таэвристических алгоритмов, задача которых заключается в отыскании начального приближения для оценки неизвестных параметров, и численного метода Гаусса-Ньютона, который при отыскании минимума критерия идентификации стартует с найденного начального приближения и уточняет найденное решение. Разработанные алгоритмы могут применяться для идентификации параметров моделей систем реального вре-мени, поскольку обладают рядом преимуществ:

1) использование параллелизма метаэвристических алго-ритмов позволяет расширить пространство поиска оптималь-ного решения и получать хорошее начальное приближение для численных методов;

2) точность найденного решения гарантируется примене-нием численного метода второго порядка на заключительном этапе поиска оптимального решения.

В ходе дальнейших исследований планируется реализа-ция параллельных гибридных алгоритмов с альтернативны-ми функциями приспособленности и стоимости и другими численными методами оптимизации.

СПИСОК ЛИТЕРАТУРЫ1. Дорф Р. Современные системы управления /

Р. Дорф, П. Бишоп. – М.: Лаборатория базовых знаний, 2002. – 832 с.

2. Цыганов А. В., Булычов О. И. HeO: библиотека ме-таэвристик для задач дискрет ной оптимизации // Программ-ные продукты и системы. 2009. № 4. с. 148–151.

3. Mosca E. Optimal, predictive and adaptive control. Prentice-Hall, Inc., 1995. 478 p.

4. Aström K. J. Maximum Likelihood and Prediction Error Methods // Automatica. 1980. Vol. 16. P. 551–574.

5. Gupta N. K., Mehra R. K. Computational Aspects of Maximum Likelihood Estimation and Reduction in Sensitivity Function Calculations // IEEE Transactions on Automatic Control. 1974. V. AC-19. No. 6. P. 774–783.

6. Grewal M. S., Andrews A. P. Kalman Filtering: Theory and Practice Using MATLAB, Second Edition / John Wiley & Sons, Inc., 2001. 401 p.

7. Денисов В. И., Чубич В. М., Рябых О. С. Новое обобщённое выражение для информационной матрицы Фи-шера в задаче активной параметрической идентификации стохастических линейных дискретных систем // Науч. вест-ник НГТУ. 2001. № 2(11), С. 29–42.

8. Hill S. D. Reduced Gradient Computation in Prediction Error Identification // IEEE Transactions on Automatic Control. 1985. V. AC-30. No. 8. P. 776-778.

9. Bierman G. J., Belzer M. R., Vandercraft J. S., Porter D. W. Maximum Likelihood Estimation Using Square Root Information Filters // IEEE Transactions on Automatic Control. 1990. V. 35. No. 12. P. 1293–1299.

10. Васильев В. П. Численные методы решения экстре-мальных задач / В.П. Васильев. – М.: Мир, 1982. – 372 с.

11. Theofilatos K., Beligiannis G., Likothanassis S. Combining evolutionary and stochastic gradient techniques for system identification // Journal of Computational and Applied Mathematics. 2009. V. 227. P. 147–160.

12. Цыганова Ю. В., Цыганов А. В. Имитационная нор-мализация в задаче идентификации параметров стохастиче-ской линейной системы // Стохастическая оптимизация в ин-форматике / Под. ред. О. Н. Граничина. Т. 6 (Вып. 1). Изд-во Санкт-Петербургского университета. 2010. С. 147–159.

13. Булычов О. И. Использование шаблонного метапро-граммирования при реализации параллельных гибридных метаэвристических алгоритмов оптимизации // Вестник УГА-ТУ, 2010 г., Т. 14, № 4(39).

14. Sanderson C. Armadillo: An Open Source C++ Linear Algebra Library for Fast Prototyping and Computationally Intensive Experiments // NICTA Technical Report, 2010.

Documents

УДК 519.24:519.711, 004.023 ПАРАЛЛЕЛЬНЫЕ ГИБРИДНЫЕ ...edu.tltsu.ru/sites/sites_content/site1238/html/... · оретические основы решения