РАЗРАБОТКА И РЕАЛИЗАЦИЯ КОМПЛЕКСА ИМИТАЦИОННЫХ МОДЕЛЕЙ БОЕВЫХ ДЕЙСТВИЙ НА МУЛЬТИПРОЦЕССОРНОЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЕ

НАУКА И ВОЕННАЯ БЕЗОПАСНОСТЬ № 4/2009, стр. 32-37

ВОЕННАЯ НАУКА И ИСКУССТВО

Полковник В.М. БУЛОЙЧИК,

начальник кафедры информационно-вычислительных систем

Военной академии Республики Беларусь,

доктор технических наук, профессор

Полковник В.М. БЕРИКБАЕВ,

заместитель начальника кафедры

информационно-вычислительных систем

Военной академии Республики Беларусь,

кандидат технических наук, доцент

Подполковник А.В. ГЕРЦЕВ,

профессор кафедры информационно-вычислительных систем

Военной академии Республики Беларусь,

кандидат технических наук, доцент

Майор И.Л. РУСАК,

научный сотрудник Научно-исследовательского института

Вооруженных Сил Республики Беларусь

А.В. БУЛОЙЧИК,

инженер-программист предприятия «Белфортекс»

В.А. ГЕРЦЕВ,

главный конструктор - начальник центра

информационных технологий предприятия «Белфортекс»,

кандидат технических наук, доцент

С.И. ЗАЙЦЕВ,

начальник сектора инновационных разработок предприятия «Белфортекс»

УДК 519.95.621.3

Моделирование боевых действий является важной научно-технической проблемой и востребовано при решении обширного класса военно-прикладных задач. В 2006 году предприятием «Белфортекс» совместно с Военной академией разработан комплекс имитационных моделей боевых действий (КИМБД) группировки ВВС и войск ПВО, функционирующий на ПЭВМ. С целью сокращения времени моделирования возникла необходимость реализации комплекса на мультипроцессорной вычислительной системе (МПВС). Такая реализация была выполнена в рамках научно-технической программы Союзного государства «ТРИАДА». В статье приводится характеристика результатов исследований, которые указывают на перспективность использования МПВС при моделировании боевых действий.

Анализ вооруженных конфликтов свидетельствует о том, что успех сопутствует стороне, проявляющей большую активность и инициативу, эффективно управляющей подчиненными силами и средствами. В свою очередь эффективность управления во многом зависит от решений, принимаемых командирами. Эволюционный путь развития средств, обеспечивающих информационно-расчетную поддержку принятия таких решений, привел к разработке и принятию концепции создания системы моделирования военных действий.

Разработанный ранее предприятием «Белфортекс» совместно с Военной академией многофункциональный КИМБД предназначен для решения целого ряда задач, среди которых одной из важнейших является оценка эффективности группировок ВВС и войск ПВО при отражении массивных ракетно-авиационных ударов.

В состав КИМБД входят следующие основные модели:

1) модель удара средств воздушного нападения (СВН);

2) модель группировки радиотехнических войск (РТВ);

3) модель группировки зенитных ракетных войск (ЗРВ);

4) модель группировки ПВО сухопутных войск (ПВО СВ);

5) модель группировки истребительной авиации (ИА);

6) модель объектов обороны.

Процесс применения на практике рассматриваемого комплекса можно разделить на три этапа: подготовка исходных данных; проведение модельных имитационных экспериментов; анализ результатов моделирования. Продолжительность каждого из этапов определяется конкретными задачами моделирования, зависит от количества моделируемых объектов группировки ПВО и воздушных целей в ударе СВН, варианта построения удара и быстродействия конкретной ПЭВМ.

Основным недостатком существующего КИМБД является значительное время реализации его второго этапа (проведение модельных экспериментов) на ПЭВМ [1,2]. Время одного прогона модели для типовой группировки ВВС и войск ПВО может составлять несколько часов, что во многом обусловлено алгоритмом последовательного включения моделей в комплексе. Учитывая, что для качественной оценки эффективности боевых действий требуется проведение серии подобных имитационных экспериментов, этот недостаток приводит к затруднениям в применении КИМБД в условиях дефицита времени, характерного для военных систем управления.

С целью сокращения времени моделирования возникла необходимость реализации КИМБД на МПВС. Следует отметить, что в военной области интерес к «параллельным» вы-числениям был всегда. Это особо проявлялось в системах управления, работающих в реальном масштабе времени. Так, еще в 70-80 годы прошлого века в ряде важных оборонных научно-технических проектов, реализованных по тематике ПВО, создавались многомашинные комплексы на базе самых современных на тот период отечественных ЭВМ БЭСМ-6.

Рис. 1. Организация доступа к ресурсам МПВС «СКИФ»

Идея «параллельных» вычислений нашла свое воплощение в архитектуре МПВС семейства «Эльбрус».

В качестве МПВС был выбран суперкомпьютер семейства «СКИФ», разработку которого в последние годы Республика Беларусь активно ведет совместно с Российской Федерацией. Реализация КИМБД на МПВС осуществлялась в рамках научно-технической программы Союзного государства «ТРИАДА».

Суперкомпьютер «СКИФ» К-1000М размещен на территории Объединенного института проблем информатики Национальной академии наук Беларуси. Его вычислительные ресурсы, как правило, используются одновременно несколькими абонентами. Доступ к ресурсам суперкомпьютера осуществляется через удаленный терминал по шифрованному протоколу SSH (Secure Shell - безопасная оболочка). Для работы с суперкомпьютером на кафедре информационно-вычислительных систем Военной академии было организовано удаленное рабочее место (УРМ) с выходом в сеть Интернет (рис. 1). Пропускная способность организованного канала связи составляла 1 Мбит/с, что приемлемо для решения большинства прикладных задач. УРМ реализовано на ПЭВМ, на которой установлен клиент доступа по протоколу SSH.

Программная структура суперкомпьютера существенно отличается от программной структуры ПЭВМ прежде всего из-за наличия средств организации и планирования параллельных вычислений. МПВС функционирует под управлением операционной системы (ОС) Linux (модифицированный дистрибутив Fedora 8) [3,4].

В результате выполнения НИР «ТРИАДА» в 2006-2008 годах была создана и апробирована «параллельная» версия КИМБД, которая демонстрировалась на международной выставке «Milex 2009». В разработанном программном комплексе, реализуемом на МПВС [1], можно выделить следующие подсистемы (рис. 2):

подсистема подготовки и ввода исходных данных;

подсистема проведения модельного эксперимента;

подсистема анализа результатов моделирования.

Подсистема подготовки исходных данных обеспечивает выполнение следующих функций: создание, хранение исходных данных для моделирования, формирование и отправку пакета исходных данных на МПВС. С учетом того, что эти функции должны выполняться как в последовательном [5], так и в параллельном вариантах реализации КИМБД, а также с целью их унификации, решение задач данной подсистемы выполнено на уже существующем комплексе, функционирующем под управлением ОС Windows на ПЭВМ на УРМ.

Подсистема моделирования функционирует на МПВС под управлением ОС Linux. Данная подсистема на основе полученных исходных данных обеспечивает:

получение пакета исходных данных от подсистемы подготовки данных;

определение и запрос требуемых вычислительных ресурсов МПВС;

организацию параллельных вычислений;

формирование с заданной дискретностью информационных пакетов для подсистемы отображения и анализа результатов моделирования;

передачу сформированных пакетов на УРМ.

Подсистема отображения и анализа результатов моделирования обеспечивает отображение результатов в удобном для пользователя виде, а также получение интегральных и частных показателей эффективности боевых действий. С целью унификации интерфейса пользователя КИМБД (его последовательного и параллельного вариантов реализации) решение задач данной подсистемы также осуществляется на комплексе, функционирующем на УРМ под управлением ОС Windows.

Важной задачей разработки КИМБД являлась синхронизация информационных потоков между перечисленными подсистемами. Решение данной задачи потребовало разработки специального интерфейса взаимодействия, обеспечивающего возможность передачи параметров исходной обстановки и режимов проведения эксперимента от подсистемы подготовки исходных данных в подсистему моделирования. С целью отображения обстановки на УРМ и вывода результатов боевых действий (в том числе на печать) подсистема моделирования с заданной дискретностью осуществляет сохранение в информационных массивах текущих результатов боевых действий, которые в дальнейшем дешифрируются подсистемой отображения [6].

Как отмечалось выше, при разработке «параллельной» версии комплекса за основу был взят КИМБД, функционирующий на ПЭВМ. Основные этапы создания программного обеспечения КИМБД, функционирующего на МПВС и взаимодействующего с УРМ, представлены на рисунке 3. Рассмотрим эти этапы более подробно.

Рис. 3. Основные этапы создания КИМБД, функционирующего на МПВС

1. Анализ моделей, входящих в состав КИМБД, и их декомпозиция в отдельные программные модули потребовали обеспечения централизованного управления этими модулями с помощью программы-диспетчера. Такая программа, реализованная в виде исполняемого приложения, обеспечивает как сами обменные процессы между моделями, так и их порядок.

В результате доработки КИМБД, функционирующий на ПЭВМ, был разделен на управляющую часть и набор динамических библиотек, реализующих функции соответствующих моделей.

Для обеспечения взаимодействия между моделями разработан специальный программный интерфейс межмодельного взаимодействия, обеспечивающий потребности моде-лей по обмену информацией.

2. Разработка протоколов взаимодействия между элементами комплекса, функционирующими на УРМ и на МПВС, обеспечила решение следующих задач:

сохранение в отдельных файлах параметров исходной обстановки группировки и режимов проведения эксперимента;

сохранение в отдельных файлах информации о ходе боевых действий (с заданной дискретностью) с целью последующей визуализации обстановки на УРМ и вывода результатов боевых действий на печать.

В результате доработок комплекс, функционирующий на ПЭВМ, представляет собой мультипрограммный продукт. При этом каждая подсистема имеет вид законченного программного продукта, а взаимодействие между ними организовано на уровне данных (выходные данные работы одной подсистемы являются входными данными для другой).

3. Обязательным элементом подсистемы моделирования является система управления моделями (СУМ), которая непосредственно обеспечивает проведение расчетов в параллельном варианте. Для этого СУМ осуществляет взаимодействие моделей и синхронизацию обменных процессов, а также связь УРМ с расчетной частью, функционирующей на МПВС. В качестве средства организации параллельных вычислений при разработке программной реализации подсистемы моделирования использованы возможности наиболее распространенного стандарта MPI (Message Passing Interface - интерфейс передачи сообщений), для которого существуют реализации под различные аппаратные и программные платформы.

4. Так как в процессе разработки последовательного КИМБД использован объектно-ориентированный подход и для создания применялась визуальная интегрированная среда разработки C++ Builder, то предполагалось, что моделируемый объект содержит функции, реализующие его возможности по взаимодействию с другими объектами, расчету и визуализации. Поэтому при разработке подсистемы моделирования с целью выделения только расчетной части из программного кода исключены функции визуализации, поскольку реализация этих функций в ОС Windows и Linux различна.

5. Для обеспечения работы КИМБД под управлением ОС Linux необходимо было изменить реализацию некоторых участков кода. Проведенные исследования выявили, что такими участками являются реализации некоторых программных классов (таких как TansiString, Tstream, TfileStream, TmemoryStream, TmiFile) и функций (IntToStr, StrToInt, wsprintf, FileExists, DeleteFile, CreateDir, ShowMessage) библиотеки визуальных компонентов (библио-теки VCL) среды разработки C++ Builder [4]. Реализации этих классов и функций были пере-писаны в собственной библиотеке классов в виде отдельных модулей с использованием языка программирования C++ стандарта ANSF/ISO. Проведение этой трудоемкой работы позволило получить подсистему моделирования, функционирующую под ОС Linux.

Необходимо отметить также трудности, возникшие в процессе перехода от 32-битной системы к 64-битной, на которой реализована МПВС. Для функционирования моделей необходима некоторая нормативно-справочная информация и сами исходные данные о структуре моделируемых объектов. В связи с тем, что хранение перечисленной информации было реализовано с использованием собственного формата (расширение файла - kim), выявилась его зависимость от размеров бинарного представления некоторых типов данных (int, long, void* и т.д.). Проведенный анализ показал, что для обеспечения совместимости данных 32-битной и 64-битной версий с использованием собственного формата данных необходимо было заменить все типы int соответствующих переменных на тип long, а в некоторых местах программного кода изменить используемые значения размеров бинарного представления типов void* на требуемые.

6. В процессе реализации указанных этапов возникли проблемы отладки программного кода в параллельном режиме функционирования КИМБД. Для ОС Linux доступных средств отладки не оказалось (имеющиеся были либо демонстрационными, либо не поддерживали принятую версию инструментальных средств организации параллельных вычислений). Было принято решение проводить отладку параллельной версии КИМБД с использованием специализированного отладчика, входящего в состав системы программирования Microsoft Visual Studio 2005. Фактически была осуществлена пошаговая отладка всего программного кода с постоянным отслеживанием взаимодействия отдельных процессов (соответствующих отдельным моделям) в рамках единого программного комплекса. Это позволило осуществлять отладку программной реализации расчетной части комплекса фактически автономно без использования ресурсов МПВС «СКИФ». В результате была создана параллельная версия подсистемы моделирования как полноценное кросс-платформенное приложение, функционирующее под управлением как ОС Windows, так и ОС Linux.

При создании подсистемы моделирования наибольшую трудность представляла организация параллельных вычислений на МПВС, прежде всего определение рационального закрепления вычислительных узлов МПВС по моделям. С учетом иерархической структуры КИМБД распараллеливание выполнялось по схеме «сверху-вниз», т.е. первоначально распараллеливались модели верхнего уровня, а затем их составные элементы - модели последующих уровней [6]. При этом учитывалось, что в процессе взаимодействия моделей верхнего уровня на каждом шаге имитации процесса боевых действий могут быть выделены два основных этапа функционирования подмоделей: расчет и обмен информацией между моделями. При этом этап обмена начинается только по окончанию расчета самой «тяжеловесной» модели.

С целью определения рационального закрепления вычислительных узлов МПВС за каждой из моделей комплекса в ходе исследований были проведены эксперименты по анализу занятости процессора ПЭВМ выполнением каждой модели последовательного КИМ БД верхнего и последующих уровней. Эксперименты, выполненные для типового удара СВН и типовой группировки ВВС и войск ПВО (количественный состав объектов по моделям показан на рисунке 4), подтвердили существенно неравномерный характер времени реализации отдельных моделей (рис. 5).

Так, из рисунка 5 следует, что наиболее затратной по времени является модель группировки ЗРВ. Следовательно, при распараллеливании вычислительных процессов по отдельным моделям общее время имитационного эксперимента будет определяться в первую очередь временем реализации модели ЗРВ.

Очевидно, что следующим шагом решения задачи рационального распределения вычислительных узлов МПВС является распараллеливание именно этой модели. Поэтому в ходе работы было выполнено распараллеливание модели ЗРВ на более низком уровне. Варианты распараллеливания модели группировки ЗРВ представлены на рисунке 6. Так, на втором уровне осуществлено распараллеливание на уровне моделей зенитных ракетных бригад. Выигрыш во времени счета при таком подходе представлен на рисунке 7.

В случае необходимости может быть осуществлено распараллеливание модели ЗРВ еще на более низком уровне (уровень 3 рис. 6). Однако следует отметить, что максимального эффекта при распараллеливании можно добиться только в случае равномерной загрузки узлов МПВС. Поэтому при распараллеливании модели ЗРВ на таком низком уровне предварительно необходимо распараллеливание других моделей верхнего уровня.

В целом технология работы с разработанным «параллельным» КИМБД заключается в следующем. На этапе подготовки исходных данных используется привычный интерфейс пользователя КИМБД «Свислочь-1». Отличие заключается в том, что введенные данные сохраняются для их последующей передачи в подсистему моделирования КИМБД «Триада» (рис. 2).

Этап моделирования боевых действий происходит на МПВС и запускается через УРМ. Для подсистемы моделирования требуется передать файл настроек КИМБД, файл исходных данных проекта и справочную информацию. Имеется возможность осуществлять контроль состояния работы МПВС системы через систему управления заданиями. После проведения эксперимента подсистемой моделирования формируются файлы данных о ходе моделирования. Как показал опыт моделирования, размер этих данных может достигать десятков мегабайт, что в связи с ограниченной пропускной способностью предоставленного канала связи потребовало проводить архивацию для сокращения объема передаваемой информации. Порядок работы по анализу результатов моделирования, полученных от подсистемы моделирования, не отличается от порядка работы с КИМБД «Свислочь-1», что упрощает процесс переобучения пользователя применению КИМБД, реализуемого на МПВС.

Таким образом, предлагаемая технология распараллеливания обеспечивает рациональное сочетание возможностей существующего последовательного варианта КИМБД (по подготовке и вводу исходных данных, отображению динамической информации о меняющейся обстановке, обработке и отображению результатов экспериментов) и вычислительных возможностей параллельного (мультипроцессорного) варианта КИМБД. Созданный параллельный вариант КИМБД позволяет значительно сократить расчетное время моделирования (в зависимости от исходных данных - до 10- 30 раз), что делает возможным его применение в ритме развития событий боевых действий.

В ходе работы по созданию КИМБД на МПВС отработана оригинальная технология создания кроссплатформенных приложений для сложного программного комплекса. Реализованный подход к адаптации существующих КИМБД для МПВС позволяет сохранить существующий графический интерфейс пользователя, что крайне важно для его эффективного внедрения в эксплуатацию.

Результаты, полученные в ходе выполнения НИР в рамках программы «ТРИАДА», указывают на перспективность использования МПВС для моделирования (имитации) сложных последовательно-параллельных процессов (систем), подобных боевым действиям, протекающим в пространстве и времени. При этом важно отметить необходимость проведения дальнейших исследований в данном направлении, что обеспечит возможность более полной реализации потенциала МПВС при решении подобных задач.

ЛИТЕРАТУРА

1. Булойчик В.М., Герцев А.В., Булойчик А.В. Реализация этапов моделирования боевых действий группировки ПВО на мультипроцессорной вычислительной системе // Междунар. науч. конф. по воен.-техн. проблемам, проблемам обороны и безопасности, использованию технологий двойного применения: Тез. докл.- Минск: Гос. учреждение «БелИСА», 2009. - С. 174- 175.

2. Герцев В.А., Булойчик В.М., Герцев А.В. Моделирование боевых действий группировки ВВС и войск ПВО на мультипроцессорной вычислительной системе// Суперкомпьютерные системы и их применение (SSA'2008): Тр. Второй Междунар. науч. конф., Минск, 27- 29окт. 2008 г. - С. 241-244.

3. Берикбаев В.М., Русак И.Л. Особенности применения суперкомпьютеров для систем военного назначения// Вестн. Воен. акад. Респ. Беларусь. - 2009. -№ 1. - С. 40-46.

4. Архитектура моделей семейства суперкомпьютеров «СКИФ» [Электронный ресурс] - Режим доступа: http://sk.if. bas-net.by/concepl_l.html. - Дата доступа: 18.10.2009.

5. Комплекс имитационного моделирования «Свислочъ-1»: Руководство оператора. - Минск, 2005. - 99 с.

Разработка алгоритмов параллельной реализации основных компонентов комплекса имитационных моделей группировки ВВС и войск ПВО, реализуемых на мультипроцессорной вычислительной системе. Методика распараллеливания комплекса имитационных моделей: Отчет о НИР / УО ВАРБ; Рук. темы В.М. Булойчик. - Минск, 2007. -68с- Инв. № 1258/07.

Для комментирования необходимо зарегистрироваться на сайте