Экспертное оценивание альтернатив при поддержке принятия решений в области построения сложных систем военного назначения

НАУКА И ВОЕННАЯ БЕЗОПАСНОСТЬ № 1/2007, стр. 17-22

УДК 519.816

Полковник А. А. ПЕТЬКОВ,

начальник центра военных исследований и информатизации

командования ВВС и войск ПВО,

кандидат технических наук

Методы экспертного оценивания достаточно широко применяются при поддержке принятия решений враз-личных сферах управленческой деятельности [1 - 5] и используются для решения практических задач в случаях, когда между различными свойствами объектов, факторами и вариантами действий (рассматриваемыми в качестве альтернатив - нескольких взаимоисключающих возможностей) отсутствуют описания закономерностей взаимодействия в виде аналитических зависимостей. Как правило, применение экспертных методов связано с ситуационной неопределенностью принимаемых решений в условиях многокритериальности рассматриваемых задач [3, б - 9].

Эффективность принимаемых решений в любой сфере управленческой деятельности во многом зависит от адекватности используемых методов обоснования решений условиям функционирования объектов, в отношении которых принимаются решения. Принципиальная невозможность полномасштабной экспериментальной проверки эффективности различных вариантов управленческих решений в отношении сложных систем военного назначения (под которыми понимаются организационно-технические и военно-технические системы, предназначенные для решения задач, связанных с обеспечением военной безопасности государства) обуславливает необходимость использования для этих целей различных методов математического моделирования.

Разнообразие теоретически обоснованных и практически реализуемых методов и математических моделей [6 - 9] обеспечивает возможность обоснования и выбора оптимальных или же рациональных решений для достаточно широкой области условий функционирования сложных систем военного назначения. Однако реальные условия функционирования таких систем достаточно часто не позволяют применить известные методы и математические модели, предназначенные для обоснования решений в условиях определенности (когда информация об условиях функционирования системы имеет детерминированный характер) или в условиях риска (когда информация об условиях функционирования системы имеет стохастический характер). Кроме того, при обосновании решений в отношении сложных систем военного назначения достаточно часто возникают ситуации, когда невозможно измерение характеристик оцениваемых альтернатив объективными количественными методами. В условиях ситуационной неопределенности, когда отсутствует объективная информация, целесообразно использовать для обоснования принимаемых решений экспертные методы.

Ряд исследований, выполненных в 2003 - 2005 гг. сотрудниками государственного учреждения «Научно-исследовательский институт Вооруженных Сил Республики Беларусь», показал правомочность использования методов экспертного оценивания для решения практических задач по поддержке принятия решений в отношении сложных систем военного назначения. Бесспорно, что при применении экспертных методов было необходимо учитывать ряд факторов, связанных с субъективностью мнений экспертов [10 - 12]. Вследствие этого возникла необходимость в разработке процедур экспертного оценивания альтернатив, обеспечивающих снижение влияния субъективных мнений экспертов на результаты оценивания и повышение адекватности экспертных оценок при поддержке принятия решений в отношении сложных систем военного назначения.

1. Постановка задачи экспертного оценивания альтернатив и оценка применимости экспертных методов для ее решения

Перечень задач, связанных с обоснованием решений в отношении сложных систем военного назначения с применением экспертных методов, достаточно широк [2, 4, 5, 9]. Чаще всего такие задачи можно свести к типовой задаче экспертного оценивания весомости (значимости, предпочтительности, приоритетности) альтернатив, содержательная постановка которой применительно к организационно-техническим и военно-техническим системам формулируется следующим образом.

В составе сложной системы военного назначения имеется п компонентов - различных по функциональному назначению подсистем, включающих однородные или же разнородные силы и (или) средства, рассматриваемых в качестве альтернатив и предназначенных в совокупности для решения определенных оперативно-стратегических (оперативных, оперативно-тактических или же тактических) задач. Примерами подобных систем являются: группировки войск, включающие силы и средства различных родов войск и специальных войск; системы вооружения видов Вооруженных Сил, включающие различные подсистемы (виды, группы) вооружения, военной и специальной техники. Эффективное решение задач системой военного назначения обеспечивается при комплексном использовании всех ее компонентов. При этом каждый i-й компонент данной системы, исходя из количественно-качественного состава входящих в его состав сил и (или) средств, потенциально может внести определенный вклад Wiq в решение возлагаемых на систему задач, который зависит от конкретных условий функционирования системы .

Аналитические зависимости, описывающие закономерности взаимодействия компонентов Ai системы военного назначения в процессе ее применения (функционирования) при различных вариантах внешних условий Zq отсутствуют, однако значимость различных компонентов Ai рассматриваемой системы при различных вариантах внешних условий Zq различна и зависит от конкретного варианта внешних условий. Для вариантов внешних условий Zq характерна ситуационная неопределенность, при которой вероятности вариантов внешних условий во многих случаях могут быть неизвестны.

Необходимо определить весовые коэффициенты характеризующие значимость различных компонентов Ai системы военного назначения для решения возлагаемых на нее задач при различных вариантах внешних условий Zq, с учетом условия нормирования (сумма весовых коэффициентов для всех равна единице).

Исходя из постановки задачи, ее решение должно рассматриваться применительно к процедурам многофакторного оценивания альтернатив для каждого конкретного варианта функционирования системы Zq в условиях ситуационной неопределенности. Кроме того, решение рассматриваемой задачи изначально должно ориентироваться на использование групповых методов экспертного оценивания, поскольку обобщенные экспертные оценки (полученные на основе индивидуальных оценок т экспертов), как правило, более адекватны по сравнению с индивидуальными оценками каждого j-го эксперта

Особенности рассматриваемой задачи, а также требования получения качественных оценок, выраженных в количественной форме, и надежной реализуемости алгоритмов оценивания альтернатив обусловили определенные ограничения на использование потенциально применимых экспертных методов. Поэтому при оценке применимости экспертных методов рассматривались методы ранжирования, непосредственного (балльного) оценивания, парного и последовательного сравнения альтернатив [10 - 13].

При применении метода ранжирования используется измерение весомости альтернатив в порядковой шкале с представлением результатов оценки, как правило, непосредственно в виде натуральных чисел (рангов) [10 - 12]. Для решения рассматриваемой задачи целесообразно, чтобы наименее значимой альтернативе присваивался ранг, равный единице, а наиболее значимой альтернативе - последний ранг (шкала обратных рангов). При этом для эквивалентных альтернатив должны назначаться одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым альтернативам. Кроме того, при ранжировании альтернатив необходимо обеспечивать, чтобы сумма рангов всех альтернатив была равна сумме натуральных чисел от единицы до п, где п - количество альтернатив. Данные обстоятельства упрощают процедуры последующей обработки результатов ранжирования при групповом экспертном оценивании. В этом случае каждый j-й эксперт присваивает каждой i-й альтернативе ранг rij . В результате проведения групповой экспертизы получается матрица рангов размерности , а весовые коэффициенты альтернатив с учетом весов оценок разных экспертов gi рассчитываются по формуле

При применении метода непосредственного (балльного) оценивания используется измерение весомости альтернатив в шкале интервалов с представлением результатов измерения в виде натуральных или же дробных чисел (баллов) [10 - 12]. Для решения рассматриваемой задачи целесообразно наиболее весомой альтернативе присваивать наибольшее количество баллов bi числовой шкалы. При опросе экспертам может быть предложено проведение оценивания весомости альтернатив по качественным признакам (например, «исключительно важный», «очень важный», «важный», «не очень важный», «маловажный», «абсолютно неважный») с использованием компромиссных промежуточных вариантов ответа. В этом случае для последующей обработки результатов экспертизы качественные оценки переводятся в балльную шкалу. При групповом оценивании каждый j-й эксперт присваивает каждой i-й альтернативе балл bij. В результате проведения групповой экспертизы получается матрица баллов размерности , а весовые коэффициенты альтернатив рассчитываются по формуле, аналогичной (1)

При использовании метода парного сравнения, представляющего собой процедуру установления предпочтения альтернатив при сравнении всех возможных пар альтернатив, возможно измерение относительной весомости альтернатив в порядковой шкале или же в шкале интервалов с представлением результатов измерения в виде натуральных или дробных чисел (оценок относительной весомости альтернатив) [10-13]. Однако простота сравнения альтернатив при использовании порядковой шкалы чаще всего не обеспечивает требуемую точность оценки весовых коэффициентов альтернатив. Поэтому при решении рассматриваемой задачи для оценивания относительной весомости альтернатив целесообразно использовать наиболее часто применяющуюся девятиуровневую шкалу отношений [1, 3, 6, 9 - 13], позволяющую достаточно четко сформулировать качественные критерии оценки. Для последующей обработки результатов экспертного оценивания качественные оценки парного сравнения альтернатив достаточно просто приводятся к форме операндов путем преобразования в количественные оценки относительной весомости сравниваемых альтернатив [9-13]. При групповом оценивании количественные оценки парного сравнения альтернатив каждого j-го эксперта представляются виде квадратной матрицы размерности имеющей единичные диагональные компоненты и обладающей свойствами обратной симметрии, а весовые коэффициенты альтернатив рассчитываются по формуле

где хij - компоненты собственных векторов матриц определяемые упрощенным способом в соответствии с выражением [13]

При использовании метода последовательного сравнения (метода Черчмена - Акоффа), представляющего собой процедуру установления предпочтения альтернатив на основе последовательной корректировки экспертных оценок, измерение весомости альтернатив основано на следующих предположениях [10]. Каждой альтернативе ставится в соответствие действительное неотрицательное число . При этом если альтернатива Ai предпочтительнее альтернативы Аl, то а если же альтернативы Ai и Аl равноценны, то . Совместному осуществлению альтернатив Ai и Аl соответствует аддитивная оценка При использовании этого метода все оцениваемые альтернативы Ai ранжируют по значимости, для каждой из альтернатив определяют предварительную количественную оценку по интервальной шкале от 0 до U в порядке уменьшения их значимости. Затем производится сравнение наиболее значимой альтернативы А1 с суммой остальных альтернатив А2, ...,Ап. Если альтернатива А1 более весома суммы альтернатив А2, ..., Ап, то оценка корректируется так, чтобы в противном случае оценка корректируется так, чтобы Величины оценок второй и последующих по значимости альтернатив определяются аналогично оценке . Процесс повторяется до тех пор, пока не окажутся откорректированными оценки всех альтернатив. При групповом экспертном оценивании на основе реализации описанных процедур формируется матрица оценок альтернатив размерности а весовые коэффициенты альтернатив αi рассчитываются по формуле

При оценке практической применимости этих методов экспертного оценивания для решения рассматриваемой задачи анализировались: процедурная сложность реализации экспертизы, потенциальная точность экспертной оценки, а также ограничения на количество оцениваемых альтернатив, при которых обеспечивается потенциальная точность экспертных оценок (табл. 1).

Анализ применимости различных экспертных методов по совокупности критериев показал, что для решения рассматриваемой задачи наиболее приемлемыми являются методы парного сравнения и непосредственного (балльного) оценивания. Метод ранжирования потенциально не позволяет получить адекватные оценки весомости альтернатив [10 - 12], а метод последовательного сравнения вследствие высокой сложности экспертной процедуры и повышенных требований к уровню подготовки экспертов трудно реализуем на практике.

Выбранные экспертные методы отличаются процедурами получения и обработки экспертных оценок, но в общем случае приводят к близким результатам. Однако эти методы (как, впрочем, и все остальные экспертные методы) применимы на практике при относительно небольшом количестве альтернатив. В условиях, когда необходимо было оценить весомость до полутора сотен альтернатив, применение данных методов потребовало построения многоуровневых иерархических структур, в рамках которых производились группирование альтернатив по функциональному признаку и оценка их весомости в рамках сформированных групп [14, 15]. Такая процедура позволила применить выбранные методы для решения рассматриваемой задачи при большом количестве альтернатив. При этом весовые коэффициенты исходных альтернатив определялись перемножением соответствующих весовых коэффициентов дуг включения элементов иерархической структуры, рассматривавшихся в качестве альтернатив каждого уровня иерархии [14, 15].

2. Рекомендации по формированию экспертной группы и реализации процедур комбинированного экспертного оценивания весомости альтернатив

По мнению специалистов [10 - 12], адекватность экспертных оценок существенно зависит от количества, качества подбора и компетентности выбранных экспертов, рациональности применяемых процедур опроса экспертов и методов обработки результатов экспертиз, а наибольший эффект достигается при комплексном использовании различных экспертных методов.

Количество экспертов в конкретной экспертной группе зависит от множества факторов. Существует ряд подходов к определению числа экспертов в группе. Например, в [10] рекомендуется минимальное число экспертов Nзк мин определять на основе эмпирической формулы , где - допустимая ошибка результатов экспертизы. Анализ результатов расчета в соответствии с этим выражением показал, что для обеспечения требуемой точности экспертных оценок в составе экспертной группы должно быть не менее восьми экспертов. При увеличении количества экспертов более десяти повышение точности результатов экспертизы несоизмеримо с увеличением совокупных затрат на проведение экспертизы.

Качество подбора экспертов характеризуется совокупностью показателей, определяющих индивидуальные качества экспертов, подготовленность и однородность экспертной группы. Существует достаточно много различных подходов к подбору экспертов и формированию экспертных групп [1 - 2, 10 - 12]. Вместе с тем в настоящее время отсутствует общепризнанная методика оценки уровня подготовленности кандидатов в эксперты вследствие возникающих при использовании субъективных методов оценки проблем этического характера [12]. Если исходить из предположения, что самым заинтересованным в адекватности результатов экспертизы является постановщик задачи (лицо, принимающее решение по результатам экспертизы), то целесообразно, чтобы оценка кандидатов в эксперты осуществлялась именно этим лицом на основе изучения документов, характеризующих уровень профессиональной подготовки кандидатов и опыт их прошлой деятельности.

Основными требованиями, предъявляемыми к экспертам, являются [11, 12]:

компетентность, определяемая уровнем образования и наличием практического опыта в профессиональной сфере;

объективность, характеризующая заинтересованность в объективных результатах экспертной работы;

нонконформизм, характеризующий независимость суждений и устойчивость собственного мнения;

креативность, характеризующая способность решать творческие задачи;

аналитичность, характеризующая широту мышления и способность выходить за рамки сложившихся представлений.

С учетом этих требований были определены показатели и критерии оценки кандидатов в эксперты, а также основы метода непосредственного (балльного) оценивания, рассчитаны для них соответствующие количественные оценки (табл. 2).

Индивидуальный уровень подготовленности j-го эксперта Uj определяется суммой баллов ufj по всем f-м оцениваемым требованиям, а общий уровень подготовленности экспертной группы определяется как среднее арифметическое оценок Uj всех экспертов. Исходя из индивидуальных оценок Uj , при необходимости определяются веса экспертных оценок различных экспертов gj с учетом условия нормирования (сумма весов оценок всех экспертов gj для равна единице), а исходя из оценки общего уровня подготовленности экспертной группы , производится выбор метода экспертного оценивания. Например, в качестве критерия выбора может быть сформулировано следующее условие: если , то применяется метод непосредственного (балльного) оценивания, а если то целесообразно применение метода парного сравнения альтернатив.

Однородность экспертной группы характеризуется частными показателями однородности экспертной группы Qf , свидетельствующими о компетентности (Q1), объективности (Q2), нонконформизме (Q3), креативности (Q4) и аналитичности (Q5) входящих в ее состав экспертов, а также обобщенным показателем однородности экспертной группы Qгp. Частные показатели Qf определяются в соответствии с выражениями

а обобщенный показатель однородности экспертной группы Qгр определяется как среднее арифметическое оценок Qf всех частных показателей.

Исходя из значений частных показателей Qf, определяются рациональные процедуры согласования экспертных оценок в случае их несогласованности при первичной экспертизе, а величина обобщенного показателя Qгр определяет необходимость учета весов экспертов при обработке результатов опроса. Например, при мнения экспертов могут полагаться равновесными.

Опрос экспертов может осуществляться в различной форме (очной или заочной, устной или письменной и т.д.). Наиболее целесообразными для экспертного опроса являются анкеты, содержащие вопросы, ответы на которые предполагают качественную оценку весомости или же приоритетности альтернатив в сжатой (символьной) форме. При очном анкетировании не исключается возможность влияния на ответы эксперта руководителя экспертизы, зато при заочном анкетировании повышается вероятность неодинакового истолкования вопросов экспертами, что может привести к несогласованности результатов экспертизы [11]. Поэтому форма опроса экспертов должна выбираться, исходя из анализа показателей однородности экспертной группы Qf.

Для решения задачи в сформулированной ранее постановке был разработан алгоритм комбинированного группового экспертного оценивания весомости альтернатив, схема которого представлена на рис. 1.

Исходя из оценки уровня подготовленности экспертной группы осуществляется выбор экспертного метода и реализуются процедуры первичной независимой экспертизы на основе очного или заочного анкетирования (в зависимости от конкретных условий). Далее результаты экспертного оценивания приводятся к форме операндов и вводятся в вычислительную систему для расчета весовых коэффициентов альтернатив.

При использовании метода парного сравнения альтернатив производится оценка согласованности матриц парных сравнений Mj. Как известно [8], для согласованной положительной обратно-симметричной матрицы порядок матрицы п и ее наибольшее собственное значение совпадают. В случае несогласованности количественных оценок парных сравнений альтернатив в качестве меры, характеризующей эту степень несогласованности, рассматривается величина IС, называемая индексом согласованности матрицы Mj, которая определяется с использованием приближенных методов расчета, описанных в [1, 6, 8, 9, 11, 13]. При делении индекса согласованности IС матрицы Mj на число, соответствующее случайной согласованности матрицы того же порядка, получается количественная характеристика, называемая отношением согласованности Ос . Величина Ос должна быть не более 0,1 [1, 6, 9, 11, 13]. Если значение Ос больше этого уровня, то эксперт должен уточнить оценки парного сравнения альтернатив, которые далее вводятся в вычислительную систему для реализации повторных процедур их обработки.

Одной из важнейших задач, решаемых группой специалистов-аналитиков в процессе экспертного оценивания, является оценка степени согласованности мнений экспертов. Как правило, данная задача решается на основе метода ранговой корреляции [2, 11, 12]. С этой целью оценки весовых коэффициентов сравниваемых альтернатив, определенные на основе мнений всех экспертов, ранжируются, а результаты ранжирования представляются в виде таблицы рангов rij. В данном случае используются прямые ранги, когда наиболее значимой альтернативе присваивается ранг, равный единице, следующей - ранг, равный двум, и т.д. На основе результатов ранжирования весовых коэффициентов сравниваемых альтернатив в соответствии с выражениями, приведенными в [2, 11, 12], рассчитывается коэффициент конкордации w. Значение коэффициента конкордации свидетельствует о достаточной степени согласованности мнений экспертов.

При выявлении на первом туре экспертизы неудовлетворительной согласованности экспертных оценок альтернатив (w < 0,5) предусматривается их последующее согласование. Как правило, при возникновении такой ситуации предусматривается повторное проведение экспертного опроса после ознакомления экспертов с результатами экспертизы и их коллективного обсуждения [11, 12] или после корректировки состава экспертной группы путем исключения экспертов, чьи оценки наиболее отличаются от усредненных оценок [2]. В первом случае возможно склонение подверженных влиянию экспертов к мнению наиболее авторитетных членов экспертной группы, а во втором случае - исключение из состава экспертной группы тех экспертов, чье мнение является наиболее верным. Поэтому целесообразно при выборе конкретной процедуры согласования групповых экспертных оценок учитывать оценки показателей однородности экспертной группы. Например, если Q1 > 0,015 (что свидетельствует о возможном присутствии в группе авторитетных специалистов) и Q3 > 0,015 (что свидетельствует о наличии в группе экспертов с низкой устойчивостью собственного мнения), то целесообразно индивидуальное ознакомление экспертов с результатами экспертизы и недопустимо коллективное обсуждение этих результатов.

Таким образом, сравнительный анализ экспертных методов показал, что с учетом процедурной сложности реализации экспертизы, требований к уровню подготовки экспертов и потенциальной точности экспертных оценок при обосновании управленческих решений в отношении сложных систем военного назначения наиболее приемлемыми являются методы парного сравнения и непосредственного (балльного) оценивания альтернатив. Разработанные рекомендации по формированию экспертной группы и процедуры комбинированного экспертного оценивания альтернатив позволяют повысить адекватность экспертных оценок.

Рассмотренные в данной статье процедуры экспертного оценивания альтернатив апробированы при проведении исследований в области системного развития вооружения, военной и специальной техники. Апробация подтвердила эффективность предлагаемых подходов для обеспечения снижения влияния субъективных мнений экспертов на результаты оценивания. Исходя из этого, разработанные процедуры комбинированного экспертного оценивания альтернатив могут быть рекомендованы при поддержке принятия решений в области построения не только военно-технических, но и иных сложных систем военного назначения.

ЛИТЕРАТУРА

1. Синюк В.Г., Шевырев А.В. Использование информационно-аналитических технологий при принятии управленческих решений: Учеб. пособие. - М.: Экзамен, 2003. - 160 с.

2. Бочков А.П., ГасюкД.П., Филюстин А.Е. Модели и методы управления развитием технических систем: Учеб. пособие. - СПб.: Союз, 2003. - 288 с.

3. Смородинский С.С., Батин Н.В. Методика поддержки принятия решений для многокритериального выбора альтернатив в условиях риска// Моделирование интеллектуальных процессов проектирования, производства и управления: Сб. науч. тр. / Под ред. В.И. Махнача, Е.В. Владимирова. - Мн.: ОИПИНАН Беларуси, 2003. -С. 68- 75

4. Воронин В.А., Коломоец Ф.Г. Общие положения по оценке результатов научной деятельности научных организаций и подразделений и разработке методики ее проведения// Наука и военная безопасность. - 2005. - № 1. - С. 55- 58.

5. Анисько А.И., Бобовик А.П., Прокопенко М.И. Методический подход к выбору варианта проведения информационной операции // Наука и военная безопасность. - 2005. - № 2. - С. 3 - 6.

6. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учеб. - М.: Логос, 2002. -392 с.

7. Розен В.В. Математические модели принятия решений в экономике: Учеб. пособие. - М.: Книжный дом «Университет», Высшая школа, 2002. - 288 с.

8. Шикин Е.В., Чхартишвили А.Г. Математические методы и модели в управлении: Учеб. пособие. - М.: Дело, 2004. - 440 с.

9. Булойчик В.М. Военно-прикладные вопросы математического моделирования. Ч. I. Математические методы, используемые при разработке моделей для принятия решений: Учеб. пособие. - Мн.: ВА РБ, 2000. - 180 с.

10. Анфилатов B.C., Емельянов А. А., Кукушкин А.А. Системный анализ в управлении: Учеб. пособие/Под ред. А.А. Емельянова. - М.: Финансы и статистика, 2002. - 368 с.

11. Малин А.С., Мухин В.И. Исследование систем управления: Учеб. для вузов. - М.: ГУ ВШЭ, 2002. - 400 с.

12. Мишин В.М. Исследование систем управления: Учеб. для вузов. - М.: ЮНИТИ-ДАНА, 2003. - 527с.

13. Caamu Т., Керне К. Аналитическое планирование. Организация систем: Пер. с англ. Р.Т. Вачнадзе/ Под ред. И.А. Ушакова. - М.: Радио и связь, 1991. - 223 с.

14. Петьков А.А. Мониторинг системы вооружения Вооруженных Сил: научно-методические аспекты // Наука и военная безопасность. - 2005. -№3.- С. 20 - 23.

15. Петьков А.А. Научно-методические аспекты мониторинга системы вооружения Вооруженных Сил // Вестник Военной академии Республики Беларусь. - 2005 - № 3(8). -С. 20- 26.

Для комментирования необходимо зарегистрироваться на сайте