ОРГАНИЗАЦИЯ метрологической и стандартизационной экспертизы

ОРГАНИЗАЦИЯ метрологической и стандартизационной экспертизы

 1. Подготовка и проведение экспертизы

Экспертные методы являются объектом рассмотрения квалиметрии (области наук, занимающейся количественной оценкой качества) и используются, прежде всего, для оценки уровня качества объекта и для оценки менее сложных его свойств. Экспертными методами также можно определять весомости (весовые коэффициенты) свойств, входящих в комплексный или интегральный показатель качества.

Экспертов привлекают для оценки уровня качества объекта, для контроля качества и/или для составления экспертного заключения по результатам специального исследования объекта, которое должно ответить на ряд конкретных вопросов типа:

• Правильным ли было принятое техническое решение?
• Можно ли было избежать аварии за счет иных действий?
• Способен ли квалифицированный специалист выполнить некоторый набор действий в условиях ограниченных временных ресурсов?

Экспертная оценка получается путем выяснения мнений специалистов. Экспертные методы оценки качества применяют, когда применение более объективных методов невозможно или нецелесообразно. Оценки отличаются субъективностью и обусловлены квалификацией эксперта, его опытом, вкусом, состоянием здоровья, настроением и т.д. Схема проведения экспертизы представлена на рис. 1.

Экспертиза может быть индивидуальной или групповой (рис. 2). При групповой экспертизе (с обсуждением или согласованием мнений в группе) и при индивидуальной экспертизе, осуществляемой группой автономно работающих экспертов, оценку можно получать усреднением индивидуальных экспертных оценок. Индивидуальные оценки экспертов при условии отсутствия значимых систематических различий могут рассматриваться как случайные величины. В таких случаях их числовые значения можно обрабатывать методами математической статистики.

На стадии подготовки экспертизы решают следующие задачи:

• Формулирование цели экспертизы.
• Подбор экспертов.
• Выбор методики проведения экспертизы.

Цели экспертизы

Основная цель – получение экспертной оценки (ответов на вопросы, оценки уровня качества объекта, его элемента, оценки менее сложных свойств или весомости отдельных свойств).

Дополнительные цели:

• обучение экспертов;
• получение оптимизированной экспертной оценки;
• разработка модели для последующей оценки уровня качества объекта на основе "теории распознавания образов".

Цели экспертизы оказывают существенное влияние на выбор методики проведения экспертизы.

Подбор экспертов

Поскольку эксперт выступает в роли "средства измерения", точность, объективность и достоверность оценки зависит от квалификации эксперта и мотивации при оценивании.

Способы оценки квалификации экспертов (определение "уровня качества" экспертов или "квалиметрия квалиметрологов"):

• оценка экспертов членами рабочей группы;
• тестирование экспертов;
• самооценка и взаимная оценка экспертов;
• сравнение вынесенной экспертом оценки со средней оценкой группы экспертов;
• оценка эффективности действий эксперта по прогнозированию результатов испытаний экспертируемых объектов.

При определении квалификации экспертов включают оценки таких их свойств, как беспристрастность (объективность), интуиция, широта взглядов, независимость суждений ("устойчивость к давлению авторитетов или чужих мнений", включая и мнение большинства экспертной группы). Члены рабочей группы могут оценивать экспертов по формальным признакам (наличие документов о квалификации, публикаций, участие в ранее проводившихся экспертизах и т.д.).

Для тестирования экспертов необходимо создание тестовых задач, являющихся аналогами решаемой. Основные сложности при создании тестов заключаются в разработке таких задач, которые были бы достаточно близки к реально решаемым, а также в невозможности получения объективных решений, с которыми можно было бы сравнивать экспертные оценки.

Самооценка и взаимная оценка экспертов обычно осуществляется в ходе работ по экспертизе объектов (самооценка всегда носит значительный оттенок субъективности).

Сравнение оценки эксперта со средней оценкой группы экспертов осуществляется обычно с применением аппарата математической статистики.

В ходе определения квалификации экспертов оценивают их систематические и случайные погрешности. Систематические принципиально устранимы и подлежат коррекции или элиминируются в результате исключения вызывающих их причин. Случайные погрешности квалифицированного эксперта должны иметь минимальное значение. Один из методов их оценки – проверка воспроизводимости оценок свойств одного и того же объекта во времени (желательно "слепым" методом).

Прогнозирование экспертом результатов испытаний объектов позволяет получить относительную оценку эффективности действий эксперта (отношение числа правильных прогнозов к общему числу прогнозов или экспертиз) и сравнительную относительную оценку эффективности действий эксперта (отношение эффективности действий эксперта к средней эффективности, определяемой для группы экспертов).

Для повышения качества экспертизы необходимо повышать не только узкопрофессиональную квалификацию экспертов (в области экспертируемых объектов), но и их специальную квалификацию (в области проведения экспертиз) путем соответствующего обучения, тренировок и ознакомления с возможно более обширной информацией по проблемам экспертизы.

При групповой экспертизе принято считать, что увеличение числа экспертов повышает объективность оценок. Однако доступное число экспертов бывает довольно ограниченным. Традиционно принято считать нижней границей желаемого числа экспертов семь человек. С другой стороны, экспертная группа более 15 участников трудно управляема и требует больших организационных усилий. Математики предлагают выбор числа экспертов на базе теории вероятностей и математической статистики, который основан на допущениях отсутствия значимых систематических погрешностей в оценках и равнорассеянности оценок всех экспертов. Такие допущения вряд ли можно считать правомерными.

Проведение экспертизы

Выбор методики проведения экспертизы в значительной мере зависит от цели экспертизы. Методика проведения экспертизы включает методы работы с группой и методы получения экспертных оценок. Работа с группой экспертов может быть организована как индивидуальный опрос, как групповое обсуждение и как комбинирование этих методов в разных соотношениях.

"Независимая экспертиза" основана на получении индивидуальных оценок, свободных от группового влияния ("влияния массы") и индивидуального влияния ("влияния авторитетов"). Ее можно проводить как письменный опрос каждого из членов экспертной группы без ознакомления с результатами опроса других экспертов, в том числе и заочно. "Независимая экспертиза" проводится для достижения основной цели при наличии высококвалифицированных экспертов и не предусматривает их обучения.

При "групповой экспертизе" возможно предварительное обсуждение, ориентирование всех экспертов группы. Далее идет получение индивидуальных оценок экспертов. Возможно повторение туров опроса с обсуждением полученных результатов. Проведение опроса в несколько туров приводит к сближению оценок и повышению квалификации экспертов, особенно если оценки обсуждаются и обосновываются.

"Групповая экспертиза" может преследовать кроме основной также дополнительные цели: обучение экспертов и получение оптимизированной экспертной оценки. Одна из разновидностей "групповой экспертизы" заключается в выработке общего мнения группы экспертов, принимаемого голосованием. В случае принятия экспертного решения голосованием, положительно проголосовать должны не менее 2/3 от общего числа экспертов. Поскольку наиболее интересные суждения возникают в ходе дискуссий, когда создается конфликтная ситуация, представляет определенный интерес искусственное создание таких ситуаций.

"Независимая экспертиза", проводимая с привлечением группы экспертов, также пригодна для получения оптимизированной экспертной оценки, а ее результаты можно использовать в целях обучения.

Метод оценки качества на базе "теории распознавания образов" включает "формирование образа" оцениваемого объекта, для снятия "налета субъективности" и основан на использовании возможности усреднения мнений множества экспертов. Результаты независимой работы экспертов служат основанием для создания "обучающей выборки", формируемой компьютером. Один из возможных вариантов такого метода – моделирование эвристических процессов мышления экспертов: эксперты оценивают показатели качества и их весомости на всех ступенях иерархической структуры, вплоть до комплексной оценки уровня качества. Далее разрабатывается математическая модель комплексной оценки, реализуемая компьютером с применением специально разработанной программы. Методы оценки качества на базе "теории распознавания образов" могут применяться для обучения экспертов, получения оптимизированной экспертной оценки и для разработки модели оценки уровня качества объекта на основе "теории распознавания образов".

Метод Делфи ("метод дельфийского оракула") был предложен в США в начале 50 годов Т.Дж.Гордоном и О.Хелмером для решения крупных военных проблем. Характерными чертами метода Делфи являются следующие:

• работа эксперта осуществляется анонимно (индивидуально);
• ответы на поставленные перед экспертом вопросы обязательно содержат количественную (балльную) характеристику;
• проводится несколько туров опроса с математической обработкой результатов после каждого тура;
• осуществляется управление процессом экспертизы (после каждого тура все опрашиваемые эксперты знакомятся с ответами других участников опроса, которые представляются анонимно и сопровождаются обоснованием, тоже анонимным);

Метод преследует все цели, кроме разработки модели для оценки уровня качества объекта на основе "теории распознавания образов".

Методы формирования экспертных оценок

Метод предпочтения (ранжирования) свойств или факторов можно реализовать в разных вариантах:

• простое ранжирование объектов в порядке уменьшения (увеличения) уровня качества;
• ранжирование с применением балльной оценки;
• ранжирование с применением балльной оценки и наложением дополнительных ограничений (например: градация балльной оценки равна 0,5 или 0,2 балла; сумма весомостей равна единице…);
• попарное сопоставление (ранжирование);
• полное попарное сопоставление (ранжирование).

Если от экспертов получают обоснования мнений и доводят их до сведения других участников экспертизы, это позволяет лучше учесть различные факторы.

Более подробно вопросы подготовки и проведения экспертизы рассматриваются в специальной литературе.