Стандартизация показателей, используемых в управлении качеством

 Уважаемые коллеги! Добрый день!

 В основе управления чем бы то ни было лежит измерение. Бессмысленно говорить об управлении качеством вне системы показателей качества и методики их измерения. Приказ Минздрава России от 31 июля 2020 года № 785н «Об утверждении Требований к организации и проведению внутреннего контроля качества и безопасности медицинской деятельности» предусматривает проведение плановых проверок не реже одного раза в квартал и минимальный набор показателей, которые должны при этом (ежегодно – все) оцениваться. Правда, то не показатели, а только критерии, поскольку методики оценки в приказе нет. Притом, они довольно ёмкие и размытые, и на деле требуют детализации.

 Приказ предоставляет своим «пользователям» – медицинским организациям и тем, кто их проверяет, полную свободу декомпозиции критериев качества, а также право принятия произвольной методики оценки соответствия. И этим придётся «заморачиваться», ведь, помимо периодической оценки показателей, п.11 документа предусматривает количественную оценку их динамического состояния: «Целевые (внеплановые) проверки проводятся … при наличии отрицательной динамики статистических данных, характеризующих качество и безопасность медицинской деятельности медицинской организации, в том числе установленной в результате проведения плановой проверки». Что с этим делать, каждый понимает в силу своих представлений о качестве, безопасности, медицинской деятельности и управлении.

 Хорошим наполнением системы показателей могли бы стать и при определённых условиях становятся Предложения (практические рекомендации) Росздравнадзора по организации внутреннего контроля качества и безопасности медицинской деятельности в медицинской организации. Что это за условия? Твёрдое намерение перехода к СМК руководства медицинской организации, понимание и поддержка коллектива, помощь экспертов. И не абы каких, а настоящих, способных донести смысл каждого критерия и того, как он должен оцениваться, как достигать с его помощью улучшений деятельности.

 Настоящих экспертов в стране – раз, два и обчёлся. Понимания их роли в российском здравоохранении также пока нет. Они прочно ассоциируются с «проверяющими» – по крайней мере, до появления личного опыта взаимодействия. Но и это ещё не всё. Если понимание есть и даже эксперта удалось привлечь, состояние управления в большинстве медицинских организаций страны таково, что по результатам диагностического аудита им будет рекомендовано проделать громадную работу, прежде чем можно будет только приступать к планированию проекта. И хотя эксперт даст подробные рекомендации, далеко не каждая организация преодолеет этот путь.

 Те же (среди прочих) проблемы возникнут при попытке внедрения любой другой системы стандартов. Т.о., последнее условие для построения системы внутреннего контроля на основе Практических рекомендаций Росздравнадзора или другой системы стандартов, а именно помощь экспертного уровня, выполняется относительно редко. Можно ли как-то его обойти – хотя бы, до той светлой поры, когда и с консультантами-экспертами, и с культурой качества в стране более-менее наладится? Я считаю, да. Однако для того, чтобы мечты получили шанс на воплощение в реальность, вначале следует разобраться, т.с., с «матчастью». Попытаться выяснить, что мешает непосредственному внедрению, и устранимые препятствия устранить. Или, хотя бы, преодолимые преодолеть.

  Хорошо, когда эксперт под боком – он не только правильно выставит оценку «да» или «нет» по тому или иному показателю, но и способен объяснить, каким образом формируется эта оценка, соответствие каким стандартам при этом учитывается, и как именно. У него и методика в голове, и громадный обобщённый опыт. У «пользователя» такого опыта по всем разделам и многочисленным позициям нет и быть не может, зато есть масса других забот и обязанностей. Отсюда, неизбежные формализм и произвол в оценке, отрыв «контроля качества» от фактического состояния дел.

 Далее. Даже если «пользователь» каким-то чудом нашёл время и силы на постижение сути всех нужных в его работе критериев, выработал для себя их связи со стандартами и требованиями, а также научился более-менее правильно разводить их оценку в дихотомической плоскости на две совокупности ответов «да» и «нет», у него не получится использовать эти результаты в управлении. Сегодня он получил результаты, допустим, «да-да-нет-да-нет», вчера было «да-нет-да-да-нет», а завтра будет «да-да-да-нет-нет». И, что? Как можно управлять на этой основе? Наказывать за каждое «нет»? Ни к чему хорошему это не приведёт, и уж точно не в СМК. Подсчитывать  проценты? Хорошо, давайте попробуем, на этом же примере. Получилось: вчера 60%, сегодня 60% и завтра 60%. И…? Плакать или смеяться? Без помощи эксперта, который имеет опыт анализа и способен выработать действенные рекомендации по улучшению качества, и здесь не обойтись. Будет всё тот же формализм и коллекционирование результатов проверок разного рода.

 Когда-то в российском здравоохранении появятся и эксперты в достаточном количестве и приемлемом качестве, и традиции консультирования, и предусматриваемые на консалтинг финансовые ресурсы, но на это уйдут многие годы. Для большинства медицинских организаций при внедрении различных систем стандартов в настоящее время экспертная поддержка фактически недоступна. В публикации предлагается решение этой актуальной проблемы путём проработки системы оценочных критериев, методики оценки соответствия и оценочных принципов, внятной опоры на требования и стандарты. Для полноты восприятия материала я рекомендую ознакомиться также с публикацией «Систематизация и автоматизация анализа в управлении качеством». 

 Что можно сделать с обозначенными проблемами? Можно погрузить требования и стандарты, те же СДС Практические рекомендации Росздравнадзора, в авторскую Автоматизированную систему оценки соответствия. Как это работает, я покажу на примере Автоматизированной экспертной технологической карты (АЭТК) «Эпидемиологическая безопасность».

 Приступим. Вначале, об оценочных принципах и стандартизации показателей. Если каждая оценка в системе производится стандартизованным способом в стандартном диапазоне – допустим, и это исключительно рациональный подход, от «0» до «1», то появляется возможность сквозного для всей системы расчёта значений показателей и, соответственно, автоматизации.

 Можно, во-первых, рассчитывать конечные (неделимые) количественные показатели, если для них известны (определены экспертным путём или официально установлены) нормативные либо ориентировочные значения. Во-вторых, приводить значения экспертных оценок каких-либо однозначных фактов, не требующих качественной оценки, от трудно обрабатываемых «да/нет» к числовым «1/0». В-третьих, рассчитывать средние значения показателей при проведении множественных исследований однородных объектов. В-четвёртых, вычислять все промежуточные значения снизу доверху в иерархии показателей. Единственное, что остаётся «ручным» – экспертные оценки качественных показателей, но и они могут и должны производиться в диапазоне от «0» до «1» с заданным шагом (у нас – «0,1»). На выходе стандартизации показателей мы можем видеть текущую ситуацию во всей её полноте, отражённую в структуре результатов, и без труда находить проблемные зоны, требующие особого внимания, отслеживать эффективность предпринимаемых усилий.

 Теперь, обо всём этом более подробно и с картинками. Создаю несколько стандартных блоков в той же карте, уточняю примерные цифры, делаю скриншоты, обрабатываю, даю пояснения в тексте.

 Первое. Расчёт значений количественных показателей (рис.1). Если для какого-либо показателя имеется методика расчёта и установлены ориентировочные (эталонные или желаемые) значения, либо они выработаны с участием специалистов, либо целесообразны в управленческом плане, то мы можем оценивать состояние путём сопоставления фактических и желаемых значений с получением стандартизованного результата. При этом, возможны три варианта таких показателей:

  • «+» – чем больше, тем лучше (примеры: рождаемость, прибыль);
  • «–» – чем больше, тем хуже (примеры: смертность, жалобы);
  • «±» – оптимальный диапазон (примеры: заболеваемость, нагрузка персонала).

 Стандартизация показателей такого типа производится следующим образом. Для первого варианта: вначале фактическое значение (ради простоты представления, «Ф») делится на нормативное «Н» с получением предварительного результата «пР»: пР=Ф/Н. Затем, предварительный результат подвергается логической проверке: если он больше единицы, то конечный результат «Р» принимается равным единице, если он меньше нуля, то нулю, а если меньше единицы и больше нуля, то предварительному результату: Р=если(пР>1;1;если(пР<0;0;пР)). Для второго варианта: то же, только пР=2-Ф/Н. Для третьего: вначале надо проверить, с какой стороны заданного диапазона находится фактическое значение, выше, внутри или ниже. Если «Ф» меньше установленного для нижней границы диапазона, то вычисление предварительного результата производится по первому варианту, пР=Ф/Н, если больше – по второму, пР=2-Ф/Н, а если попало в диапазон, то принимается равным единице (единица всегда выражает полное соответствие, как ноль – полное несоответствие). В таблице всё это выглядит много проще словесного описания:

Рис.1. Расчёт значения конечных (неделимых) количественных показателей 

 Рис.1. Расчёт значения конечных (неделимых) количественных показателей.

 Для наглядности, в блоке использованы все три варианта для этого типа показателей и введены примерные их фактические и нормативные значения, находящиеся в разных соотношениях друг с другом.

 Здесь же можно отметить расчёт среднего значения включенных показателей по блоку (внизу), это значение пойдёт вверх как значение того показателя, который мы в данном блоке раскрываем (позже я это покажу), а также возврат к дихотомической оценке (справа, столбец М). Там выделена одна из ячеек с формулами, сопоставляющими расчётное значение показателя с «пороговым», установленным для данной карты в специально отведённой ячейке в её паспортно-настроечной части. Здесь – на уровне «0,8». При результате от порогового значения и больше формула возвращает «да», при меньшем – «нет», а внизу блока рассчитывается и процент «да» от общего числа включенных показателей по этому блоку. Такой функционал внедряется только для систем стандартов с дихотомическим принципом оценки и наличием рекомендуемого «производителем» порогового значения соответствия. Для Практических рекомендаций Росздравнадзора это 80%, или «0,8».

 Второе. Приведение значений экспертных оценок каких-либо однозначных фактов, не требующих качественной оценки, от «да/нет» к «1/0» (рис.2). Возможны только два варианта таких показателей:

  • «+»: есть/да – хорошо, нет – плохо (пример: наличие рукомойника);
  • «–»: есть/да – плохо, нет – хорошо (пример: наличие грызунов).

Рис.2. Стандартизация экспертных оценок однозначных фактов 

 Рис.2. Стандартизация экспертных оценок однозначных фактов.

 Очевидно, выразить однозначный факт нулём либо единицей – это довольно просто. Для удобства пользователя, выбор состояния «есть/нет» реализован с помощью инструмента оболочки электронных таблиц «выпадающий список». Для наглядности, «негативные» показатели можно выделить, к примеру, красным шрифтом, в дополнение к ярко-жёлтой окраске ячеек со знаком «–» в столбце А. Инверсия значений показателей для вышеуказанных вариантов показателей этого типа лишь слегка усложняет оценку однозначных фактов, зато даёт максимум свободы. Особенно удобно таким способом выражать в карте требования Санитарных правил. При этом, значения «0» и «1» прекрасно обрабатываются в системе и без проблем участвуют во всех расчётах.

 Третье. Расчёт средних значений показателей при проведении множественных исследований однородных объектов. Т.е., медицинской документации, знаний и навыков персонала, помещений и т.д. Исследовать можно какие-то определённые характеристики этих объектов. Для этого нам понадобятся другие листы книги электронных таблиц, т.к. структура таблиц будет немного иной, да и удобнее сгруппировать там типичные исследования. Создадим несколько блоков такого типа для примера (рис.3-5), а также блок основной карты, в который соберём результаты, рассчитанные на дополнительных листах (рис.6).

Рис.3. Расчёт значений показателей, связанных с ведением медицинской документации 

 Рис.3. Расчёт значений показателей, связанных с ведением медицинской документации.

Рис.4. Расчёт значений показателей, связанных с навыками и знаниями персонала 

 Рис.4. Расчёт значений показателей, связанных с навыками и знаниями персонала.

 Технологически эти блоки одинаковые, разнится только тематика блоков, собранных на том и другом листе. Оценка каждого объекта производится по каждому критерию и объекту исследования во всё том же диапазоне от «0» до «1» с шагом «0,1», для реализации выбора нужных значений использован инструмент «выпадающий список». Для расчёта среднего учитывается число заполненных (отличных от нуля) значений.

 В карте предусмотрено до 30 объектов исследования. Технически это число можно увеличивать, сколько позволяет оболочка электронных таблиц, но делать этого не следует, по двум причинам. Во-первых, при большом количестве объектов размывается роль (вклад) каждого, и дальнейший набор не приводит к изменениям среднего. Это среднее будет учтено в системе один раз, и значение его при сколь угодно большом числе объектов более значимым не становится. Лучше в таких случаях, при наличии реальной потребности, продублировать показатель, чтобы усилить его роль, и технически это проще, чем расширять «простыни» для ввода и обработки данных. Во-вторых, на деле для того, чтобы понять состояние дел, обычно достаточно исследовать 5-10 объектов. Больше 30 точно не надо, ведь подобные исследования не проводятся сплошными, это ни к чему.

 Важно понять, как осуществляется деятельность в каком-то своём аспекте, а не устраивать тотальную проверку с поиском «виновных». Это одна из причин, почему в приведённых примерах нет ни ФИО ответственных лиц, ни номеров медицинских карт или каких иных опознавательных знаков исследуемых объектов. И не должно быть! Цель подобного исследования – определить состояние какой-либо узкой области или характеристики на какой-то выборке в моменте, а не провести экспертизу, экзамен или что-то подобное.

Рис.5. Расчёт значений показателей, связанных с характеристиками помещений 

 Рис.5. Расчёт значений показателей, связанных с характеристиками помещений.

 Структура блоков похожа на предыдущие, только здесь для каждого показателя есть какой-то установленный либо желаемый норматив. Отсюда, появляются варианты:

  • «+» – не меньше, чем хорошо (пример: площадь помещения);
  • «–» – не больше, чем хорошо (пример: число коек в палате).

 Соответственно, несколько усложняются расчёты, т.к. каждое введённое (здесь – именно, введённое вручную, т.к. вводимые данные могут быть самыми разными – штуки, метры, в т.ч. квадратные или кубические, и т.д.) значение сравнивается с эталонным одним из двух способов, в зависимости от знака в столбце А соответствующей строки. Способы и формулы изложены выше.

 Далее, рассчитывается среднее значение полученных оценок по блоку (по заполненным хоть в какой-то части строкам), и оно «подтягивается» в нужное место основной карты.

Рис.6. Использование в основной карте результатов расчётов, произведённых в блоках на дополнительных листах 

 Рис.6. Использование в основной карте результатов расчётов, произведённых в блоках на дополнительных листах.

 В этом блоке для примера показаны подряд три показателя, значения которых вычисляются в блоках на разных дополнительных листах. Для удобства пользователя, рядом с импортирующими результаты с дополнительных листов ячейками находятся (зелёные) ячейки с указанием имён листов и номеров строк, откуда берутся результаты расчётов. По ним легко находить нужные блоки на дополнительных листах.

 Четвёртое. Стандартизация экспертных оценок качественных показателей (рис.7). Как выше уже сообщалось, они могут и, в описываемой системе, должны производиться в диапазоне от «0» до «1» с заданным шагом «0,1».

Рис.7. Экспертная оценка качественных показателей 

 Рис.7. Экспертная оценка качественных показателей.

 Для удобства и во избежание ошибок при вводе данных, здесь также реализован выбор из выпадающего списка значений. Самая важная задача здесь – корректная, объективная, справедливая оценка, отражающая реальное состояние по данному показателю. Для того, чтобы минимизировать произвол оценивающего, обязательно должна применяться оценочная шкала (рис.8).

Рис.8. Оценочная шкала экспертных оценок качественных показателей 

 Рис.8. Оценочная шкала экспертных оценок качественных показателей.

 Оценочная шкала размещается на каждом листе каждой карты сразу под рабочей областью. И, да, она уже знакома уважаемому читателю по авторским публикациям, посвящённым экспертизе качества медицинской помощи. Действительно, она та же. Руководствоваться ею нужно постоянно. Другая важная для предотвращения произвола в экспертных оценках вещь – разумная степень детализации критериев.

 Пятое. Вычисление всех промежуточных и итоговых значений снизу доверху в иерархии показателей (рис.9). Каждый показатель, который мы ранее разложили на составляющие и рассчитали, выше входит в блок более высокого уровня.

Рис.9. Блок более высокого уровня по отношению к ранее приведённым 

 Рис.9. Блок более высокого уровня по отношению к ранее приведённым.

 Он рассчитывается точно так же, как среднее по входящим в него показателям, находящимся во включенном состоянии. И его результат аналогичным образом учитывается где-то выше. Так продолжается по всей иерархии, вплоть до самого верха, до итогового значения – т.н. «показателя соответствия». При этом, в самих блоках могут быть различные показатели – как неделимые (конечные) разных типов в разных своих вариантах, как мы разобрали выше, так и делимые, которые рассчитываются в дочерних блоках. В блоках, как я постарался проиллюстрировать в данном примере, могут одновременно использоваться различные показатели. Сочетать их можно, как угодно и нужно для дела. И сразу видно, где сводные оценки «проседают», за счёт чего.

 Стандартизация показателей, используемых в управлении качеством, позволяет, таким образом, успешно разрешить те трудности, о которых шла речь в начале статьи. При погружении различных систем стандартов и требований в Автоматизированную систему оценки соответствия появляются дополнительные возможности управления качеством. Так, размещение на соседних с обработанным тематическим разделом Практических рекомендаций Росздравнадзора листах АЭТК «Эпидемиологическая безопасность» аналогичным образом обработанных требований СанПиН 2.1.3684-21, СП 2.1.3678-20 и СанПиН 3.3686-21 позволяет пользователю обрести уверенность при решении сложных вопросов. Появляется возможность углубиться во многие сложные проблемы организации эпидемиологической безопасности в медицинской организации, найти источники требований, включённых в ту или иную СДС. Аналогичным образом в Автоматизированную систему оценки соответствия погружаются и другие тематические разделы Практических рекомендаций Росздравнадзора, других СДС и соответствующие требования нормативных правовых актов. И, конечно, добавляет удобства возможность создания интегрированной справочной системы непосредственно в АЭТК.

---

 Обсудить в Телеграм 

 Обсудить вКонтакте 

 Каталог решений Здрав.Биз.

 ---

Всегда ваши, команда Здрав.Биз и Андрей Таевский.