Уважаемые коллеги! Добрый день!
Основы управления качеством медицинской помощи и рисками, связанными с её оказанием и осуществлением медицинской деятельности, мы с вами не раз уже разбирали. Управлять можно только тем, что можно измерить. В этой связи, ключевое значение имеют, помимо самих целей управления и их преследования, система оценочных критериев и показателей качества и методы их измерения.
С проблемами управления качеством основного «производственного» процесса медицинской деятельности – процесса оказания медицинской помощи, порождёнными приказом Минздрава России от 10 мая 2017 года № 203н «Об утверждении критериев оценки качества медицинской помощи» (далее – Приказ 203н), мы благополучно разобрались в серии статей: ст.А, ст.Б.1, ст.Б.2, ст.Б.3 и других работах, представленных на нашем сайте. Однако родной «отраслевой регулятор» не собирается останавливаться на достигнутом и готовит для нас новые управленческие шедевры. Делать нечего, приходится возвращаться к основам.
В настоящей работе разберём используемые в практике управления качеством медицинской помощи основные оценочные принципы. Их всего два: дихотомический и градационный. Также применяются их сочетания.
1. Дихотомический оценочный принцип
Формален. Основное предназначение – ретроспективная оценка фактического выполнения конкретных требований путём их сопоставления (т.н. «проверочные листы» и т.п.) либо оценка соблюдения минимальных требований в разрешительной системе (например, оценка соблюдения лицензионных условий и требований при осуществлении медицинской деятельности). Модификации:
Базовая модификация. Предполагает два варианта ответа на конкретно поставленный вопрос, положительный и отрицательный:
«Требование выполнено?» Ответ – «Да» или «Нет».
Возьмём для примера п.3.1.7 «Критерии качества специализированной медицинской помощи взрослым и детям при гриппе с другими проявлениями (коды по МКБ-10: J10.1; J10.8; J11.1; J11.8) Приказа № 203н, пп.6: «Проведена терапия противовирусными лекарственными препаратами (в зависимости от медицинских показаний и при отсутствии медицинских противопоказаний) – да/нет». Ответ «да» – т.е., «проведена», «выполнено» или «нет» – т.е., «не проведена», «не выполнено».
Если оценочный критерий неприменим к данному конкретному случаю оказания медицинской помощи, любой из этих ответов искажает результаты экспертизы качества медицинской помощи (далее – Экспертиза), а третьего варианта ответов для таких случаев не предусмотрено.
На том же примере: при отсутствии показаний или при наличии противопоказаний – каков должен быть ответ, «да» или «нет»? Если по факту выполнения, то ответ «да» будет означать, что терапия «проведена», несмотря ни на что и, возможно, во вред больному, а ответ «нет» – «не проведена» в соответствии с клинической ситуацией и во благо больному. Отсюда следует возможная инверсия значения ответа: положительный ответ будет иметь отрицательное значение (противоречит клинической ситуации), а отрицательный – положительное (отвечает клинической ситуации). И как следует понимать любой из них в результатах Экспертизы, где ответы «да» и «нет» идут подряд по перечню оценочных критериев?
Модификация «Нарушения установленных требований» («НУТ»). Позволяет учитывать невыполнение требований в единицах, отражающих число нарушений:
«Требование выполнено?» – «НУТ=N», где N – число выявленных нарушений в единицах.
Если требование выполнено, нарушения отсутствуют, «НУТ=N=0», что соответствует ответу «Да» в базовой модификации дихотомического оценочного принципа. Если требование не выполнено, выявлены нарушения, «НУТ=N≥1».
Очевидно, «НУТ=N≥1» по любому оценочному критерию соответствует ответу «Нет» в базовой модификации дихотомического оценочного принципа, однако более точен и информативен, поскольку:
а ) по одному оценочному критерию может быть выявлено более одного нарушения, что не может быть отражено в базовой модификации;
б ) для неприменимых оценочных критериев «НУТ=0», а нулевые значения не влияют на общее число выявленных нарушений и не искажают результаты Экспертизы;
в ) не создают путаницы инверсиями клинического значения ответов, как в базовой модификации;
г ) в пределах Экспертизы одного случая оказания медицинской помощи позволяет подвести итоги простым суммированием данного показателя по разделам и подразделам Экспертизы, в т.ч. с применением средств автоматизации, как реализовано в наших АЭТК (см. работу «Автоматизация экспертизы качества медицинской помощи по "критериям" приказа Минздрава 203н»: ч.I, ч.II, ч.III, ч.IV, ч.V );
д ) в системе управления качеством либо контроля качества любого рода (далее – Суперсистема) позволяет проводить сравнительный и динамический автоматизированный анализ качества медицинской помощи, оказываемой специалистами, структурными подразделениями, медицинскими организациями и их филиалами и т.д. в разрезе системы оценочных критериев;
е ) в Суперсистемах позволяет отдельно учитывать оперативно устранённые нарушения установленных требований из числа выявленных при проведении Экспертизы.
На том же примере (пп.6 п.3.1.7 Приказа № 203н): значения показателя «НУТ» варьируются не только от факта выполнения требования, но и от того, как оно выполнено, и надо ли было это требование выполнять в данной клинической ситуации (таблица 1).
Таблица 1. Значения показателя «НУТ» в связи установленных требований с требованиями клинической ситуации на примере одного из оценочных критериев.
В нашей технологии дихотомический оценочный принцип в модификации «НУТ» используется на 1-м этапе Экспертизы, что не только обеспечивает формальное соответствие результатов тому, что подразумевает под Экспертизой Приказ № 203н, но и даёт ориентиры эксперту для проведения оценки на последующих этапах.
Модификация «Соответствие установленным требованиям» («СУТ»). Позволяет оценить выполнение установленных требований в целом по совокупности оценочных критериев, случаев оказания медицинской помощи и т.п. Производный показатель от «НУТ»:
«СУТ=1» (полное соответствие требованиям) при «НУТ=0» и «СУТ=0» (есть нарушения, нет полного соответствия) при «НУТ≥1».
Для одного отдельно взятого конечного (неделимого) оценочного критерия означает возврат к базовой модификации дихотомического оценочного принципа («СУТ=1» является эквивалентом ответу «да», «СУТ=0» – ответу «нет»), что в практическом плане применять нецелесообразно. Использование данной модификации приобретает смысл в Суперсистемах, когда нужно оценить выполнение установленных требований в целом по совокупности оценочных критериев (общего итога, раздела, подраздела) множества случаев оказания медицинской помощи, подвергнутых контролю. Например, с помощью этого показателя можно отобрать случаи оказания медицинской помощи с нарушениями в медицинской организации, по подразделениям или специалистам для дальнейшего анализа.
Возьмём для иллюстрации сказанного всё тот же п.3.1.7 Приказа № 203н со всеми содержащимися в нём в настоящее время оценочными критериями и поместим их в сравнительную таблицу результатов оценки показателя «НУТ» двух случаев Экспертизы соответствующего раздела (таблица 2). Введём в неё для примера значения показателя «НУТ» для каждого критерия (в т.ч. нулевые, чего при реальном проведении Экспертизы делать не требуется) с тем расчётом, чтобы в первом случае оказания медицинской помощи обошлось без нарушений, а во втором – будто были выявлены 3 нарушения. В первом случае «НУТ=0» и «СУТ=1», во втором – «НУТ=3» и «СУТ=0».
Таблица 2. Зависимость значений показателя «СУТ» от значений показателя «НУТ» на примере одного из федеральных наборов «критериев по группам заболеваний (состояний)» и произвольных результатов Экспертизы двух случаев оказания медицинской помощи.
2. Градационный оценочный принцип (принцип соответствия)
Основное предназначение – экспертная оценка степени соответствия фактического состояния чего-либо его желаемому (целевому) состоянию.
В основе своей – субъективен, однако незаменим для оценки сложных объектов и вероятностных процессов, к которым относится лечебно-диагностический процесс, основной в процессе оказания медицинской помощи. При использовании при проведении Экспертизы требует предварительного моделирования экспертом условного динамического идеала медицинской помощи для данного конкретного случая её оказания, достижимого в существующих общественно-исторических условиях.
Моделируемый экспертом условный идеал включает в себя условно достижимый наилучший результат оказания медицинской помощи и условно оптимальный процесс оказания медицинской помощи, ведущий к этому результату с наибольшей вероятностью при минимальном риске. Затем фактический процесс оказания медицинской помощи в исследуемом случае оказания медицинской помощи сравнивается с условно-эталонным процессом с учётом фактического результата оказания медицинской помощи и его отличий от условно-эталонного результата и оценивается по каждому конечному («неделимому») параметру отдельно, а степень их несоответствия («отклонение») выражается в значениях предопределённой методикой проведения Экспертизы градационной оценочной шкалы.
Необходимая степень объективности и достоверности результатов оценки качества медицинской помощи при использовании градационного оценочного принципа достигается целенаправленно за счёт:
а ) выработки системы управляемых параметров (оценочных критериев), наиболее полно отражающих совокупность характеристик качества медицинской помощи, и их разумной степени детализации;
б ) применения оценочной шкалы с чёткими критериями отнесения экспертной оценки к тому или иному её значению;
в ) использования объективной научной и практической основы для экспертных оценок (достоверных информационных источников);
г ) высокого профессионального уровня эксперта;
д ) непредвзятости эксперта (отсутствия конфликта интересов либо его осознанного эффективного контроля).
В нашей технологии градационный оценочный принцип используется на 2-м этапе Экспертизы при оценке показателя «Оценка качества» («ОК») с оценочной шкалой от «0» (абсолютное несоответствие) до «1» (полное соответствие) с шагом «0,1».
В качестве иллюстрации для данного показателя приведём всё тот же п.3.1.7 Приказа № 203н со всеми содержащимися в нём в настоящее время оценочными критериями (таблица 3). Между показателями «НУТ» и «ОК» прямой связи нет, однако имеется связь, опосредованная клинической ситуацией. Эти показатели будут связаны тем более плотно, чем лучше проработаны установленные требования и система оценочных критериев (чего пока не наблюдается, к сожалению). Цифры в примере произвольны.
Таблица 3. Примеры значений показателя «ОК» и их непрямая взаимосвязь со значениями показателя «НУТ» на примере одного из наборов федеральных «критериев по группам заболеваний (состояний)».
3. Разумные сочетания дихотомического и градационного оценочных принципов
Основное предназначение – повышение практической ценности результатов оценок, полученных путём раздельного применения указанных принципов, а также в разрешительной системе – для охвата позиций, требования прямого действия по которым по каким-либо причинам установить невозможно.
В разрешительной системе, когда необходимо принять одно из двух противоположных решений (к примеру, выдать лицензию или нет) на основе экспертных оценок или объективных показателей, необходимо заранее установить «пороговые» значения для этих оценок или показателей с целью обеспечения возможности отнесения фактических их значений в «допустимую» или «недопустимую» зону оценочной шкалы. Т.о., можно охарактеризовать такой вариант сочетания дихотомического и градационного оценочных принципов как частный случай основного в разрешительной системе «принципа минимальной достаточности» с опорой на промежуточные оценки.
В то же время, такой вариант сочетания дихотомического и градационного оценочных принципов может применяться не только в разрешительной системе, но и в других целях. Например, для повышения практической ценности результатов проводимых исследований, как выше было отмечено. Если заранее установить «пороговые» значения для оценок, получаемых в результате применения градационного оценочного принципа, а затем уже на основе дихотомического оценочного принципа сопоставлять эти оценки с «пороговыми» значениями, можно выявлять экстремальные отклонения и прицельно их обозначать, что важно как для информативности результатов самой Экспертизы, так и, особенно, в целях управления качеством медицинской помощи в Суперсистеме.
В нашей технологии на 3-м и 4-м этапах Экспертизы используется именно такая последовательность. Полученные на 2-м этапе Экспертизы с помощью градационного оценочного принципа значения показателя «Оценка качества» («ОК») на 3-м этапе Экспертизы сопоставляются с «пороговыми» значениями, предустановленными на той же оценочной шкале от «0» до «1» с шагом «0,1» для определения наличия дефекта медицинской помощи (показатель «Количество дефектов», «ДК», в единицах). На 4-м этапе Экспертизы тем же путём производится оценка степени тяжести дефекта (показатель «Класс тяжести», «КТ», в классах тяжести, обозначаемых римскими цифрами от I до IV). Поскольку показатели «ДК» и «КТ» являются производными от показателя «ОК», их автоматический расчёт особых трудностей не вызывает. У нас 3-й и 4-й этапы Экспертизы полностью автоматизированы.
Проиллюстрируем эти производные показатели на том же примере с п.3.1.7 Приказа № 203н (таблица 4). Цифры в примере произвольны.
Таблица 4. Значения показателей «ДК» и «КТ» в зависимости от значений показателя «ОК» на примере одного из федеральных наборов «критериев по группам заболеваний (состояний)».
Оценочные шкалы и критерии отнесения показателей к тому или иному значению шкалы мы уже приводили в общих чертах в публикациях. Более подробно эти вопросы рассмотрены в учебном пособии Таевский Б.В., Таевский А.Б., Князев Е.Г. Методика экспертизы качества медицинской помощи, электронную версию которого можно бесплатно получить здесь.
4. Смешения принципов, или ниачём и палкой как попало
Нужно понимать, что, как и для чего делается.
Если речь идёт об оценке в разрешительной системе, к примеру, то должен использоваться принцип минимальной достаточности: выполнил конкретные требования, получил лицензию, и работай спокойно (только не нарушай). Если речь о добровольной сертификации, то оценочным принципом должен быть принцип соответствия – желаемому, обозначенному таковым в системе добровольной сертификации (СДС) по международным или национальным стандартам и принимаемому на себя медицинской организацией в качестве добровольных обязательств при вступлении в ту или иную СДС. И т.д. В управлении медицинской организацией необходимо разумно применять эти и другие оценочные принципы раздельно и в сочетаниях, избегая смешений. Как и в отраслевом «регулировании».
Авторы Приказа № 203н пошли по изначально тупиковому пути, закладывая дихотомический оценочный принцип, да ещё и в базовой модификации, в саму систему критериев оценки вероятностного процесса. Тупик был виден ещё на старте разработки федеральных критериев по принципиальному различию между первым проектом, где присутствовали «критерии качества по группам заболеваний (состояний)», и появившимся несколькими месяцами позже Приказом № 422ан, где эти критерии уже отсутствовали, а были лишь «критерии качества по условиям оказания медицинской помощи». Появление Приказа № 520н, так и не успевшего вступить в силу, и, затем, действующего в настоящее время Приказа № 203н свидетельствует об избранном отраслевым регулятором способе преодоления тупика: зажмурившись, бодать непрошибаемую стену реальности.
В оценке сложных систем и вероятностных процессов нужно исходить из заведомого и непреодолимого несовершенства системы управляемых параметров («оценочных критериев»). Прежде всего, число «конечных» (неделимых) параметров здесь бесконечно. Такие критерии, примеры которых приведены выше, не являются «конечными» и должны быть дифференцированы вглубь ещё на несколько уровней иерархии, где только и возможна оценка по дихотомическому принципу. Сделать это для каждого подобного критерия, а таковых подавляющее большинство в системе, попросту невозможно. И даже если попытаться, результаты оценки не будут ни объективными, ни достоверными вследствие эффекта накопления ошибок измерения, накладывающихся на непреодолимое несовершенство системы критериев. Т.о., необходима разумная степень детализации критериев, а это предполагает отход от дихотомического принципа к экспертным оценкам с вытекающей из того необходимостью проработки методологии производства таких оценок, чёткого научного обоснования каждого критерия и его места в иерархической системе (либо ранжирования, но это сравнительно худший вариант), выделения особо важных позиций и введения их в качестве установленных требований (а не «назначение» таковыми самих оценочных критериев «всем скопом») и т.д.
По каким-то причинам Минздрав не желает выбросить из системы оценочных критериев дихотомический оценочный принцип – то, что относится к методологии оценки (а та зависит от целей проведения экспертизы), чем полностью извращает сами критерии и гарантирует заведомо ложные результаты проводимых по ним экспертиз, абсолютно бесполезные в управлении качеством медицинской помощи, зато открывающие широчайшие возможности для преследования врачей и медицинских организаций за счёт заведомого противоречия формальных требований реальным клиническим потребностям.
Интересно, далеко ли ушли от них авторы проекта приказа об организации внутреннего контроля, упомянутого в самом начале статьи? При всех достоинствах отдельных положений документа и ценности общего развития темы системного управления качеством, не прокралось ли в оценочные его положения досадного смешения принципов?
Дихотомический оценочный принцип в базовой модификации («да/нет») может использоваться в разрешительной системе для оценки соответствия требованиям прямого действия, но таковых в медицине не может быть много. Для большинства позиций, входящих в лицензионные требования, соответствие должно оцениваться на основе принципа минимальной достаточности. Например, наличие необходимого оборудования для осуществления медицинской деятельности может быть оценено на основе стандартов оснащения, содержащихся в порядках оказания медицинской помощи. Результаты оценки соответствия напрямую зависят от того, соблюдены ли полностью установленные требования («СУТ=1»), что является основанием для выдачи лицензии, либо нет – в любой, хотя бы самой мизерной части («СУТ=0»), и несоблюдение любого требования станет поводом для отказа в этом или для применения санкций к нарушителю, если лицензия была ранее выдана (отзыв или приостановление действия лицензии, выдача предписания об устранения нарушений, административный штраф и т.д.). Санкции будут зависеть от того, относится ли нарушение к грубым, но сути и оценочного принципа лицензирования и это не меняет. Проверяющего не волнует и не должно волновать, насколько перевыполнены требования по позиции А, если не полностью выполнены требования по поз. В, и он вправе настаивать на полном выполнении всех установленных требований.
В СДС могут вводиться расширенные перечни необходимого для сертификации в СДС (т.е., желательного), в т.ч. по обозначенным в качестве обязательных позициям по количеству (допустим, 5 вместо 3 по поз. А) и качеству (напр., уточнение: «тип М» по поз. В) наполнения, или в дополнение к ним – тем, что не является обязательным (допустим, поз. С плюсом к поз. А и В в блоке D). Результаты влияют на сертификацию в СДС. При этом, в хорошей СДС совершенно чётко должно прослеживаться, что является «обязательной» частью, а что – «опциональной». Конечно, обязательные требования подлежат исполнению в полном объёме, а всё, что сверх них, «опциональное» – в той степени, что позволяет медицинской организации добиться поставленных целей в области качества. Какие при этом вводить дополнительные критерии и показатели оценки, и каким образом их рассчитывать – дело владельцев СДС. Хотите использовать линейные перечни (т.н. «чек-листы») вместо иерархии? Пожалуйста! Хотите итоговые результаты рассчитывать в виде процентов положительных ответов в «чек-листах» вместо интегративной оценки? Да, пожалуйста! А если выделяете при этом обязательные требования (где безусловно должно быть 100% исполнения, а никакие не 80%) и правильно расставляете приоритеты внутри перечней тем или иным образом (иерархия либо ранжирование) – так, вообще молодцы!
Но, что происходит, когда требования какой-либо СДС становятся по щелчку пальцев лицензионными? Т.е., обязательными, установленными приказом Минздрава России во исполнение специально изменённой под это дело статьи 90 Федерального закона от 21 ноября 2011 года № 323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации»? Эффектов много, включая в немалой степени произвольное введение массы новых требований и уничтожение принципа добровольности сертификации, но статья эта не о политике, а об оценочных принципах, ими здесь и ограничимся.
Происходит, во-первых, подмена принципа соответствия принципом минимальной достаточности в СДС. Лицензия, выданная по результатам оценки исполнения требований приказа, исключает необходимость сертификации и вообще какие-либо стремления к улучшениям сверх соблюдения предписанных «минимальных» требований, если они при том искусственно максимизированы. Реализация проекта разработки и внедрения системы менеджмента качества в медицинской организации превращается в подготовку к лицензированию – проверке соблюдения обязательных требований при осуществлении медицинской деятельности.
Во-вторых, происходит подмена принципа минимальной достаточности принципом соответствия в разрешительной системе. Чем именно будет обусловлен достигнутый итоговый результат 80%, действительно важными позициями, или они останутся в проигнорированной части? Напомню, речь идёт, среди прочего, о безопасности медицинской деятельности. Лицензия должна будет выдаваться по факту соответствия 4/5 части желаемого вместо полного соблюдения обязательного минимума, поскольку он конкретно не обозначен.
В общем, и здесь снова всё смешалось, что умаляет кратно ценность проекта в целом и заложенных в него рациональных зёрен. Хотелось бы, конечно, чтоб проект приказа смотрелся лучше – более осмысленным, что ли. Хотя бы, в рассмотренных аспектах. А на высокохудожественную картину в целом никто и не надеялся. Творец из «регулятора», скажем, так себе.
---
Рекомендуем:
Обеспечение качества и безопасности медицинской деятельности по направлениям
---
---
Всегда ваши, команда Здрав.Биз и Андрей Таевский.