Comentario: complejidades en la evaluación de intervenciones complejas

(Comentary: complexities in the evaluation of complex interventions)

Salvador Peiró
Escuela Valenciana de Estudios de la Salud. Valencia. España.

Los problemas de calidad de la prescripción y gasto en medicamentos son, sin duda, importantes en el Sistema Nacional de Salud (SNS)¹ y, por tanto, la identificación de intervenciones efectivas para reducir las dimensiones de este problema, objetivo básico del artículo de Rosich et al², es un área de investigación de gran relevancia. En la evaluación de la efectividad de las tecnologías sanitarias se considera que el ensayo clínico con asignación aleatoria de la intervención (ECA) es el diseño óptimo y el único que permite obtener conclusiones válidas. La corriente teórica de la medicina basada en la evidencia ha reforzado considerablemente esta posición de primacía de los ECA, desarrollando escalas de jerarquía de la «evidencia» en las que los ECA ocupan el lugar más destacado, y eliminando -como si sus conclusiones no tuvieran utilidad- los estudios basados en diseños no experimentales de las REVISIONES sistemáticas³. Este planteamiento es probablemente adecuado para la evaluación de tecnologías «sencillas» como, por ejemplo, los medicamentos. En estos casos, la validez de la evaluación se basa, esencialmente, en obtener (mediante la asignación aleatoria) dos o más grupos de individuos de características similares y conseguir (mediante el enmascaramiento) que estos grupos no sean diferentes en nada, excepto en el tratamiento evaluado. Estas condiciones son las que permitirán atribuir causalmente las diferencias en resultados al medicamento en cuestión.

En teoría, la evaluación de intervenciones «complejas», como las que se realizan en los servicios sanitarios (intervenciones organizativas, de política o gestión sanitaria, con más componentes, y más intrincados, que un principio activo farmacológico), debería adoptar criterios y estándares similares. En la práctica, sin embargo, hay numerosas dificultades para evaluar la efectividad de este tipo de intervenciones. Probablemente, las más importantes provienen del propio entorno político y gestor en el que nacen y se implantan estas medidas⁴. Prospectivamente, cuestionar si una actuación concreta será efectiva o no suele percibirse como un inconveniente para obtener el soporte social o profesional suficiente para implantar la medida en cuestión. Otras veces se busca de manera intencionada implantar las medidas de forma tan sorpresiva que los opositores no tengan tiempo de reaccionar, aspecto que casa mal con los tiempos de la investigación prospectiva. La evaluación retrospectiva, por contra, tiene escasa rentabilidad en términos políticos y conlleva riesgos para los políticos, gestores o colectivos que propusieron la intervención.

La evaluación de la efectividad de las intervenciones en los servicios sanitarios también tiene importantes problemas operativos. Este tipo de intervenciones tiende a aplicarse uniformemente sobre el conjunto de una población (a nadie se le escapa la dificultad, por ejemplo, de asignar aleatoriamente un copago de medicamentos a algunas poblaciones para valorar la efectividad y la seguridad de este tipo de intervención), aspecto que limita de manera considerable la disponibilidad de un grupo control equivalente. El resultado es que la experimentación con intervenciones organizativas es una rareza y que los diseños antes-después sin grupo control están entre los más utilizados en la evaluación de las políticas sanitarias. Se trata de un diseño de débil validez interna que tiene como problemas adicionales la posibilidad de otras intervenciones concomitantes y los cambios derivados de la propia «maduración» de los individuos intervenidos.

Incluso cuando hay un grupo control, el enmascaramiento es muy difícil en las intervenciones organizativas y, por tanto, son muy elevadas las posibilidades de contaminación de los grupos, aparición de sesgos de deseabilidad social y efecto Hawthorne y, sobre todo, de modificaciones del tipo o intensidad de la intervención en función de las características de cada grupo. Además, la efectividad de las intervenciones organizativas es extraordinariamente contingente a los factores locales. Es posible que los «investigadores» (en este caso, los políticos o gestores sanitarios) hayan elegido de antemano la modalidad de intervención que creen más efectiva en el entorno específico en el que van a actuar (aspecto que contribuye notoriamente a que los resultados de una intervención concreta suelan ser positivos) y el momento de la actuación (la receptividad a una intervención educativa puede ser muy diferente en diferentes climas organizacionales). Cuando hay interacción entre investigadores e individuos de investigación, tampoco es despreciable el impacto de las características de las personas que realizan la intervención (posición jerárquica, relaciones previas con los individuos, capacidad de transmitir conocimientos o de empatizar, etc.) o, si hay perjudicados, la respuesta de éstos a la propia intervención (que ocasionalmente puede ser una contraintervención).

El trabajo de Rosich et al² incorpora buena parte de las limitaciones comentadas y, como los propios autores señalan, la inferencia causal desde los resultados obtenidos a la efectividad de las intervenciones educativas acaba por estar muy comprometida. En este caso, la intervención educativa coincidió con una clara intervención concomitante (la alerta de la Food and Drug Administration estadounidense, seguida por todas sus homólogas europeas, sobre los riesgos cardiovasculares de los coxibs). A falta de grupo control más próximo, los datos de prescripción en el SNS (Puig Junoy J, comunicación personal) sugieren que los cambios en la utilización de coxibs que se produjeron en la población intervenida no son diferentes de los que se produjeron en el conjunto del sistema sanitario (fig. 1). Los autores comentan que el efecto de las alertas de medicamentos es, en general, pequeño. Probablemente tienen razón. Sin embargo, es posible que los médicos fueran más receptivos a esta alerta porque apareció (día 3 de septiembre de 2001) de forma casi inmediata a la retirada de cerivastatina (día 8 de agosto) que tuvo un notable impacto en las consultas (entre 150.000 y 200.000 pacientes estaban siendo tratados con este fármaco cuando se suspendió su comercialización y tuvieron que acudir a consulta en medio de un notorio debate en los medios de comunicación sobre su seguridad, con tintes alarmistas en muchos casos, que se prolongó durante todo el verano).

Figura 1. Evolución del gasto en coxibs (2000-2003) en el Sistema Nacional de Salud 
y en el Alt Penedès-Garraf (2001-2002).

Los problemas de validez externa no son menos importantes: ¿sería efectiva la intervención en otros grupos de fármacos (más consolidados, con mayor prescripción inducida)? ¿Sobre médicos de atención primaria diferentes? ¿Sobre médicos especialistas? ¿Con materiales educativos preparados o distribuidos de otra forma? ¿Realizada por personas distintas o con diferente interacción de quienes realizaron ésta? ¿En otros climas organizacionales? ¿En medio de una campaña promocional de los fabricantes o si éstos replican a la intervención? Nótese que buena parte de estas limitaciones persistirían, e incluso algunas podrían ser más importantes, en un ensayo clínico.

Probablemente, de no coincidir con la alerta de seguridad, la intervención educativa realizada en el Alt Garraf-Penedès habría tenido algún impacto en la reducción de la prescripción de coxibs. Pero el trabajo realizado -en parte por limitaciones inherentes al diseño, en parte por limitaciones evitables (¿podría haberse utilizado un territorio similar como grupo control?)- no permite recomendar (o descartar) la generalización de las intervenciones educativas sobre prescripción en el SNS. Pese a ello, el trabajo tiene interés. Describe bien la intervención y las diferentes respuestas de algunos subgrupos. Informa de algunas características de los centros y su relación con la prescripción de coxib. Y es que, frente a la evaluación de «caja negra» típica de los ensayos clínicos de medicamentos, en evaluación de intervenciones organizativas los aspectos locales y contextuales ganan una importancia enorme. En el extremo, el interés no se centra tanto en conocer si una intervención concreta sería efectiva en un mundo ideal, sino en ofrecer información sobre los condicionantes del éxito o fracaso de la intervención en el mundo real. Y aquí, la descripción de experiencias locales de intervención tiene un enorme valor. Y a fin de cuentas, el mejor diseño no es el más elegante, sino el que contesta la pregunta de investigación⁵.

En otro terreno, la reciente retirada de rofecoxib, la publicación de estudios que no sólo confirman su riesgo cardiovascular⁶ sino que sugieren que éste pudo ser claramente establecido hace 4 años⁷, y los riesgos descritos recientemente para otros miembros de esta familia⁸, dan también lugar a muchas reflexiones. Algunas, obvias, sobre la aprobación de fármacos y su seguimiento postautorización. Otras menos obvias, sobre el papel de alertas y visados. Y es que, a veces, probablemente sólo a veces, una alerta puede ser más efectiva que una laboriosa intervención educativa. O un visado (fig. 1) más efectivo que una alerta. En su intervención ante el Congreso de Estados Unidos, el Director Asociado de la Office of Drug Safety de la FDA señaló que entre 88.000 y 139.000 americanos habrían sufrido infartos de miocardio y accidentes cerebrovasculares como consecuencia de la toma de rofecoxib⁹. En España, un país con menor incidencia de enfermedad cardiovascular, previsiblemente estas cifras habrían sido menores. Pero la alerta y el visado quebraron el crecimiento exponencial de la prescripción de coxib y, con ello, redujeron la exposición de decenas de miles de españoles a un riesgo significativo. Cabe especular que el visado tuvo motivaciones fundamentalmente económicas. O sobre las contradicciones que implica la existencia de un visado para las prescripciones en receta oficial, pero no para las prescripciones privadas (¿quienes son atendidos por médicos o seguros privados no tienen derecho a la protección de un visado impuesto formalmente por motivos de seguridad?). Pero lo importante es que la combinación de alerta y visado fueron capaces de reducir las dimensiones del problema «coxib» en el SNS, en beneficio de la seguridad de los pacientes. Y esta enseñanza debe ser tenida en cuenta cuando haya dudas sobre la seguridad de un fármaco de consumo masivo.

Agradecimientos

Jaume Puig i Junoy permitió el uso de la figura 1 (datos estatales), procedente de su trabajo «Impacto de las intervenciones administrativas sobre la prescripción de coxibs en España», actualmente en curso.

Bibliografía

1. Meneu R, Peiró S, editores. Elementos para la gestión de la prescripción y la prestación farmacéutica. Barcelona: Masson; 2004.

2. Rosich I, Soler M, Tomás R, Crusat D. Utilización de coxib: impacto de una estrategia de intervención en atención primaria. Gac Sanit. 2005;19:229-34.

3. Peiró S. Medicina basada en la evidencia: necesaria, aunque insuficiente. Limitaciones -y autolimitaciones- de la medicina basada en la evidencia para la práctica clínica y la atención sanitaria. Med Clin (Barc). 2002;118 Supl 3:49-56.

4. Ray WA. Policy and program analysis using administrative databases. Ann Intern Med. 1997;127:712-8.

5. Sackett DL, Wennberg JE. Choosing the best research design for each question. BMJ. 1997;315:1636.

6. Graham DJ, Campen D, Hui R, Spence M, Cheetham C, Levy G, et al. Risk of acute myocardial infarction and sudden cardiac death in patients treated with cyclo-oxygenase 2 selective and non-selective non-steroidal anti-inflammatory drugs: nested case-control study. Lancet. 2005;365:475-81.

7. Juni P, Nartey L, Reichenbach S, Sterchi R, Dieppe PA, Egger M. Risk of cardiovascular events and rofecoxib: cumulative meta-analysis. Lancet. 2004;364:2021-9.

8. Drazen JM. COX-2 inhibitors: a lesson in unexpected problems. N Engl J Med. 2005;352:1131-2.

9. Lenzer J. FDA is incapable of protecting US against another Vioxx. BMJ. 2004;329:1253.

Correspondencia:
Salvador Peiró
Escuela Valencia de Estudios de la Salud.
Juan de Garay, 21. 46017 Valencia. España.
Correo electrónico: peiro_bor@gva.es