A Scale for Evaluating the Methodological Quality of Studies Based on Observational Methodology

• Susana Sanduvete-Chaves ^[1] ; Daniel López-Arenas ^[1] ; M. Teresa Anguera ^[2] ; Salvador Chacón-Moscoso ^[3]
  1. [1] Universidad de Sevilla

     Universidad de Sevilla

     Sevilla, España

     
  2. [2] Universitat de Barcelona

     Universitat de Barcelona

     Barcelona, España

     
  3. [3] Universidad Autónoma de Chile

     Universidad Autónoma de Chile

     Temuco, Chile

     

  Mostrar afiliaciones +
• Localización: Psicothema, ISSN-e 1886-144X, ISSN 0214-9915, Vol. 37, Nº. 1, 2025, págs. 1-10
• Idioma: inglés
• Títulos paralelos:
  • Una Escala Para la Evaluación de la Calidad Metodológica de Estudios Basados en Metodología Observacional
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Antecedentes: Hasta donde conocemos, hay escasa evidencia de validez de escalas para medir calidad metodológica de estudios basados en metodología observacional (EBMO). Se presentan evidencias de validez de la Escala de Calidad Metodológica (MQSOM) para EBMO en base a su estructura interna. Método: Se aplicó MQSOM a 650 artículos que emplearon metodología observacional. Se calculó el coeficiente de correlación intraclase (CCI) para la fiabilidad inter e intracodificadores. Se realizó un análisis paralelo mediante implementación óptima para estudiar su dimensionalidad.

    Finalmente, se realizó un análisis factorial exploratorio con media muestra obtenida aleatoriamente, seguido de un análisis factorial confirmatorio con la otra mitad. Resultados: La fiabilidad inter e intra codificador fueron adecuadas (CCI > ,73). El análisis paralelo sugirió multidimensionalidad (UniCo = .41, ECV = .31). Se obtuvo una estructura factorial de segundo orden (factor general: Calidad metodológica) con dos factores de primer orden (F1 Diseño y F2 Medición y análisis), RMSEA = 0.000, NNFI = 1, GFI = .98, AGFI = .97, con adecuados resultados en fiabilidad y discriminación. Conclusiones: MQSOM es un instrumento breve (11 ítems), útil para profesionales de la intervención, investigadores o comisiones de valoración, para diseñar, implementar o evaluar EBMO.

  • English

    Background: To date, no studies have shown validity evidence of a scale that measures the methodological quality of studies based on observational methodology (SBOM). This study presents validity evidence of the Methodological Quality Scale for Studies based on Observational Methodology (MQSOM) based on its internal structure. Method:

    MQSOM was applied to 650 journal articles that used observational methodology. The Intraclass Correlation Coefficient (ICC) was calculated to obtain evidence of inter- and intracoder reliability. Parallel analysis was done using optimal implementation to study the dimensionality of the scale before conducting an exploratory factor analysis with a randomly-selected half of the sample, followed by a confirmatory factor analysis with the remaining half. Results:

    Both inter- and intra-coder reliability were adequate, ICC > .73. Parallel analysis suggested a lack of unidimensionality, UniCo = .41; ECV = .31. A second-order factor structure (general factor: Methodological quality) with two first-order factors (F1 Design, F2 Measurement and Analysis) was obtained, RMSEA = 0.000, NNFI = 1, GFI = .98, AGFI = .97, with adequate reliability and discrimination results. Conclusions: MQSOM is a short (11 items), useful instrument for professionals, researchers or assessment commissions when designing, implementing, or evaluating SBOM.