Resumen de Uses and abuses of statistical significance tests and other statistical resources: a comparative study

Héctor Monterde i Bort, María Dolores Frías Navarro, Juan Pascual i Llobell

• English

  The empirical study we present here deals with a pedagogical issue that has not been thoroughly explored up until now in our field. Previous empirical studies in other sectors have identified the opinions of researchers about this topic, showing that completely unacceptable interpretations have been made of significance tests and other statistical resources. We tried to show the degree to which these errors of interpretation appear in a sample of university professors and researchers. To evaluate the beliefs and opinions of the university professors about certain methodological and statistical questions, we adapted the "Psychometrics Group Instrument" questionnaire by Mittag (1999) and Mittag and Thompson (Educational Researcher 29:14-20, 2000). We specifically wanted to detect opinions about: (1) avoiding inappropriate interpretations, (2) rectifying incorrect uses, (3) creating a debate on possible alternatives, and (4) proposing editorial changes in the publication criteria. In this study, we compare the results we obtained with those obtained by two other equivalent studies (Gordon, Journal of Vocational Educational Research 26:1-18, 2001; Mittag and Thompson, Educational Researcher 29:14-20, 2000). The characteristics of the sample and the scope of the results are described, and a critical reflection is carried out on typical misunderstandings in interpretation that show a worrisome lack of understanding of some basic methodological and statistical concepts.

• français

  L'étude empirique que nous présentons traite d'une question pédagogique qui n'a pas été explorée à fond jusqu'à maintenant dans notre domaine. Études empiriques antérieures dans d'autres secteurs ont identifié les opinions des chercheurs sur ce sujet, montrant que des interprétations tout à fait inacceptables ont été faites de tests de signification et d'autres ressources statistiques. Nous avons essayé de montrer dans quelle mesure ces erreurs d'interprétation apparaissent dans un échantillon de professeurs d'université et des chercheurs. Pour évaluer les croyances et les opinions des professeurs d'université sur certaines questions méthodologiques et statistiques, nous avons adapté la "Psychometrics Group Instrument" questionnaire par Mittag (1999) et Mittag and Thompson (Educational Researcher 29:14-20, 2000). Nous voulions spécifiquement pour détecter les opinions sur: (1) éviter de mauvaises interprétations, (2) rectifier des utilisations incorrectes, (3) la création d'un débat sur les alternatives possibles; et (4) proposer des modifications d'ordre rédactionnel dans les critères de publication. Dans cette étude, nous comparons les résultats que nous avons obtenus avec ceux obtenus par deux autres études équivalentes (Gordon, Journal of Vocational Educational Research 26:1-18, 2001; Mittag and Thompson, Educational Researcher 29:14-20, 2000). Les caractéristiques de l'échantillon et la portée des résultats sont décrites, et une réflexion critique est réalisée sur des malentendus dans l'interprétation typiques qui montrent un manque inquiétant de compréhension de certains concepts de base méthodologique et statistique.