Y a-t-il des recherches/études/enquêtes/… qui ont tenté d'estimer le nombre de résumés d'articles que les chercheurs médicaux lisent lorsqu'ils préparent une revue systématique clinique ?
Même si ce n'est qu'une réponse partielle, elle pourrait aider à “mieux comprendre le processus de création des examens systématiques”, comme le précisent les commentaires.
Une réponse évidente à donner ici est Tous les résumés doivent être lus, une fois que les articles se révèlent “positifs” dans le cadre de la stratégie de (re)recherche de la littérature. Après tout, ils doivent être évalués en vue de leur inclusion ou de leur exclusion.
Si la question initiale est censée demander le nombre moyen d'études effectivement utilisées, c'est-à-dire un nombre important d'articles inclus dans l'examen, la réponse est alors très différente :
De Terri Pigott : Advances in Meta-Analysis, Springer, 2012 :
Une autre question courante est : Combien d'études faut-il pour effectuer une méta-analyse ? Bien que mes collègues et moi-même ayons souvent répondu “deux” Valentine et al. 2010 ), la réponse la plus complète réside dans la compréhension de la puissance des tests statistiques dans la méta-analyse. Dans ce livre, j'adopte l'approche selon laquelle la puissance des tests en méta-analyse, comme la puissance de tout test statistique, doit être calculée a priori, en utilisant des hypothèses sur la taille d'un effet important dans un contexte donné, et les tailles d'échantillons typiques utilisées dans un domaine donné. Là encore, une connaissance approfondie de la littérature de recherche est essentielle pour un analyste afin de pouvoir faire des hypothèses raisonnables sur les paramètres nécessaires à la puissance.
Cela dépend donc de la qualité de l'étude et de la recherche d'un domaine ou d'une question de recherche pour sélectionner les articles examinés. Les sujets très à la mode et sujets de controverse auront des centaines ou des milliers de choix, des intérêts de niche, des lieux non rentables, peut-être seulement quelques-uns. Il est tout à fait possible de demander une statistique pour tous ces domaines de revues systématiques cliniques. Mais l'un des problèmes associés aux méta-analyses est le problème dit des “déchets dans les déchets” : une telle entreprise - qui consiste non seulement à “estimer le nombre de résumés d'articles que les chercheurs médicaux lisent lorsqu'ils préparent une revue systématique clinique”, mais aussi à calculer précisément ce nombre - risque de produire des chiffres dénués de sens, utiles uniquement pour les journalistes ou les hommes politiques.
Un article fournissant justement une telle méta-analyse énumère un tel nombre comme demandé dans la question pour le sous-domaine de la psychologie : 51 (fourchette 5-81). (doi : 10.1080/0027317100368018 Une Méta-méta-analyse : Examen empirique de la puissance statistique, des taux d'erreur de type I, des tailles d'effet et de la sélection de modèles des méta-analyses publiées dans le domaine de la psychologie. ) Mais elle met aussi très bien en évidence les problèmes inhérents à une telle approche :
- Taille des effets et hétérogénéité des méta-analyses
- Choix du modèle : Les modèles à effets fixes ont été utilisés avec une fréquence beaucoup plus élevée que les modèles à effets aléatoires, souvent sans qu'il soit ouvertement indiqué qu'un tel modèle était utilisé. En revanche, les modèles à effets aléatoires ont été utilisés avec une fréquence croissante dans le temps. Les études futures devraient mettre en œuvre plus systématiquement les modèles à effets aléatoires étant donné leur plus grande validité du point de vue de l'inférence.
Enfin, il est important de considérer que l'utilisation de modèles à effets aléatoires réduira la puissance des tests de signification dans la plupart des cas (c'est-à-dire lorsque la variance entre les études est supérieure à zéro).
Plus généralement, nous pourrions nous garder de faire confiance aveuglément aux revues ou aux méta-analyses en général. Actuellement, le domaine de la médecine s'efforce de reconstruire ses connaissances sur une base factuelle, ce qui est bien sûr très bienvenu. Mais en poursuivant cet objectif avec une concentration trop confiante sur les données quantitatives et les modèles mathématiques, un enfant dans la baignoire pourrait se blesser. Nommer, utiliser ou simplement croire à un “étalon-or” quelconque (ou même au platine, selon le cas) serait trop demander à un extrême. C'est ce que l'on peut voir dans le tableau suivant :
Le plus gros problème de cette image est que “le filtre” est assez mal défini et que l'on choisit régulièrement d'inclure des études ayant une puissance statistique plus élevée ou une plus grande signification. Bien que cela semble logique au premier abord, cela viole des principes philosophiques, par principe, comme le Principe de Carnap de Total Evidence “. Ce raisonnement mécaniste introduit donc son propre ensemble de biais systématiques.
Pour répondre à plusieurs de ces dangers, pièges et lacunes connus, la déclaration PRISMA est une initiative visant au moins à standardiser les approches et à documenter de manière transparente la procédure choisie pour ces types d'analyses.
D'autres problèmes épistémologiques sont condensés dans Stegenga : "Is meta-analysis the platinum standard of evidence ?” (2011) :
[…] les méta-analyses ne parviennent pas à limiter de manière adéquate les évaluations intersubjectives des hypothèses. En effet, les nombreuses décisions qui doivent être prises lors de la conception et de la réalisation d'une méta-analyse exigent un jugement et une expertise personnels, et permettent aux préjugés et aux particularités des examinateurs d'influencer le résultat de la méta-analyse. L'échec de la L'objectivité explique au moins en partie l'échec de la contrainte : c'est-à-dire que la subjectivité requise pour la méta-analyse explique comment plusieurs méta-analyses de la même preuve primaire peuvent aboutir à des conclusions contradictoires concernant la même hypothèse. […] Cependant, mon analyse des nombreuses décisions particulières qui doivent être prises lors d'une méta-analyse suggère que de telles améliorations ne peuvent pas aller plus loin.
Pour au moins certaines de ces décisions, le choix entre les options disponibles est entièrement arbitraire ; les diverses propositions visant à améliorer la transparence des rapports des méta-analyses ne peuvent, en principe, arbitrer entre ces choix arbitraires. Plus généralement, cette réplique des défenseurs de la méta-analyse - à savoir que nous ne devons pas complètement écarter la technique - confirme la force de la conclusion que j'ai défendue, à savoir que la méta-analyse n'est pas une mauvaise méthode d'amalgame des preuves, mais plutôt que la méta-analyse ne doit pas être considérée comme le meilleur type de preuve pour évaluer les hypothèses causales en médecine et en sciences sociales. Je n'ai pas fait valoir que la méta-analyse ne peut pas fournir de preuves convaincantes, mais plutôt, contrairement à l'opinion courante, j'ai fait valoir que la méta-analyse n'est pas le standard de preuve platine.
