Institut de la nutrition, du métabolisme et du diabète : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Le 21 novembre 2016

Messages principaux

  1. Les participants ont généralement répondu sur un ton de mécontentement, d'incrédulité et de colère. Certains semblaient dire que la réforme de l'évaluation par les pairs, qui partait de bonnes intentions, avait été condamnée à l'échec par le manque de financement, la mise en œuvre défaillante et le manque de transparence.
  2. Certains répondants craignaient que le nouveau système désavantage les chercheurs, en particulier ceux en milieu de carrière.
  3. Les répondants ont offert plusieurs suggestions pour améliorer le processus d'évaluation par les pairs, comme s'inspirer des pratiques des autres pays. Ils ont cité les National Institutes of Health et la Fondation de la recherche sur le diabète juvénile comme des exemples à suivre.

Démarche d'engagement des intervenants

L'Institut de la nutrition, du métabolisme et du diabète (INMD) a utilisé le sondage en ligne élaboré par la Direction du rendement et de la responsabilisation des Instituts de recherche en santé du Canada (IRSC) qui a été publié sur le site Web des IRSC. Un message personnalisé du directeur scientifique a été envoyé aux anciens membres du conseil consultatif de l'INMD pour leur demander de remplir le sondage. Un courriel de rappel a été envoyé aux personnes invitées à participer. De plus, des messages personnalisés du directeur scientifique ont été envoyés aux principaux intervenants de l'INMD – surtout des organismes de bienfaisance en santé liés au mandat de l'INMD et des associations professionnelles – pour solliciter leur participation. Ces partenaires ont abordé la tâche de différentes manières. L'un d'eux a mené son propre sondage auprès des membres (principalement des chercheurs) et a présenté directement à l'INMD un résumé des 57 réponses reçues, tandis que les autres lui ont transmis chacune des réponses.

Participants

Un total de 13 personnes ont répondu au sondage (11 du Canada, 1 de l'Europe et 1 qui n'a pas fourni ses données démographiques. Notons toutefois que l'une d'elles représentait 49 répondants de la communauté du rein, un champ de recherche qui s'inscrit dans le mandat de l'INMD. Ce groupe de répondants était composé de 47 % de femmes et de 53 % d'hommes. Le groupe de répondants individuels comptait quant à lui 23 % de femmes et 62 % d'hommes (deux ont refusé d'indiquer leur sexe). Les répondants de la communauté du rein représentaient les thèmes suivants : recherche biomédicale (45 %), recherche clinique (29 %), recherche sur les services et les systèmes de santé (19 %) et recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (7 %). Chez les répondants individuels, les thèmes se répartissaient comme suit : recherche biomédicale (54 %), recherche clinique (15 %), recherche sur les services et les systèmes de santé (7 %), recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (15 %). Deux de ces répondants n'ont pas précisé leur thème de recherche. La distribution des stades de carrière allait comme suit (à noter que, partout dans le document, les pourcentages des répondants de la communauté du rein sont indiqués en premier) : nouveaux chercheurs (16 %; 8 %), chercheurs en milieu de carrière (50 %; 23 %) et chercheurs chevronnés (34 %; 54 %). Deux répondants n'ont pas indiqué leur stade de carrière. Parmi les répondants individuels, 69 % (n = 9) ont dit avoir présenté une demande au concours de subvention 2014-2015; trois ont obtenu du financement et deux ont refusé de répondre. Un répondant a indiqué avoir agi comme président virtuel, et dix (la plupart), ne pas avoir joué ce rôle. Un a dit qu'il préférait ne pas répondre, et un n'a pas répondu.

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

Les participants avaient différentes perceptions des objectifs initiaux des IRSC. Ils considéraient que les IRSC avaient entrepris : 1) de réduire la fatigue des évaluateurs; 2) d'accroître l'expertise des évaluateurs; et 3) de « soutenir des chercheurs de calibre mondial ». En général, les répondants estimaient que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC ne répondait pas aux objectifs initiaux (60 %; 70 %) – même ceux qui avaient initialement appuyé la réforme. Plus précisément, certains étaient tout à fait d'accord pour dire que les IRSC avaient répondu aux objectifs (33 %; 15 %), d'autres jugeaient « que la réforme était un vrai désastre et que l'évaluation par les pairs avait été ruinée », et quelques-uns étaient incertains (7 %; 15 %). Parmi ceux qui s'étaient montrés positifs, la plupart avaient simplement répondu « oui » sans approfondir. Une personne – l'exception qui confirme la règle – a répondu ceci : « J'ai eu la chance de recevoir une subvention Projet alors que je suis en début de carrière. Beaucoup de mes évaluations par les pairs – mais pas toutes – ont été utiles à l'examen de ma demande. Je suis d'accord avec la décision de modifier les critères de sorte qu'une personne puisse recevoir à la fois une subvention Fondation et une subvention Projet. » En revanche, une autre a répondu : « Dans la mesure où l'objectif de la réforme était de miner systématiquement la confiance du milieu de la recherche à l'égard des IRSC et de chambouler les carrières des chercheurs, alors oui, ils ont fait un bon travail. »

Les participants ont relevé diverses lacunes ayant empêché les IRSC d'atteindre leurs objectifs, notamment : 1) un manque de ressources; 2) une mise en œuvre défaillante; et 3) un manque de transparence. Plusieurs ont répondu qu'il y avait « trop de chercheurs pour le peu de financement offert ». Sentiment généralisé : « de nombreuses demandes de grande qualité sont refusées en raison des taux de réussite trop faibles », un problème qui aurait persisté même si les IRSC avaient réussi à atteindre tous les objectifs énoncés. Certains répondants estimaient que le manque de ressources pouvait s'avérer un obstacle insurmontable, et un répondant craignait que « le Canada [ait] perdu son avantage concurrentiel mondial en recherche médicale fondamentale en raison du manque de financement de la recherche libre ». Par ailleurs, même les répondants qui croyaient que les objectifs avaient été atteints avaient l'impression que le gros problème n'était pas la réforme en soi, mais sa mise en œuvre. Cela dit, les répondants ont indiqué que le manque de transparence faisait en sorte qu'il était difficile d'évaluer pleinement si les objectifs avaient été atteints ou non : « À moins que les IRSC daignent publier les résultats de ce projet pilote pour que le milieu puisse en évaluer la réussite, il est difficile de conclure autre chose qu'à l'échec retentissant de cette expérience. »

On ne s'étonnera donc pas du sentiment de colère qui anime les chercheurs ni du « vent de sarcasme qui souffle de plus en plus fort dans le milieu ». Certains répondants ont dit craindre que les politiques des IRSC soient discriminatoires, en particulier pour les chercheurs en milieu de carrière : « Il est clair que les stades de carrières ne sont pas tous traités sur un pied d'égalité dans le cadre des nouveaux programmes. Ce sont les chercheurs chevronnés, hommes, qui ont obtenu le plus de succès. Les chercheurs en début et en milieu de carrière sont désavantagés, et les femmes le sont particulièrement dans le cadre du programme Fondation. » D'autres avaient peur que les IRSC financent des recherches de mauvaise qualité ou peu innovatrices : « Je crois que le programme de subventions Fondation accordera plus de financement aux chercheurs établis axés sur la recherche clinique et ne reconnaîtra pas l'énergie et l'innovation des petits laboratoires et groupes de recherche. »

Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

Les réponses à cette question penchaient beaucoup plus vers le « non ». En effet, 79 % des réponses de la communauté du rein et 92 % de celles de l'INMD étaient négatives. Les répondants avaient systématiquement l'impression que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs ne permettaient pas de surmonter les multiples défis auxquels font face les IRSC. En fait, peu de répondants trouvaient que ces changements avaient aidé : « L'architecture a (potentiellement) favorisé le recours à des évaluateurs plus diversifiés. Ils ont aussi contribué à un meilleur jumelage évaluateur-demande. Les évaluateurs peuvent œuvrer d'un comité à l'autre – ou la notion de ‘‘comité' est beaucoup plus souple. » La plupart des répondants ont toutefois qualifié le système d'arbitraire, d'inégal et d'axé sur le court terme, et estimaient que les IRSC avaient fait exactement le contraire de leurs objectifs : ils ont réduit l'accessibilité et augmenté la complexité. Par conséquent, ils ont alourdi le fardeau pour les candidats : « L'accessibilité du programme a diminué pour la plupart des chercheurs (sauf les quelques candidats retenus au concours Fondation), et la complexité s'est accrue en raison du système d'évaluation et du processus de demande lamentables. Pour la plupart des candidats, le défi est plus grand qu'auparavant. »

Chez les participants ayant répondu par la négative, les raisons citées portaient sur la « désorganisation » du système actuel, le manque de responsabilisation associée à l'évaluation en ligne et l'impression que la nouvelle formule favorisait le marketing au détriment de la science. Ils trouvaient que les changements apportés à l'architecture des programmes des IRSC avaient créé un système où les demandes étaient évaluées par des personnes n'ayant pas l'expertise appropriée. Par conséquent, les candidats se voyaient remettre des évaluations incohérentes. Par ailleurs, les répondants ont laissé entendre que l'espace limité accordé aux commentaires et le manque d'interactions en personne chez les évaluateurs avaient envenimé les choses : « Au bout du compte, bon nombre d'entre nous participent aux évaluations par les pairs pour 1) aider nos collègues à perfectionner leur science; 2) découvrir des sciences nouvelles et différentes dans nos domaines et dans des domaines connexes; et 3) siéger à des comités, rencontrer des pairs et discuter de science. Cependant, le nouveau système ne donne aucun de ces avantages aux évaluateurs. En effet, comme les commentaires doivent maintenant se limiter à un certain nombre de caractères pour entrer dans les boîtes, les demandes sont tellement peu détaillées qu'elles sont devenues monotones et ennuyantes. Nous sommes donc contraints à un tête-à-tête avec nos écrans pour effectuer des évaluations en ligne asynchrones. De plus, les IRSC n'ont pas pensé qu'il pourrait être PLUS long de s'installer à l'ordinateur et de taper pendant des jours et des jours pour discuter en ligne d'une demande que d'en discuter en personne. »

Les quelques réponses positives à cette question étaient nuancées, par exemple : « peut-être, mais il est trop tôt pour le dire », ou « oui, quand même ». Certains répondants ont indiqué que les IRSC n'étaient pas entièrement à blâmer, c'est-à-dire que le financement limité pouvait être un obstacle insurmontable. Avec le nombre croissant de candidats et la diminution des ressources, les répondants avaient l'impression que les IRSC étaient réticents à financer des demandes innovatrices ou « risquées », ce qui, à leur avis, aurait des répercussions importantes sur la nature évolutive de la science : « Étant donné le manque de financement pour les recherches nouvelles et innovatrices dont les données préliminaires sont limitées ou absentes, je ne vois pas comment on peut mener des recherches interdisciplinaires au Canada. » Par conséquent, les répondants craignaient que la collaboration devienne impossible et que les chercheurs de talent commencent à bouder les IRSC pour aller chercher du financement ailleurs.

Les participants ont laissé entendre qu'il fallait faire appel à un plus grand nombre d'évaluateurs internationaux et offrir des incitatifs intéressants pour retenir des évaluateurs experts qualifiés. D'autres étaient d'avis qu'il fallait annuler certains changements : « Les comités en personne constituent l'étalon de référence pour l'évaluation par les pairs. Les IRSC tenter de revenir à ce système, dans le cadre duquel toutes les demandes sont examinées en profondeur, puis triées et retranchées pendant la réunion du comité. Ce processus donne la chance aux évaluateurs de discuter de toute divergence et d'arriver à un consensus. »

Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

Un répondant a reconnu que l'évaluation par les pairs n'est « jamais exempte de préjugés, comme il s'agit d'un processus mené par des humains » et que tous les organismes subventionnaires doivent s'adapter à ce défi. Il a également indiqué qu'il trouvait que « les IRSC [avaient] utilisé les pires éléments des processus des autres organismes subventionnaires ». Les thèmes touchant d'autres questions du sondage s'appliquaient également à la sélection des demandes. Plus précisément, les participants ont dit avoir l'impression que la recherche biomédicale était de moins en moins financée, que les IRSC étaient frileux, qu'il y avait trop d'approches différentes pour évaluer les demandes et qu'il était nécessaire d'évaluer en continu et avec rigueur les évaluations et le processus d'évaluation. Ils trouvaient notamment que « la fatigue des évaluateurs et le manque de correspondance entre les cotes et les retombées des recherches », « les injustices dans les décisions relatives au financement » et « le manque de transparence et de responsabilisation » demeuraient des défis importants. Par ailleurs, les répondants ont continué de critiquer l'abolition des réunions en personne, et un répondant a aussi mentionné d'autres défis : « Il n'y a pas assez d'évaluateurs dans le système ou pour chaque demande, les évaluateurs n'ont pas la latitude nécessaire pour être clairs et utiles et la responsabilisation n'est pas assez renforcée. » Le mécontentement a continué de se faire sentir dans les réponses : « Les personnes clés qui supervisent la sélection des demandes aux IRSC devraient être exclues du processus à tout jamais. »

Les participants ont proposé plusieurs mesures pour surmonter ces problèmes et défis. Par exemple : « Le fait d'exclure d'un comité les personnes ayant présenté une demande à un concours est un début pour régler la question (préjugés)… Poursuivre le processus consistant à interdire aux présidents ou aux vice-présidents de coter une demande peut aussi aider. » Les réunions en personne devraient être rétablies : « Les discussions sur les demandes sont essentielles et, à mon avis (pas un participant), les discussions en ligne étaient inappropriées. Je ne crois pas qu'il soit nécessaire qu'elles se déroulent en personne (comme évaluateur, je trouve en fait les déplacements contraignants), mais je crois qu'elles doivent se faire en TEMPS RÉEL par téléconférence ou WebEx. Je suis d'accord pour procéder à un autre triage (pas une discussion approfondie) à ce stade, mais il faut d'abord faire en sorte que les demandes ayant fait l'objet d'un consensus clair au triage ne passent pas à l'étape suivante. »

Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

Un peu comme pour la question 2, la majorité des répondants (80 %; 77 %) estimaient que les mécanismes établis par les IRSC n'étaient pas appropriés et suffisants. Ils s'entendaient généralement pour dire que le retrait des comités d'évaluation propres à chaque thème avait entraîné la diminution de l'expertise nécessaire pour fournir des évaluations fiables. De plus, l'abolition des réunions en personne a eu pour conséquence de réduire la responsabilisation, et les évaluateurs se sont plaints qu'on leur demandait d'évaluer des demandes pour lesquelles ils n'avaient pas les connaissances de fond. « Aux IRSC, l'évaluation par les pairs est dans un sale état. Le collège des évaluateurs n'existe pas. Ils ont perdu toute leur expertise en matière d'évaluation par les pairs. » Un répondant a semblé décrire le cœur du problème : « La responsabilisation des évaluateurs et le processus d'évaluation, ça vous dit quelque chose? Commencez par là. Essayez de fournir des évaluations d'experts plutôt que d'envoyer des demandes à des évaluateurs non qualifiés. La confidentialité du processus des IRSC pour jumeler les demandes aux évaluateurs est un scandale. Que fait-on de la responsabilisation pour assurer la rigueur scientifique? » D'autres ont abondé dans le même sens, décrivant la réforme des IRSC comme étant « lamentable » et comme étant « un ramassis hétéroclite d'inepties » qui a « nui à la communauté scientifique ». Une fois de plus, l'abolition des réunions en personne a été pointée du doigt. Les répondants ont indiqué que leur absence avait réduit la possibilité pour les évaluateurs nouveaux et inexpérimentés d'obtenir du mentorat et de développer les compétences et l'expertise nécessaires pour fournir des évaluations rigoureuses.

Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Voici quelques réponses : tenir des réunions en personne, veiller à ce que de vrais experts du domaine évaluent les demandes, clarifier les critères d'évaluation et peut-être anonymiser le processus d'évaluation en utilisant des codes sur le CV et la demande. Plus précisément, les répondants ont cité les National Institutes of Health et la Fondation de la recherche sur le diabète juvénile comme exemples à suivre pour leurs programmes d'évaluation par les pairs. Ils ont en outre suggéré de revenir aux réunions en personne obligatoires pour le triage et l'évaluation des demandes, de recourir à des pairs évaluateurs qui sont également des « membres actifs du milieu de recherche (c.-à-d. qui ont des subventions actives) » et de miser sur l'expertise non seulement d'évaluateurs experts internationaux, mais aussi de patients et de non-spécialistes « pour déterminer les projets de recherche qui sont vraiment importants pour les patients ».

Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

« Si tout le milieu de la recherche est déçu d'un système, c'est qu'il y bonnes chances qu'il se soit avéré un [échec]. » Cette affirmation semble bien refléter l'avis de l'ensemble des répondants. « En 2016, les IRSC ont établi le nadir mondial de l'évaluation par les pairs. Je ne peux pas voir comment ça pourrait être pire… mais on ne sait jamais. Le degré d'insatisfaction sans précédent parle de lui-même. Les scientifiques ont l'habitude de voir leurs demandes refusées. En fait, généralement, ça ne dérange pas la plupart d'entre nous, une fois la pilule avalée. Ce qui nous dérange, c'est la désorganisation. » Les répondants ont indiqué que les méthodes suivantes seraient efficaces pour évaluer la qualité et l'efficacité du système d'évaluation par les pairs : recueillir les commentaires de chefs de file internationaux dans le cadre des comités d'évaluation; assurer la surveillance continue des réussites des titulaires de subvention (résultats scientifiques); définir des jalons dans les subventions; évaluer la recherche et les chercheurs au moyen de méthodes normalisées pour mesurer les retombées de la recherche; faire évaluer un sous-ensemble de demandes par au moins deux comités; concevoir parallèlement les directives remises aux évaluateurs et les formulaires de demande; et insister pour que les membres du comité (de même que les présidents et les agents scientifiques) évaluent explicitement le rendement de tous les autres membres. Les répondants ont indiqué qu'à l'avenir, il serait important « d'examiner les questions de préjugés en vérifiant qui reçoit du financement et qui fait partie des comités d'évaluation ». Un répondant a recommandé que les IRSC « portent une attention particulière aux nombreux paradigmes bien établis en matière d'évaluation scientifique par les pairs, surtout dans les pays affichant un taux significatif de production de lauréats du prix Nobel et d'autres innovateurs en sciences de la santé ».

Question 7 : En juillet, les IRSC ont publié un rapport décrivant les mesures qu'ils prendront pour corriger certaines des lacunes soulevées par le milieu. Que pensez-vous de cette initiative?

Les membres de la communauté du rein ont presque unanimement répondu que c'était un tout petit pas dans la bonne direction.

Préparé par Kori A. LaDonna, Ph.D.

Date de modification :