Institut de l’appareil locomoteur et de l’arthrite : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Novembre 2016

Messages principaux

Trois grandes préoccupations sont ressorties des commentaires des intervenants de l'Institut de l'appareil locomoteur et de l'arthrite (IALA) des IRSC.

Financement orienté vers certains types de recherche et stades de carrière : Bien que la majorité des participants aient vu du bon dans la base conceptuelle des programmes de subvention Projet et Fondation, ils estimaient que ceux-ci étaient exécutés d'une manière défavorable à certains types de recherche (p. ex. idées novatrices et recherche fondamentale) et stades de carrière (p. ex. chercheurs qui en sont à leur première année et chercheurs en milieu de carrière). Ils craignaient que les IRSC mettent tout ce qu'ils ont dans ces deux programmes. Par conséquent, près de la moitié des répondants s'attendaient à ce que la nouvelle série de programmes n'atteigne pas les objectifs d'accélérer la création de connaissances, de renforcer la capacité du Canada et de soutenir les chercheurs à tous les stades de leur carrière.

Évaluation par les pairs compromise : Plus de 80 % des répondants trouvaient la réforme initiale très problématique. Même si bon nombre d'entre eux reconnaissaient le caractère imparfait du processus d'évaluation par les pairs, ils estimaient que la réforme avait exacerbé les imperfections en générant de l'incertitude et en abolissant des mécanismes (p. ex. évaluations en personne) qui contribuaient à réduire les possibilités de préjugés et d'évaluations de piètre qualité. La plupart des répondants étaient d'avis que les récents changements apportés par les IRSC à l'évaluation par les pairs étaient un pas dans la bonne direction, mais ne réglaient pas tout. Ils auraient aimé une amélioration de la qualité des évaluations et du jumelage expertise-demande. Beaucoup se demandaient à quel point un logiciel pourrait combler ces lacunes. Ils redoutaient qu'il faille plusieurs années pour optimiser le collège des évaluateurs selon le contexte canadien.

Système encourageant les stratégies de concurrence contre-productives : La moitié des répondants avaient peur que la configuration actuelle du programme Fondation comporte trop d'éléments dissuasifs pour les « gros joueurs » et contribue à accroître le volume de demandes présentées au programme Projet. De plus, ils craignaient que l'incertitude et la méfiance à l'égard de l'évaluation par les pairs amènent les chercheurs à présenter de nombreuses demandes. Près du quart (23 %) des répondants ont suggéré d'abaisser la limite du programme Projet pour augmenter le nombre de demandes financées. En outre, beaucoup ont recommandé d'accroître le soutien offert aux stagiaires dans le cadre du programme Fondation.

Démarche d'engagement des intervenants

L'IALA a engagé les intervenants au moyen de groupes de discussion, de courriels et du formulaire Web des IRSC. Un groupe de discussion a eu lieu à l'Université du Manitoba (sept participants) et un autre à l'Université McGill (cinq participants). L'IALA a fait la promotion du formulaire Web auprès des personnes inscrites à son bulletin (n = 1 191), et douze personnes l'ont rempli. Sur les douze chercheurs invités à fournir leurs commentaires par courriel, deux ont répondu à l'appel.

Participants

Vingt-six intervenants – treize hommes et treize femmes – ont donné leur avis. Dix-huit ont indiqué leur thème de recherche principal : recherche biomédicale (treize); recherche clinique (trois); recherche sur les services et les systèmes de santé (un); recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (un). Dix-neuf ont indiqué leur stade de carrière : chercheurs chevronnés (dix); chercheurs en début de carrière (cinq) et chercheurs en milieu de carrière (quatre). Treize ont dit avoir présenté une demande dans le cadre d'un concours Fondation ou Projet, et quatre ont dit avoir obtenu du financement. Enfin, six participants ont agi comme président ou évaluateur dans le cadre des nouveaux programmes (y compris les concours pilotes).

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

Parmi les répondants, 12 % avaient confiance que la réforme répondrait aux objectifs, 19 % croyaient qu'elle y arriverait en partie, 62 %, qu'elle n'y parviendrait pas, et 8 % étaient incertains. Plus de la moitié des répondants aimaient l'idée que les IRSC augmentent la souplesse du financement et la longueur des cycles pour les programmes de recherche, tout en conservant un volet de financement séparé pour certains projets. En revanche, la plupart estimaient que les processus des IRSC n'étaient pas au point et n'aimaient pas l'idée de tout mettre dans ces deux programmes. Les principales préoccupations soulevées sont détaillées ci-dessous.

On compare des pommes avec des poires : Cette préoccupation concerne la diversité des demandes reçues et les critères d'évaluation fournis aux évaluateurs. Si certains évaluateurs participants avaient reçu plus de demandes diversifiées que d'autres, la plupart ont émis des réserves quant aux critères et à leur pondération. En particulier, ils trouvaient que l'attribution d'une cote en fonction des différents portefeuilles, du potentiel de commercialisation, du potentiel d'application et de la promotion de la collaboration interdisciplinaire relevait trop de la conjecture et n'était pas aussi pertinente pour toutes les demandes. La majorité des évaluateurs estimaient que les critères d'évaluation actuels défavorisaient les idées novatrices et la recherche fondamentale.

On encourage les stratégies de concurrence contre-productives : Les participants estimaient que la configuration actuelle du programme Fondation n'était pas attrayante, surtout pour les « gros joueurs », pour qui le programme avait selon eux été conçu. Plus précisément, ils avaient l'impression que les chercheurs hautement compétitifs seraient capables d'aller chercher plus de financement au total avec le programme Projet et étaleraient les subventions pour se créer un filet de sécurité, et ce, sans être liés pendant sept ans. Les participants appréhendaient alors une augmentation importante du volume de demandes présentées au programme Projet. En outre, ils redoutaient que la méfiance généralisée à l'égard de l'évaluation par les pairs exacerbe le problème (p. ex. en incitant les chercheurs à présenter le plus de demandes possible dans l'espoir qu'au moins une soit retenue). Près du quart (23 %) des répondants ont suggéré d'abaisser la limite du programme Projet pour augmenter le nombre de demandes financées. En outre, beaucoup ont recommandé d'accroître le soutien offert aux stagiaires dans le cadre du programme Fondation afin de le rendre plus attrayant.

On défavorise certains stades de carrière : Les répondants s'attendaient à ce que les chercheurs en milieu de carrière aient beaucoup de mal à obtenir du financement dans l'un ou l'autre des programmes. Par ailleurs, si la plupart s'entendaient pour dire que l'ajout d'un quota pour les nouveaux chercheurs dans le programme Fondation avait été bénéfique, ils estimaient néanmoins qu'une différence majeure persisterait dans la compétitivité des nouveaux chercheurs à leur première année et de ceux sur le point de passer au stade de chercheurs en milieu de carrière. Les avis étaient partagés sur la manière de combler les lacunes perçues pour certains stades de carrière.

On compromet l'évaluation par les pairs : Les participants ont manifesté une ferme conviction quant à l'importance des réunions en personne pour réduire la possibilité d'erreurs et de préjugés et améliorer la qualité des évaluations par les pairs. En outre, ils ont indiqué que ces réunions contribuaient à favoriser le réseautage et l'apprentissage. Les personnes qui avaient participé au processus d'évaluation par les pairs à distance l'ont décrit comme étant un échec, notamment en raison des faibles taux de participation et de la piètre qualité des interactions. Les participants considéraient les récents changements apportés à l'évaluation par les pairs comme des améliorations, mais ils ont tout de même soulevé un doute quant à la transition vers les évaluations synchrones à distance. Ils ont recommandé que ces évaluations soient effectuées au moyen d'une communication audio et vidéo.

Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

La plupart des participants ont reconnu que les temps sont difficiles pour réaliser et financer la recherche scientifique, vu le fort volume de demandes, l'important manque de ressources et l'absence de politiques scientifiques au Canada. Ils ont aussi admis que l'évaluation par les pairs est un processus chronophage et imparfait qui fera vraisemblablement toujours l'objet de critiques. Pourtant, à l'exception de la base conceptuelle des programmes Projet et Fondation, les participants ont eu du mal à nommer des changements qu'ils trouvaient particulièrement efficaces ou judicieux pour surmonter les défis auxquels les IRSC doivent faire face. Plus des deux tiers des participants estimaient que la réforme avait semé un grand chaos et créé beaucoup d'incertitude, et près du tiers soupçonnaient que les questions budgétaires étaient au cœur de la prise de décision, surtout en ce qui a trait à l'évaluation par les pairs.

En plus des préoccupations mentionnées à la question 1, les participants étaient d'avis que les changements suivants étaient problématiques : le système de cotation alphanumérique, le manque d'occasions de discuter des demandes de subvention devant un comité élargi, le temps requis pour remplir le CV commun et la mise en place de nouveaux formulaires « dominés par les champs ». Pour mieux évaluer la recherche multidisciplinaire, les participants jugeaient qu'il faudrait peaufiner le jumelage et peut-être même ajouter des évaluations. Ils étaient d'accord avec les récents changements apportés au programme Projet, mais ils estimaient qu'il restait encore beaucoup de travail à faire pour améliorer le jumelage de l'expertise et des demandes tout en limitant le fardeau pour les évaluateurs.

Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

Les participants ont cerné plusieurs défis relatifs à la sélection des demandes de financement (bien que peu aient cité des études ou des organisations en particulier) :

  • trouver et appliquer des mécanismes pour réduire la possibilité de préjugés, d'erreurs et de conflits d'intérêts;
  • gérer les exigences en matière de coût et de temps associées à l'évaluation par les pairs;
  • fournir des critères d'évaluation clairs qui laissent peu de place à la présomption;
  • formuler des commentaires utiles pour les demandes prometteuses refusées au terme d'une première évaluation;
  • équilibrer les efforts pour alléger la charge de travail des évaluateurs en veillant à ce que ces derniers disposent du contexte nécessaire, et ajuster les cotes entre les évaluateurs;
  • équilibrer les efforts pour assurer le meilleur jumelage expertise-demande en veillant à ce que les évaluateurs disposent du contexte approprié, et ajuster les cotes entre les évaluateurs;
  • instaurer un système de triage efficace pour optimiser le recours aux évaluateurs;
  • attirer et constituer un bon bassin d'évaluateurs chevronnés ayant l'expertise nécessaire.

Si les participants étaient incapables de déterminer dans quelle mesure la réforme des IRSC permettait de surmonter tous ces défis, ils avaient néanmoins la profonde conviction que la réforme avait aboli (du moins, initialement) le meilleur mécanisme de réduction des préjugés et des erreurs, soit l'évaluation en personne. Plusieurs étaient également convaincus que les critères d'évaluation demandaient trop que les évaluateurs se livrent à des conjectures, et que les directives fournies à ceux-ci étaient insuffisantes. Toutefois, la plupart étaient conscients que les IRSC étaient encore en train d'élaborer des solutions aux problèmes de jumelage de l'expertise et de gestion de la charge de travail des évaluateurs. Par ailleurs, les répondants ont exprimé à la fois de l'optimisme et de l'appréhension quant au collège des évaluateurs, surtout en ce qui concerne l'ampleur qu'il pourrait prendre, le temps qu'il faudrait pour le rendre optimal et le rôle que pourrait y jouer un logiciel.

Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

Les participants ont eu du mal à répondre à cette question pour les raisons suivantes :

  • Plusieurs changements ont été mis en place simultanément; c'est pourquoi il est difficile de déterminer dans quelle mesure tel ou tel mécanisme est approprié et suffisant.
  • De nombreux participants trouvaient que la réforme manquait de clarté et de transparence.
  • Plusieurs lacunes ont été au moins en partie comblées avec les récents changements apportés au programme Projet.
  • La plupart des participants n'étaient pas certains de comprendre les détails de la vision qu'ont les IRSC du collège des évaluateurs.

Peu de participants ont émis des opinions tranchées sur le collège des évaluateurs. Les commentaires les plus fréquents étaient que sa mise au point serait probablement compliquée et chronophage, que le bassin de chercheurs canadiens n'était peut-être pas assez large pour assurer sa viabilité et que la qualité des directives et des critères d'évaluation serait très déterminante dans son efficacité. Certains répondants redoutaient que les IRSC se retrouvent submergés par une approche trop ambitieuse, compliquée et chronophage et que le bassin de chercheurs canadiens soit insuffisant pour assurer la viabilité du projet.

Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Plusieurs participants n'ont pas répondu à cette question ou ont seulement été capa de nommer des organisations qui, selon eux, ont de meilleures pratiques que les IRSC. Voici quelques-unes des recommandations les plus détaillées :

  • Veiller à ce qu'au moins trois ou quatre experts évaluent chaque demande de subvention et aient l'occasion d'en discuter en personne devant un comité d'experts élargi, ce qui augmenterait les possibilités de dissiper les malentendus, de combler des lacunes en matière d'expertise et d'éliminer les préjugés (p. ex. NIH).
  • Sélectionner des présidents et des agents scientifiques chevronnés, leur fournir des directives claires et faire appel à eux pour le jumelage expertise-demande; mettre l'accent sur la discussion; résoudre les écarts entre les cotes; et assurer la responsabilisation des évaluateurs (p. ex. NIH). Beaucoup de participants trouvaient que les politiques des IRSC manquaient de « mordant » ou que l'organisme n'avait jamais assuré la responsabilisation des évaluateurs au même titre que les NIH. Si de nombreux participants estimaient que l'évaluation à distance asynchrone accentuait le problème de responsabilisation, ils trouvaient que la nécessité d'améliorer la clarté et les politiques était plus importante.
  • Recourir plus judicieusement aux évaluateurs externes ou internationaux. Étant donné la taille du milieu canadien de la recherche, de nombreux participants étaient d'avis que les IRSC devraient recourir à un plus grand nombre d'évaluateurs externes. Un participant a suggéré la mise en place d'un processus du Conseil européen de la recherche, qui consiste à sélectionner jusqu'à cinq évaluateurs externes par demande, mais à publier les rapports externes seulement une fois que les rapports internes ont été présentés. Toutefois, certains participants ont signalé que le recours aux évaluateurs externes pose des défis particuliers au moment d'ajuster les cotes.
  • Limiter le nombre de demandes par évaluateur. La plupart des participants trouvaient raisonnable d'assigner 8 à 12 demandes à chaque évaluateur, mais doutaient que les IRSC soient en mesure de respecter cette limite étant donné le ratio demandes-évaluateurs. On a vu en l'amélioration de l'utilisation du triage une mesure prometteuse pour optimiser le temps des évaluateurs, mais, encore une fois, il s'agit d'une solution qui risque d'être difficile à bien mettre en place. D'autres participants ont proposé de rémunérer les évaluateurs externes et de continuer de se pencher sur la longueur idéale des demandes.
  • Instaurer un processus d'audit international.
  • Envisager la mise en place d'un processus d'attribution régional semblable à celui des NIH (recommandation d'un participant qui trouvait que la réforme avait creusé les écarts régionaux en matière de financement).
Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

Plusieurs participants n'ont pas répondu à cette question, et ceux qui l'ont fait ont surtout parlé des indicateurs utilisables dans l'immédiat : demander aux candidats d'évaluer la qualité des évaluations ou des commentaires reçus, interroger les présidents et les évaluateurs sur leur satisfaction à l'égard du processus, etc. Voici d'autres recommandations à court terme qui ont été formulées : surveiller les écarts entre les cotes des demandes, le nombre de demandes par candidat et la proportion de demandes refusées qui sont améliorées, présentées à nouveau et financées.

Parmi les recommandations qui ne peuvent être évaluées immédiatement relativement aux récents concours, notons « les évaluations bibliométriques de la correspondance entre l'octroi de financement et le nombre de publications et leurs retombées » et « les évaluations systématiques de la correspondance entre l'octroi de financement et le nombre de stagiaires et la qualité de ceux-ci ».

Date de modification :