Institut du cancer : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Novembre 2016

Messages principaux

Plusieurs thèmes communs ont émergé des réponses des représentants de l'Institut du cancer (IC) sur les six questions posées. De façon générale, les répondants ont manifesté peu d'appui à l'égard des changements apportés par les IRSC, en particulier ceux touchant le processus d'évaluation par les pairs. La raison d'être, la planification et la mise en œuvre de la réforme ont été mal comprises et mal accueillies par les répondants, qui souhaiteraient participer davantage et voir plus de transparence à l'avenir.

Les points principaux qui sont ressortis de l'analyse des réponses des intervenants sont les suivants :

  1. Les participants ont unanimement appuyé le processus d'évaluation par les pairs en personne, affirmant qu'il favorise la responsabilisation des évaluateurs et la qualité des évaluations.
  2. Le programme de subventions Fondation, dans sa mouture actuelle, et la baisse du financement accordé dans le cadre du programme Projet désavantagent les chercheurs en début et en milieu de carrière.
  3. L'accent mis sur l'application clinique défavorise les candidats menant des travaux de recherche fondamentale ou de recherche axée sur la découverte.
  4. Les IRSC doivent être transparents envers les scientifiques quant à la justification des changements et à l'obtention de leurs commentaires dans les processus décisionnels.

Démarche d'engagement des intervenants

L'IC a recueilli les commentaires des intervenants au moyen du formulaire en ligne du comité d'experts sur l'évaluation par les pairs des IRSC. Des courriels leur avaient été envoyés pour les inviter à le remplir. Nous leur avons également fourni des renseignements généraux sur l'évaluation, de même que des liens vers les pages de la réforme. Un groupe de chercheurs d'un établissement et des intervenants ont aussi envoyé des réponses complètes directement au directeur scientifique (DS). Enfin, des commentaires sur les six questions ont aussi été envoyés par courriel directement au DS.

Participants

Environ 80 nouveaux chercheurs et 25 anciens membres du conseil consultatif et intervenants clés de l'Institut ont reçu un courriel personnalisé sollicitant leur participation à l'évaluation du comité d'experts sur l'évaluation par les pairs. Le formulaire en ligne a été rempli 14 fois, et certains ont envoyé leurs réponses directement au DS. Les participants comprenaient des chercheurs de tous les stades de carrière. Tous les répondants au formulaire ont dit faire de la recherche biomédicale (thème I). La majorité des personnes ayant précisé leur sexe étaient des hommes (10 hommes et 3 femmes). Tous les répondants avaient déjà été candidats à l'un ou à l'autre des programmes (Fondation ou Projet). Parmi les onze chercheurs ayant indiqué leur statut de financement aux concours Fondation de 2014-2015 et 2015-2016 et Projet de 2015, trois ont dit avoir été financés. Seulement un répondant a indiqué avoir joué le rôle d'évaluateur à l'un de ces concours.

Les personnes ayant envoyé directement leurs réponses au DS n'ont pas fourni leurs données démographiques, contrairement à ceux qui ont rempli le formulaire en ligne.

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

De façon générale, les répondants estimaient que la réforme ne répondait pas vraiment aux objectifs initiaux. Ils avaient également du mal à comprendre la raison d'être de ces changements, surtout lorsque les renseignements sur le site Web des IRSC étaient incomplets ou difficiles à trouver. En fait, ils n'appuyaient ni la réforme ni sa mise en œuvre. Les réponses à cette question ont mis en évidence les désavantages potentiels pour certains chercheurs, les problèmes relatifs au processus d'évaluation par les pairs, le manque de transparence sur le processus de réforme et les difficultés associées à la mise en œuvre.

Programmes de subventions Fondation et Projet

Certains répondants ont indiqué que les nouveaux chercheurs et les chercheurs en milieu de carrière étaient désavantagés en raison de la grande proportion du financement allouée au programme Fondation, qui favorise les chercheurs chevronnés. Ils avaient l'impression que cette répartition des fonds réduit la diversité, limite le développement des nouveaux laboratoires et complique de plus en plus le maintien des programmes de recherche. Il importe de mentionner que d'autres répondants n'étaient pas favorables à l'idée d'ouvrir le programme Fondation aux nouveaux chercheurs et aux chercheurs en milieu de carrière, étant donné qu'on s'écarterait ainsi de l'objectif initial de soutenir les chercheurs chevronnés ayant des programmes de recherche établis et hautement productifs (pour leur éviter de devoir constamment présenter des demandes de subvention). De plus, l'ouverture du financement à tous les chercheurs, peu importe leur stade de carrière, signifierait qu'on inclurait ceux n'ayant pas de programme de recherche achevé. Ce faisant, on les encouragerait à mettre tous leurs œufs dans le même panier, limitant ainsi leur capacité à diversifier leurs activités et à explorer d'autres avenues de recherche. La probabilité que leur subvention soit renouvelée s'en trouverait alors réduite, leur programme soutenant difficilement la comparaison avec celui de chercheurs plus expérimentés.

Évaluation par les pairs

Les répondants étaient aussi mécontents du processus d'évaluation. Ils trouvaient l'évaluation virtuelle inefficace pour une multitude de raisons : diversité et stades de carrière ignorés, bassin d'évaluateurs admissibles réduit, expertise des évaluateurs inappropriée pour les demandes qui leur étaient assignées, responsabilisation des évaluateurs et intégrité du processus d'évaluation diminuées, absence d'effet positif sur la fatigue des évaluateurs ou des candidats, etc. Les participants ont en outre souligné que le nouveau processus d'évaluation favorisait les hommes et les chercheurs chevronnés, et ils ont mal accueilli l'algorithme utilisé pour sélectionner les évaluateurs. D'autres commentaires sur le processus d'évaluation sont présentés ci-après. Par ailleurs, un participant a mentionné que la méthode de classement par ordre de rang fonctionnait mal sans une efficacité statistique adéquate. D'autres ont fait état du manque de soutien des IRSC à la recherche fondamentale.

Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

Programmes de subventions Fondation et Projet

La majorité des répondants estimaient que les changements n'aidaient pas à surmonter les défis susmentionnés. Il a été souligné que les IRSC finançaient moins de chercheurs principaux maintenant qu'ils le faisaient avant 2014, et que les changements se sont répercutés sur tous les thèmes. Par ailleurs, les participants jugeaient que le passage au programme Fondation avait été coûteux pour le système. L'un d'entre eux a recommandé qu'on fixe un nombre limité de boursiers Fondation et qu'on alloue suffisamment de fonds pour renouveler toutes leurs subventions en fonction de leur productivité. Cette mesure permettrait d'augmenter le financement accordé au programme Projet (ce qui serait avantageux pour les chercheurs principaux en début ou en milieu de carrière).

Le programme Projet était généralement vu comme un bon moyen de financer la recherche. Certains aspects logistiques ont aussi rencontré un écho favorable, notamment la limite de deux demandes de subvention par cycle, la limite de 10 pages et les changements visant à simplifier le budget. Toutefois, des préoccupations ont été soulevées concernant la restriction du nombre de caractères autorisés pour justifier le budget, ainsi que la qualification et l'expertise du personnel.

Évaluation par les pairs

Les changements apportés au processus d'évaluation n'ont pas été bien accueillis non plus, en raison de l'abolition des discussions, qui avaient habituellement lieu dans le cadre des comités en personne, et des résultats discriminatoires découlant du manque d'expertise dans les domaines évalués. On estimait que le secteur de la recherche interdisciplinaire était fortement désavantagé. Selon les participants, les comités pouvaient auparavant discuter du mérite des différents éléments d'une demande pour arriver à un consensus équilibré, or maintenant, les évaluations sont superficielles vu le manque d'évaluateurs experts et les directives axées sur la justification du classement et laissant peu de place à la rédaction de commentaires utiles. De plus, certains ont mentionné qu'il existait des écarts importants dans les cotes et que peu d'efforts étaient mis pour expliquer ces écarts. On a aussi dit qu'un seul évaluateur pourrait suffire pour placer une demande dans la pile des demandes refusées. Par ailleurs, l'absence d'évaluation en personne nuisait tant au professionnalisme qu'à la responsabilisation des évaluateurs. Les répondants n'étaient en outre pas d'accord avec l'utilisation d'un algorithme informatisé pour sélectionner les évaluateurs étant donné le mauvais jumelage de l'expertise et des demandes.

Quant au processus d'évaluation, des préoccupations particulières ont été soulevées pour les candidats en recherche biomédicale fondamentale et en recherche axée sur la découverte. On a affirmé que ceux-ci étaient désavantagés et non soutenus par les évaluateurs en raison de l'absence de cheminement clinique clair et d'application immédiate des connaissances issues des projets proposés. Or, les répondants estimaient qu'il était important d'acquérir de nouvelles connaissances pour avoir une base critique.

Par ailleurs, les répondants ont critiqué la SRAP, qu'ils jugeaient surtout utile pour les politiques de santé. Ils ont aussi suggéré que la SRAP ne soit pas financée à partir des budgets des organismes subventionnaires.

De plus, un commentaire général a été émis sur les trop nombreux changements simultanés (mécanismes de financement, processus de demande, évaluation par les pairs). Une approche progressive aurait été préférable.

Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

Il a été souligné que la justification de la réforme n'était pas transparente et ne semblait pas appuyée par des données indépendantes ou internationales. On s'est également dit inquiet de la variabilité des évaluations, de la diminution de la prévisibilité, de la baisse des taux de réussite, de la division de la recherche en créneaux, de l'augmentation des demandes et des écarts dans les concours, de l'aversion au risque des évaluateurs et des évaluations prudentes, ainsi que de l'anonymat et du manque de responsabilisation personnelle des évaluateurs.

En outre, il a été mentionné que d'autres organismes avaient utilisé une approche plus progressive pour mettre en place des améliorations (changements relatifs à la cotation en ligne, ensuite réunions en personne). Les répondants ont aussi mis l'accent sur le fait que les évaluations en personne étaient considérées par les organismes internationaux de financement comme étant la meilleure façon de mener des évaluations, étant donné qu'elles favorisent la responsabilisation des évaluateurs. D'autres pratiques efficaces ont été soulignées : comité d'examen nommé pour une durée déterminée constitué d'experts du domaine, président de comité solide pour assurer l'impartialité et l'intégrité de l'évaluation, etc.

D'autres recommandations fondées sur les pratiques d'autres organismes ont été fournies : augmenter le nombre d'évaluateurs, veiller à ce qu'ils aient l'expertise appropriée et assurer leur responsabilisation (p. ex. système de comités). On a cité en exemple l'Australie, où les candidats ont la possibilité de répondre aux évaluations avant que la cote définitive ne leur soit attribuée.

Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

En général, les répondants étaient en désaccord avec les mécanismes établis par les IRSC pour assurer la qualité de l'évaluation par les pairs. Ils ont mentionné que plus d'un millier de chercheurs canadiens en santé avaient d'ailleurs signé une lettre pour exprimer leur insatisfaction à l'égard de la qualité du processus depuis la réforme. Ils estimaient que de nombreux éléments devaient être améliorés. En outre, ils considéraient que l'évaluation de la pertinence devait être un aspect essentiel de l'ensemble du processus d'évaluation par les pairs, pas seulement pour les possibilités de financement et les candidats principaux. On a par ailleurs manifesté de l'intérêt pour la mise en place de mécanismes visant à assurer la qualité des évaluateurs (p. ex. jumeler les nouveaux évaluateurs aux évaluateurs chevronnés), et on a suggéré que le triage préliminaire soit effectué uniquement par des experts afin d'éviter que des demandes de qualité soient rejetées à cette étape initiale. On a aussi évoqué la nécessité d'instaurer des mécanismes de responsabilisation pour garantir que les évaluateurs terminent leurs évaluations à temps, qu'elles soient de qualité, que les écarts entre les cotes attribuées à une même demande soient comblés et qu'un processus de consensus soit utilisé. Les répondants ont indiqué que les écarts étaient particulièrement problématiques avec le processus d'évaluation en ligne. Un chercheur s'est dit particulièrement inquiet de cette situation, mentionnant que les cotes des membres d'un comité étaient utiles pour prédire l'issue d'un projet de recherche, mais qu'avec les écarts observés, il était plutôt difficile de savoir quels projets connaîtraient du succès.

Les répondants avaient l'impression que le processus de demande était vraiment désorganisé en raison des changements fréquents et trouvaient inefficace l'utilisation de mécanismes visant à rationaliser le processus d'évaluation (p. ex. jumelage informatisé). Ils ont également traité du nouveau modèle de demande du programme Projet, qu'ils jugeaient complexe et qui pouvait selon eux expliquer en partie pourquoi les évaluations n'avaient pas été menées efficacement.

Enfin, on a suggéré d'adopter le modèle du CRSNG pour composer avec le fort volume de demandes, et on a appuyé l'idée d'un collège des évaluateurs pour favoriser la stabilité.

Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Le processus d'évaluation par les pairs le plus souvent cité comme exemple à suivre a été celui des NIH. Par ailleurs, les répondants ont insisté pour un retour aux évaluations en personne, considérées comme l'étalon de référence en matière d'évaluation. Ils ont d'ailleurs mentionné qu'elles étaient un élément clé de la qualité des évaluations dans d'autres organismes. Ils estimaient que les évaluations en personne augmentaient le degré de professionnalisme et faisaient en sorte que les évaluateurs étaient généralement mieux préparés, sachant qu'ils devraient peut-être expliquer leurs cotes. Les participants ont également souligné l'importance de vérifier l'expertise des évaluateurs et des personnes participant à l'un ou l'autre des aspects du processus d'évaluation aux IRSC. L'un d'entre eux a suggéré de faire appel à des scientifiques pour sélectionner les évaluateurs et de mettre sur pied des comités d'attribution distincts composés non seulement du président et de l'agent scientifique, mais aussi d'autres personnes. Les répondants ont indiqué que s'il s'avérait impossible de réunir tous les membres du comité en personne, il pourrait alors être acceptable de tenir une réunion exclusivement en ligne ou une réunion en ligne et en personne.

Avant de mettre en place le processus d'un autre organisme, les IRSC ont été avisés qu'ils devraient en informer le milieu canadien de la recherche et adapter les changements à ce dernier. L'approche axée sur le milieu pourrait se traduire notamment par la sélection de présidents comptant au moins cinq années d'expérience. Par ailleurs, la décision de financer un chercheur ne devrait pas reposer uniquement sur les publications et le facteur d'impact, mais aussi sur les réseaux créés, la commercialisation et la formation de personnes hautement qualifiées. Le rôle de président était également perçu comme une occasion de cesser de mettre inutilement l'accent sur un seul projet et de solliciter l'avis d'un bassin diversifié d'évaluateurs experts.

Par ailleurs, l'idée d'un collège des évaluateurs a été soulevée et appuyée. Les répondants estimaient que cette structure pouvait favoriser la stabilité et la continuité du processus d'évaluation, et que le choix des membres pouvait être évalué périodiquement et tenir compte de l'engagement des évaluateurs et des commentaires des candidats. Enfin, on jugeait que les présidents de comité travaillaient en étroite collaboration avec les évaluateurs.

Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

Les répondants ont fourni divers indicateurs à considérer pour évaluer le système d'évaluation par les pairs :

  • Équité
    • Stade de carrière
    • Genre
  • Longueur, profondeur et étendue des évaluations
  • Durée nécessaire pour évaluer une demande
  • Taux de réussite des projets « risqués »
  • Rétroaction des évaluateurs sur leur expérience
    • Est-ce que les bonnes demandes ont été financées?
  • Surveillance des écarts dans les évaluations (comparer les demandes excellentes par rapport aux demandes passables)
    • Faible écart-type entre les évaluateurs après une discussion du comité
  • Remise par les évaluateurs d'une cote de l'intérêt scientifique avec la cote globale de la demande
  • Mérite scientifique d'une demande
  • Productivité en recherche du candidat (éliminer l'évaluation subjective des retombées futures)
  • Commentaires des candidats sur leurs évaluations
  • Rapidité de publication des données sur le rendement de la sélection
  • Publications à impact élevé ou haute qualité des publications
  • Nombre de publications et dollars investis
  • Étendue des demandes du domaine financées
  • Échéancier de l'évaluation par les pairs
  • Évaluation des taux d'achèvement
  • Réussite des demandes présentées à nouveau (auparavant refusées)

Il a été suggéré que les IRSC introduisent quelques processus d'évaluation par les pairs modifiés et comparent ces approches sur une période de trois à cinq ans. Les répondants ont aussi envisagé des mécanismes pour empêcher les mauvais évaluateurs de siéger à d'autres comités d'évaluation des demandes de subvention. Les représentants d'organismes de financement à l'échelle internationale (p.ex. NIH, MRC, DFG, ANRS) ont pour leur part recommandé la tenue d'une évaluation indépendante. On croit que cette approche contribuerait à accroître la transparence dans l'évaluation des IRSC. De nombreux répondants étaient d'ailleurs préoccupés par le manque de transparence et d'ouverture à la surveillance. Ils veulent que les scientifiques participent désormais de façon plus significative à la réforme des IRSC pour aider à rétablir la confiance.

Date de modification :