Institut des services et des politiques de la santé : Engagement des intervenants

Novembre 2016

Message principal

1. Selon le milieu de la recherche sur les services et les politiques de santé (RSPS), le système virtuel d'évaluation par les pairs ne fonctionne pas efficacement. Dans ce système, beaucoup de responsabilités sont confiées au président sans qu'il obtienne de récompense ou de reconnaissance en retour, la responsabilisation des évaluateurs est réduite, et les évaluateurs n'ont pas l'expérience ni la connaissance du domaine nécessaires pour évaluer les demandes qui leur sont assignées. Pour assurer la réussite du système, il faudrait instaurer des mesures incitatives et/ou accroître la responsabilisation.
2. L'architecture des programmes devrait encourager la recherche interdisciplinaire (qui doit être évaluée par un comité interdisciplinaire compétent), prévoir un financement adéquat pour réduire le cycle de présentation régulière de demandes et tenir compte de divers moyens de diminuer le volume de demandes (p. ex. autoriser l'utilisation du financement après la date de fin de la subvention).
3. Nous pouvons tirer des leçons d'organismes internationaux de financement, et il pourrait être utile que les IRSC effectuent une revue systématique des approches employées par d'autres organismes subventionnaires.

Démarche d'engagement des intervenants

1. Courriel envoyé à d'anciens membres du conseil consultatif de l'Institut (CCI). Tous les membres ont reçu un courriel personnalisé contenant les six questions et leur demandant leur avis à ce sujet.
2. Séance d'une heure tenue lors de la réunion annuelle sur les soins de santé communautaires de première ligne (SSCPL). Les questions ont été envoyées à l'avance aux participants afin qu'ils aient le temps d'y réfléchir. Il y a aussi eu durant la réunion une discussion ouverte dirigée dans le cadre de laquelle dix minutes étaient allouées à chaque question.

Participants

L'ISPS a sollicité l'avis d'environ 50 personnes, soit par courriel, soit durant la séance tenue lors de la réunion annuelle sur les SSCPL. Il s'agissait de chercheurs en RSPS (en début de carrière, en milieu de carrière ou chevronnés), de personnes associées à la SRAP (réseaux et unités de soutien) et d'intervenants communautaires (personnes jouant un rôle dans les plateformes de données, représentants de diverses organisations [Association médicale canadienne, Association des infirmières et infirmiers du Canada, Institut canadien d'information sur la santé, Institut de recherche en services de santé]).

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

Voici les commentaires d'un répondant :

Rapport du Comité d'examen international (2011)

« Le système d'évaluation par les pairs des IRSC, qui doit être au service des scientifiques et des chercheurs, est essentiel à la réussite de l'organisme. Ce système est en cours d'évaluation, et des améliorations y sont apportées. Il faut tout de même porter une attention immédiate à la prolifération du nombre de comités et d'examinateurs afin d'assurer le bon déroulement du processus. De plus, le CEI estime qu'il serait possible d'accroître l'efficacité et le rendement de  la recherche au Canada en apportant des changements stratégiques à la politique de subventions, par exemple en octroyant des subventions plus généreuses pour une plus longue période, ou en mettant en place un processus officiel de planification du portefeuille des programmes de recherche. »

Proposition de changements à la série de programmes ouverts des IRSC et d'améliorations au processus d'évaluation par les pairs (2012)

« Notre système d'évaluation par les pairs et les processus connexes ne permettent pas d'évaluer des projets de recherche dans la totalité des thèmes de recherche des IRSC, les domaines de recherche nouveaux ou en évolution ou la recherche entraînant un changement de paradigme. Ils ne parviennent pas non plus à garantir que les experts appropriés évaluent chacune des demandes de subvention reçues, peu importe le champ d'intérêt. Enfin, l'augmentation du volume de demandes et de la complexité de bon nombre d'entre elles fait en sorte que de plus en plus de pairs évaluateurs potentiels sont rebutés par la charge de travail et hésitent à proposer leurs services. »

Prolifération du nombre de comités et d'évaluateurs. Je ne sais pas exactement ce que signifie la prolifération du nombre d'évaluateurs (des évaluateurs qui effectuent une seule évaluation?), mais selon mon expérience du programme Fondation, et d'après mes collègues, l'instauration des nouveaux groupes virtuels a fait augmenter considérablement le nombre de « comités », étant donné que chaque demande est évaluée par un petit groupe de quatre ou cinq personnes. Je ne crois donc pas du tout que les comités d'évaluation virtuels parviennent à freiner cette prolifération. D'après mon expérience dans ce contexte (tant comme évaluateur que comme candidat), la nature virtuelle des échanges a considérablement altéré la qualité des évaluations. Au lieu de recevoir deux évaluations (généralement) réfléchies, j'ai reçu des réponses laconiques d'à peine une ligne; un évaluateur a même inscrit pour seule réponse « A » dans chaque zone de réponse. À mon avis, il fallait s'y attendre. Les rencontres virtuelles déresponsabilisent les évaluateurs, et oui, elles leur enlèvent la pression sociale de produire une évaluation réfléchie afin de conserver un certain prestige par rapport à leurs pairs durant les rencontres en personne (puisqu'un évaluateur mal informé et peu motivé met sa réputation en jeu). Les rencontres en personne sont un moyen très efficace de tourner le biais de désirabilité à l'avantage de l'organisme de financement, tandis que les évaluations virtuelles éliminent essentiellement cette possibilité, ce qui nuit à la qualité des évaluations (les recherches sur l'intimidation dans les médias sociaux pourraient aussi servir de mise en garde contre les évaluations excessivement négatives ou préjudiciables dans un contexte entièrement virtuel). Cela étant dit, les IRSC sont revenus aux réunions d'évaluation par les pairs en personne dans le cycle actuel, ce qui semble être un pas dans la bonne direction.

De plus, nombreux sont ceux qui trouvent que les rencontres en personne ne sont pas seulement utiles pour déterminer les subventions à financer puisqu'elles permettent aux évaluateurs d'avoir des échanges scientifiques réfléchis susceptibles de changer la façon dont une certaine subvention est classée, mais qu'elles sont aussi bénéfiques pour les évaluateurs. En effet, grâce à ces rencontres, les évaluateurs peuvent réseauter et rencontrer des gens qu'ils ne rencontreraient pas autrement. À l'heure actuelle, il n'y a aucune « récompense » pour l'évaluateur, car dans un contexte virtuel, ces occasions de discussion et de réseautage sont impossibles.

Changements stratégiques à la politique de subventions (subventions plus généreuses pour une plus longue période). Le programme de subventions Fondation a certainement atteint cet objectif, mais possiblement au détriment d'autres objectifs des IRSC, étant donné que la répartition des fonds entre les programmes Fondation et Projet a contribué à la diminution du taux de réussite dans le programme Projet. Si des écarts persistent concernant les titulaires de subventions Fondation (thèmes, stades de carrière), il y aura distorsion dans le système. Des mesures correctives ont été prises relativement aux chercheurs débutants; celles-ci devraient atténuer les effets dans ce groupe, mais il se peut que les subventions Fondation demeurent mieux adaptées à certains thèmes (recherche en sciences biologiques fondamentales). Il se pourrait donc (selon votre analyse des données administratives) que l'objectif de remédier au problème soulevé selon lequel le système d'évaluation par les pairs « ne permet pas d'évaluer des projets de recherche dans la totalité des thèmes de recherche des IRSC » n'ait pas été atteint dans le cadre de cette réforme.

Réduction de la complexité des demandes. Les IRSC ont tenté de réduire la complexité durant le dernier concours Projet, mais ce changement a été jugé excessif et nuisible pour certains types de recherche – en particulier les projets de recherche de pointe qui devaient être favorisés par la réforme. Il est très difficile d'exprimer des idées complexes dans un cadre étroitement structuré par des boîtes de texte. La rationalisation du budget s'est toutefois avérée un changement positif (à l'exception de l'approche de budget global réparti également sur toute la durée de la subvention, ce qui mène inévitablement au gonflement des subventions, étant donné que de nombreuses subventions nécessitent des investissements plus importants dans la première année comparativement aux années suivantes, mais que le seul moyen d'obtenir suffisamment de fonds de fonctionnement la première année est de « gonfler » les dépenses des années ultérieures).

En outre, le programme Fondation n'atteindra pas l'objectif d'éliminer la nécessité de demander régulièrement des subventions en raison du manque global de fonds. De nombreux candidats ont reçu un montant inférieur à celui demandé. Le montant offert ne sera pas suffisant pour sept ans, alors d'autres fonds seront nécessaires entretemps.

Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

La nature évolutive de la science et la croissance de la recherche interdisciplinaire passent en grande partie par la formation. En ce sens, la perte des subventions de formation au profit du programme Fondation – qui est principalement axé sur les chercheurs, et non sur les idées – n'est pas une bonne nouvelle.

L'abolition de certains programmes spéciaux, surtout du concours Partenariats pour l'amélioration du système de santé (PASS), est particulièrement problématique. Ce programme facilitait l'établissement de partenariats entre chercheurs et décideurs, et exigeait des fonds de contrepartie. Habituellement, les travaux réalisés dans le cadre de ce programme étaient en lien direct avec l'amélioration du système, comportaient de l'application des connaissances intégrée, et la compétitivité y était très élevée, ce qui garantissait la grande qualité de la recherche.

L'importance de la recherche interdisciplinaire ne fait maintenant plus de doute, surtout dans un contexte où certaines grandes faiblesses systémiques dans les soins de santé au Canada doivent être palliées. Tout ce qui peut nous empêcher de former des équipes interdisciplinaires efficaces, par exemple la perte de subventions d'équipe officielles et l'accent mis sur des chercheurs individuels (subventions Fondation), risque d'être problématique.

Un autre problème est la date de fin d'une subvention, car les chercheurs se sentent souvent obligés d'utiliser la totalité des fonds avant cette date. Si la subvention durait plus longtemps, ils pourraient utiliser les fonds de façon plus judicieuse. Pourquoi une date de fin? Est-ce possible de l'enlever? Si c'était le cas, la pression de présenter régulièrement des demandes serait réduite (du moins en partie).

Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs?

Garantir que les experts appropriés évaluent chacune des demandes de subvention reçues, peu importe le champ d'intérêt. Ce n'est pas du tout évident que le système actuel avec cinq évaluateurs, ou même le collège des évaluateurs, arrivera à atteindre cet objectif. Dans de nombreux organismes internationaux (ANR, ERA-NET, Horizon 2020), l'évaluation par les pairs repose uniquement sur des comités. D'autres (et c'est aussi le cas du CRSH) demandent des rapports d'évaluateurs experts externes, lesquels sont ensuite pris en considération par le comité d'évaluation des demandes de subvention.

Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

À mon avis, non. Je crois que l'instauration du collège des évaluateurs est une bonne décision, mais elle ne règle pas le problème fondamental, soit les évaluations de piètre qualité. Il est essentiel de jumeler les évaluateurs aux demandes en tenant compte des connaissances et de l'expérience. De plus, il est crucial de remédier au problème de la reconnaissance par les établissements des activités d'évaluation par les pairs, car les professeurs débutants se concentrent sur les activités qui améliorent leurs chances d'obtenir leur permanence.

Je m'inquiète aussi du recours au classement des demandes pour la prise des décisions. J'aimerais voir une étude approfondie de l'efficacité de cette approche, surtout étant donné que des évaluateurs différents classent des listes de demandes différentes.

En outre, il y a un manque de responsabilisation des évaluateurs – certains ont rédigé des commentaires en ligne et n'ont rien fait pour les défendre. Si une personne reçoit une subvention, elle devrait avoir une responsabilité envers les IRSC et être tenue d'évaluer des demandes pendant un certain nombre de concours. Ce serait d'ailleurs bien de connaître le taux de volontariat des évaluateurs.

Le collège est un bon concept, mais à quel point intervient-il auprès des évaluateurs? De nombreuses personnes ont indiqué avoir évalué des demandes au début de leur carrière parce que c’était bon pour leur CV. En ce moment, des gens peu expérimentés évaluent des demandes sans avoir l'expertise nécessaire. Le collège a besoin de plus de gens expérimentés pour enseigner aux débutants. Il pourrait être bénéfique que le collège délivre une « attestation ». Si cette attestation pouvait ensuite être utilisée à l'université dans le cadre de l'évaluation annuelle, elle prouverait son utilité. Une autre option consisterait à obliger toutes les personnes qui reçoivent une subvention des IRSC à évaluer des demandes pendant un certain nombre d'années ou de concours.

Expérience en tant que président virtuel. Pour de nombreuses personnes, l'expérience n'a pas été fructueuse. Sans l'ancienne structure des comités, plus solide, il est plus difficile de réaliser le jumelage. Deux tiers des évaluateurs sont bien jumelés; dans les autres cas, le jumelage est parfois très inadéquat. Par ailleurs, les évaluateurs ne comprennent pas toujours les fondements de la recherche sur les services et les politiques de santé. Le jumelage pourrait vraiment être amélioré. De plus, il est extrêmement difficile de présider 45 évaluations – le travail du président est très exigeant. Nous devrions renforcer la position du président, et peut-être le récompenser pour son travail.

Un moyen de réduire le nombre de demandes est de faire en sorte que les universités et les instituts de recherche les trient d'abord. Il devrait y avoir des processus d'évaluation internes, et les demandes devraient être passées au crible avant d'être approuvées. Par exemple, chez SickKids, qui affiche le taux de réussite le plus élevé au pays, toutes les demandes de subvention doivent être autorisées par le vice-président à la recherche. Cette autorisation n'est donnée que si la demande est d'abord passée par le processus d'évaluation interne. Nous devrions commencer à véhiculer l'idée que les instituts de recherche et les universités trient les demandes avant qu'elles soient officiellement présentées. Il convient toutefois de noter que cette façon de faire pourrait être problématique dans les petites universités, où les personnes qui seraient appelées à donner leur autorisation demanderaient elles-mêmes des subventions.

Une autre option intéressante serait d'inclure les patients dans les comités d'évaluation pour qu'ils nous aident à décider des demandes à financer et de la façon de le faire. Devrions-nous nous intéresser à l'avis d'intervenants autres que les chercheurs?

Enfin, les IRSC devraient procéder à un examen systématique des meilleures pratiques relatives à l'évaluation par les pairs, ce qui nous aiderait à prendre des décisions fondées sur des données probantes pour déterminer la meilleure voie à suivre.

Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Rechercher des rapports d'experts externes en matière de subventions (bien que j'ignore s'il s'agit d'une meilleure pratique à l'échelle internationale).

Les approbations conditionnelles sont une possibilité. Autrement dit, lorsqu'une demande de subvention est solide, mais qu'elle comporte quelques lacunes mineures et corrigibles, au lieu qu'elle soit refusée puis présentée à nouveau (et souvent évaluée par un groupe d'évaluateurs différents), les chercheurs ont la possibilité de corriger les problèmes, et ils obtiennent ensuite leur financement. Cette façon de procéder pourrait améliorer l'efficacité du processus, tant pour les candidats que pour les évaluateurs.

Le fait qu'un évaluateur se penche sur l'évaluation d'un pair contribuerait à déterminer si celle-ci est adéquate. Les évaluations comportant des écarts peuvent être utilisées à des fins de contrôle de la qualité. Il y a un domaine de la science au sujet du contrôle de la qualité dont nous pouvons tirer des leçons. De plus, peut-être que les candidats devraient avoir la possibilité de fournir de la rétroaction aux évaluateurs.

Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

Des sondages de satisfaction auprès des candidats et des évaluateurs.

Une analyse de la variation visant à repérer toute tendance inquiétante relativement au taux de réussite, aux demandes, etc.

Les évaluateurs devraient recevoir des mesures statistiques sur leurs évaluations. Par exemple, vous avez indiqué qu'un nombre X de demandes devraient être financées, alors que d'autres ont dit qu'un nombre Y de demandes devraient l'être.

Date de modification :

2017-05-30