Institut du vieillissement : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Novembre 2016

Messages principaux

  1. Tous les intervenants s'entendent pour dire que trop de changements ont été mis en place simultanément.
  2. Le module CV pour les évaluateurs est un processus long et compliqué.
  3. Le nouveau système complique la tâche des chercheurs travaillant à la jonction de la santé et des sciences sociales. Or, le vieillissement est un domaine de recherche très interdisciplinaire.

Démarche d'engagement des intervenants

L'Institut du vieillissement (IV) organise deux réunions par année avec les directeurs de tous les centres de recherche sur le vieillissement du Canada. Ces réunions se tiennent généralement en mars et en octobre. Celle de mars se déroule habituellement par vidéoconférence, tandis que celle d'octobre a lieu en personne dans le cadre de la conférence annuelle de l'Association canadienne de gérontologie (ACG), à laquelle participent la plupart des directeurs. C'est lors de la réunion d'octobre 2016 que l'IV a consulté les directeurs (n = 34). Ceux-ci ont reçu les questions à l'intention des intervenants avant le début de la conférence afin qu'ils aient le temps d'y réfléchir. Ils ont soulevé de nombreux points pertinents, qui ont été recodés par le personnel de l'IV pendant la consultation. La liste des points a ensuite été éditée et envoyée par courriel à tous les directeurs afin qu'ils puissent y apporter des modifications et que ceux qui étaient absents à la consultation puissent aussi se faire entendre. Les commentaires supplémentaires ont été recueillis par le personnel de l'IV et intégrés au présent document.

Participants

L'IV a reçu les commentaires d'environ 15 directeurs de centres canadiens de recherche sur le vieillissement. Ces directeurs sont tous des chercheurs chevronnés ayant déjà obtenu du financement des IRSC. De plus, ils ont tous un contact direct et quotidien avec leurs milieux respectifs de recherche sur le vieillissement, et ils représentent des centaines de chercheurs. En plus d'être proches des chercheurs, ils sont étroitement liés aux activités de recherche. Ils étaient reconnaissants qu'on sollicite leur point de vue.

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

  • Tous les intervenants étaient d'accord : si le processus est critiqué à ce point, c'est probablement parce que les taux de réussite sont très faibles. L'IV a précisé que le problème s'expliquait en partie par l'annulation d'un concours, qui a entraîné une forte augmentation du nombre de demandes.
  • Tous les intervenants s'entendaient pour dire que trop de changements avaient été mis en place simultanément. Il aurait fallu instaurer des mesures permettant d'assurer la même rigueur que celle appliquée dans les évaluations en personne. Le premier cycle du concours de subventions Fondation a posé d'importants problèmes, notamment le regroupement des nouveaux chercheurs et des chercheurs chevronnés.
  • Le nouveau système complique la tâche des chercheurs travaillant à la jonction de la santé et des sciences sociales. Les processus d'évaluation par les pairs devraient encourager davantage l'interdisciplinarité. Les sciences sociales sont particulièrement touchées. En effet, les spécialistes des sciences sociales qui travaillent en collaboration ont l'impression d'avoir été mis de côté. Or, le vieillissement est un domaine de recherche très interdisciplinaire.
  • Quant aux évaluations en ligne, certaines améliorations doivent être apportées : réduire la fatigue, limiter les déplacements, etc.
  • Une personne a formulé des commentaires très positifs sur l'évaluation par les pairs en ligne – elle n'aimait pas l'ancien système en personne. Elle estime que le nouveau système laisse plus de latitude aux évaluateurs que l'ancien système, qui nuisait à leur capacité de mener des recherches en raison des déplacements et des absences du bureau pendant plusieurs jours.
  • Certains intervenants craignaient que ce processus ne permette pas aux évaluateurs de discuter entre eux, ce qui peut être essentiel à l'évaluation. Une personne a suggéré de mettre en place un volet de discussion, précisant que celle-ci pourrait toutefois se dérouler efficacement par téléconférence ou vidéoconférence, plutôt qu'en personne.
  • Les intervenants aiment beaucoup le concept du programme Fondation, puisqu'il laisse beaucoup de souplesse et de latitude. Cependant, un problème est que la méthode utilisée pour estimer le montant admissible est illogique. Il devrait y avoir une calculatrice sur le site Web des IRSC pour calculer ce montant. Un chercheur a communiqué avec les IRSC pour savoir comment le budget était calculé, et ils ont mis six mois à lui répondre. L'estimation du montant admissible doit être claire et transparente.
Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

  • Le module CV pour les évaluateurs est un processus très long et compliqué. Les évaluateurs ont beaucoup de travail à faire avant même d'entamer l'évaluation.
  • Des personnes sont invitées à mener des évaluations dans le cadre de plusieurs cycles. Est-ce vraiment viable?
  • Cela détruit à petit feu le processus d'évaluation par les pairs – si vous demandez toujours aux mêmes personnes, elles vont commencer à refuser, et vous devrez alors vous tourner vers votre deuxième, troisième, quatrième, voire cinquième choix.
  • Une lacune mentionnée à titre d'exemple est que personne ne sait comment évaluer une recherche provenant d'un collège. De plus, il est difficile pour les collèges de présenter une demande étant donné que certains éléments du formulaire de demande ne s'appliquent pas à eux.
  • Les évaluateurs ne sont souvent pas aptes à évaluer les demandes auxquelles ils ont été jumelés (secteur ou sujet incompatible).
  • Les revues scientifiques ont les mêmes problèmes de recrutement. C'est la « chasse aux évaluateurs ».
Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

  • Il n'est pas impossible que les IRSC doivent un jour rémunérer les évaluateurs. Toutefois, certains intervenants estiment que l'évaluation fait partie des responsabilités universitaires, et que les IRSC s'engagent sur un terrain glissant s'ils commencent à payer pour les évaluations.
  • La reconnaissance de l'université n'est pas suffisante. Les pairs évaluateurs devraient être mieux remerciés ou récompensés pour leurs efforts.
  • Il est difficile de recruter des évaluateurs des petites universités canadiennes axées sur la recherche.
Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

  • Tous les intervenants du groupe s'accordaient pour dire que les IRSC avaient réagi trop vite, qu'ils avaient jeté le bébé avec l'eau du bain.
Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

  • En Belgique, ce sont d'autres personnes qui enrichissent le contenu du module CV pour les évaluateurs, et le système en ligne est très organisé. Tout ce que les évaluateurs ont à faire, c'est d'évaluer, pas d'entrer autant de données. De plus, ils reçoivent 200 euros en rémunération. On leur fournit aussi les commentaires des autres évaluateurs; ainsi, chacun sent qu'il participe au processus. C'est un peu comme faire partie du comité de lecture d'une revue… C'est très agréable de se sentir inclus dans le processus.
  • En Irlande, on fournit un PDF et un lien vers les documents. C'est très simple.
  • La structure du CV commun (CVC) le rend difficile à lire (ou à fournir) – un CV ordinaire serait bien mieux. Le CVC ne correspond pas aux vrais CV. Certains chercheurs aimeraient mieux présenter l'ensemble de leur carrière plutôt que les cinq ou sept dernières années. En revanche, d'autres ne souscriraient pas à cette idée, vu l'énorme quantité de renseignements non pertinents que devraient fournir les chercheurs chevronnés. Le contenu du CV qui présente un intérêt pour la demande, mais qui remonte à plus de cinq ou sept ans, peut être intégré à la page des contributions les plus importantes. On gagnerait à préciser la marche à suivre pour remplir cette page importante du CV; l'approche à cet égard ne semble pas très uniforme.
  • Bien que des intervenants aient affirmé qu'ils aimaient bien le CVC, tous s'entendaient pour dire qu'il en existait trop de versions différentes.
  • La Fondation pour la recherche en santé de la Saskatchewan a utilisé une approche combinant évaluation en personne et évaluation en ligne (un président et quelqu'un d'autre en personne; le reste en ligne), et celle-ci a bien fonctionné. Les IRSC pourraient adopter la même démarche pour la discussion en personne, plutôt que de faire venir les évaluateurs à Ottawa, ce qui demande du temps et de l'argent.
Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

  • Ouvrir ce sondage au milieu canadien de la recherche.
  • Examiner les meilleures pratiques à l'échelle internationale.
  • Fiabilité – à quel point les deux évaluateurs sont-ils d'accord?
  • Les évaluateurs devraient avoir une bonne connaissance du domaine de la demande qu'ils évaluent.
  • Observer les résultats des subventions à long terme et vérifier s'ils correspondent à la cote obtenue lors de l'évaluation par les pairs.
  • Actuellement, les chercheurs principaux ne détiennent pas de droits d'administrateur sur leur demande de subvention – elle peut être modifiée à leur insu par d'autres cochercheurs. Cela doit changer.
  • Il faudrait établir des comparaisons avec des pays de taille semblable.
  • Il semble que ceux qui s'opposent le plus à la réforme sont les spécialistes de la recherche fondamentale. Ils ont l'impression qu'on leur a enlevé leurs fonds pour les injecter dans des domaines moins importants ou moins utiles que le leur (p. ex. application des connaissances).
  • Il faudrait assurer la présence d'un évaluateur possédant une expérience interdisciplinaire.
Date de modification :