Conformément au processus d’assurance de la qualité de l’établissement (PAQE) suivi par le Collège militaire royal du Canada (CMR), le présent rapport d’évaluation définitif (RED) résume l’évaluation extérieure ainsi que la réponse et les évaluations internes fournies par le programme de deuxième cycle en études de la défense offert par la Faculté des sciences sociales et humaines. Le rapport indique les points forts importants du programme et les possibilités d’amélioration et met en lumière, par ordre de priorité, les recommandations qui ont été retenues aux fins de mise en œuvre.
Le rapport comprend un plan de mise en œuvre qui précise qui sera chargé d’approuver les recommandations énoncées dans le RED, de fournir les ressources nécessaires pour donner suite à ces recommandations, d’apporter les changements en matière d’organisation, de politique ou de gouvernance nécessaires au respect des recommandations, de mettre en œuvre les recommandations et, enfin, d’établir le calendrier d’exécution de ces recommandations et du suivi de leur mise en œuvre.
Aperçu du processus d’examen du programme
Le rapport sur l’autoformation dans le cadre du programme a été achevé en 2016. Pour ce qui est du programme examiné, à savoir celui de la maîtrise en études de la défense, le rapport présentait les attentes liées au niveau du grade, une évaluation analytique du programme, les plans de cours, les données relatives au programme, des données d’enquête fournies par le Bureau de l’assurance de la qualité et des annexes contenant un échantillon de rubriques et les curriculum vitæ des membres du corps professoral.
Deux examinateurs indépendants de l’extérieur (B.L. Job, Ph.D., de l’Université de la Colombie-Britannique, et J.W. Yaeger, Ph.D., de la National Defence University, à Washington) ont été choisis dans une liste d’examinateurs possibles, et ce choix a été approuvé par le doyen de la faculté des arts et le doyen des études supérieures. Un examinateur de l’interne, M. Hefnawi, Ph.D., membre du département de génie électrique et informatique du CMR, a aussi été choisi pour faire partie du Comité d’examen extérieur (CEE). Ils ont examiné les documents d’autoformation et ont passé trois jours au Collège des Forces canadiennes (CFC), du 30 mai au 1er juin 2017. Pendant cette visite, le CEE s’est réuni avec le commandant du CFC, le Bgén Kevin Cotton; le vice-recteur aux études, Phil Bates, Ph.D.; le vice-recteur à la recherche et doyen des études supérieures, Pat Hefferman, Ph.D.; le commandant adjoint du CFC, le Colonel Nishika Jardine; le représentant du Secrétariat général du CFC, le Capc Joel Kam; le chef - études de la défense, Éric Ouellet, Ph.D.; le directeur du programme de maîtrise en études de la défense, Christopher Spearin, Ph.D.; les chefs des départements du CFC; et la bibliothécaire en chef, Cathy Murphy. Le CEE a alors organisé une table ronde avec les professeurs chargés du programme des études de la défense. Le CEE a aussi eu l’occasion de s’entretenir avec plusieurs étudiants actuellement inscrits au programme. Ensuite, les membres du CEE ont rédigé un rapport sur le programme d’autoformation et sur les résultats de leur visite de l’établissement.
Les examinateurs ont présenté leur rapport en septembre 2017. Ils y ont conclu que le programme de maîtrise en études de la défense respectait les normes, les objectifs éducationnels et les résultats d’apprentissage du diplôme d’études supérieures offert et qu’il allait dans le sens des missions du CMR et du CFC. Les examinateurs ont constaté que les exigences étaient bien expliquées dans les plans de cours et les rubriques, mais ils ont trouvé que les attentes au niveau du grade supérieur (ANGS) n’étaient pas formulées et schématisées par rapport à des résultats d’apprentissage précis décrits dans les diverses rubriques. Le CEE a cerné des points forts et des réalisations exceptionnelles, ainsi que des domaines susceptibles d’amélioration au sein du programme.
Points forts importants et motifs de préoccupation du programme
Le CEE a cerné un certain nombre de points forts dans le programme de maîtrise en études de la défense :
- Le programme va dans le sens de la mission et est adapté aux intervenants;
- Le processus d’admission équitable respecte les normes fixées pour le grade recherché; possibilité pour ceux qui sont refusés de faire une nouvelle demande d’admission;
- Le programme d’études a respecté ou dépassé l’état actuel des disciplines pertinentes dans presque tous les cas;
- Les résultats de haute qualité des projets de recherche dirigés mènent à la publication ou influent sur la pratique professionnelle;
- Un corps professoral principal de bonne qualité qui mène activement des recherches.
Le CEE a cerné un certain nombre de motifs de préoccupation dans le programme de maîtrise en études de la défense :
- Les ANGS n’étaient pas formulées et schématisées par rapport à des résultats d’apprentissage précis décrits dans les diverses rubriques;
- La gestion de l’information au titre de l’assurance de la qualité, en particulier pour l’évaluation des instructeurs/stagiaires ainsi que la collecte et la diffusion des données sur le programme, est incohérente;
- Il faut moderniser l’environnement d’apprentissage du CFC, notamment avec des outils informatisés tels que les systèmes de gestion de l’apprentissage;
- La participation de membres non titulaires d’un doctorat dans l’enseignement et les projets de supervision au niveau des études supérieures suscite des difficultés lorsqu’il s’agit d’enseigner à ce niveau;
- Le fait que l’on mise trop sur des professeurs contractuels ou invités risque de compromettre l’efficacité du programme;
- La participation insuffisante de professeurs titularisés et le recours excessif à des professeurs contractuels ou invités pour le volet du programme qui est axé sur l’apprentissage à distance ne conviennent pas au niveau des études supérieures (dans les commentaires, on a fait état de la décision prise avant la visite de mettre fin à ce volet et on a pris note de la date fixée à cet égard);
- Le personnel de la bibliothèque n’est pas suffisant pour garantir un accès convenable aux excellentes ressources qui s’y trouvent.
Après avoir consulté le corps professoral et le personnel chargé des programmes, le directeur des programmes a présenté une réponse au rapport des examinateurs en mars 2018. Le doyen des études supérieures, de concert avec le doyen des sciences sociales et humaines et en consultation avec le vice-recteur aux études et le commandant adjoint du CFC, a rédigé le RED en janvier 2019. Ce rapport contient des recommandations précises et prévoit des mesures à prendre ainsi qu’un calendrier.
Résumé des recommandations des examinateurs et réponses du doyen
Le CEE a cerné divers motifs de préoccupation ou divers enjeux qui nécessitent une attention. Le présent rapport aborde les recommandations formulées à ces égards dans la section « Résumé des recommandations ». Les recommandations secondaires cernées dans le rapport seront examinées par le département, et non dans le présent rapport. Les enjeux sont abordés selon l’ordre dans lequel ils figurent dans le rapport du CEE : Charge de travail.
- Le CEE a conclu qu’il faut en priorité accroître le nombre de professeurs universitaires à temps plein; cela est nécessaire pour harmoniser les volets du Programme de commandement et d’état-major interarmées (PCEMI) enseignés par le corps professoral, en particulier la maîtrise en études de la défense, avec ce qui est normalement attendu d’un programme de maîtrise professionnel offert par des professeurs qualifiés. Le PCEMI (maîtrise en études de la défense?) mise grandement sur des militaires affectés dans un poste d’enseignant dont la formation et les compétences d’enseignant varient. En outre, il importe de ne pas compter autant sur les chargés de cours à temps partiel.
Le PCEMI est un produit de formation militaire professionnelle (FMP) et ne doit faire l’objet d’un examen que dans la mesure où il influe sur la maîtrise en études de la défense. Le personnel enseignant (PE) constitue un élément essentiel de la nature professionnelle du diplôme, et sa contribution ne peut pas et ne doit pas être confiée à des professeurs civils. Toutefois, il importe de choisir les membres du PE, du moins en partie, en fonction de leur capacité à enseigner au niveau des études supérieures, pour garantir le maintien des normes de qualité.
Une partie du stress inhérent à la charge de travail s’explique par la mise en œuvre du volet en apprentissage à distance de la maîtrise en études de la défense, sans que les ressources voulues ne soient investies à cette fin. La décision de mettre fin à ce volet devrait libérer le personnel enseignant permanent et lui permettre de contribuer davantage aux cours offerts en résidence dans le cadre de la maîtrise en études de la défense. En outre, le CFC a réaffecté des ressources pour permettre au CMR d’embaucher deux autres UT (enseignant universitaire) dans le département des études de la défense. Ces changements devraient dissiper complètement les préoccupations des UT liées à la charge de travail.
- Le CEE souscrit entièrement aux décisions du CFC et du CMR de suspendre le volet en apprentissage à distance de la maîtrise en études de la défense. Il est convenu que la surveillance et le contrôle de la qualité dans le cadre de ce programme sont insuffisants, du fait qu’ils sont actuellement confiés presque entièrement à des chargés de cours à temps partiel.
Conformément à la décision antérieure prise à cet égard, l’offre du volet en apprentissage à distance de la maîtrise en études de la défense devait cesser à l’été 2017, mais en fin de compte, cela s’est produit à l’été 2018.
- Il semble que des données ne soient pas recueillies systématiquement sur le programme de la maîtrise en études de la défense. Si des données sont recueillies, elles ne semblent pas facilement accessibles, et le CEE n’a pas pu les consulter. Cela comprend des renseignements de base sur les effectifs et la composition de la cohorte d’étudiants inscrits à la maîtrise en études de la défense, mais inclut aussi les données sur l’évaluation des cours par les étudiants, la répartition des notes, etc. Le Comité d’examen recommande fortement de prêter attention à ces questions.
Les données sur les effectifs étudiants inscrits au programme de la maîtrise en études de la défense sont conservées par le registraire, au CMR, et ce sont les mêmes que celles recueillies sur tous les autres programmes. On ne sait pas au juste pourquoi ces données n’ont pas été mises à la disposition du CEE. Il convient de souligner que le CEE ne s’est réuni avec aucun des membres du personnel du registraire. Les représentants du programme, comme le précise la réponse du département, ne font pas partie intégrante du processus de collecte des données, et celles-ci ne sont pas fournies non plus à l’égard des programmes étant propres à un seul département quand le soutien administratif est assuré par le département en question.
Il faut analyser les évaluations des cours de la maîtrise en études de la défense fournies par les étudiants pour en mesurer la pertinence relativement à la nature universitaire professionnelle du programme. Nous examinerons les processus de leur formulation et de leur administration avec le CFC afin d’établir si un seul instrument conviendrait pour répondre aux exigences de la FMP (PCEMI) et du programme (maîtrise en études de la défense).
- Le maintien de l’excellence au sein du Centre d’information spécialisée (CIS) du CFC doit demeurer une priorité. Il importe de se pencher sur les niveaux de dotation en personnel.
Le CFC doit fournir des ressources suffisantes pour maintenir l’accès des étudiants au CIS. Le CMR examinera et surveillera les répercussions sur les préoccupations liées à l’assurance de la qualité.
- Il faut moderniser les installations en fonction des niveaux des technologies d’enseignement ultramodernes si nous voulons que le programme réponde aux besoins des membres des FAC formés pour s’adapter aux méthodes et aux sources d’information novatrices et pour en profiter.
L’environnement d’apprentissage du CFC répond à tous les besoins essentiels liés aux programmes d’études supérieures. Le CMR encourage le CFC à continuer à investir dans son environnement d’apprentissage, y compris l’adoption de nouveaux outils et méthodes pédagogiques. Le CMR et le CFC doivent s’interroger sur l’optimisation de leurs systèmes de gestion de l’apprentissage indépendants et envisager de les intégrer ou, à tout le moins, de les harmoniser.
- Une des priorités du programme concerne les questions de genre, tant dans le contexte des programmes d’études que dans celui de l’expérience de la population étudiante au sein du programme. (En fait, l’intégration positive des femmes dans les FAC est une priorité mise en lumière dans l’examen de la Défense nationale récemment annoncé.) Le Comité d’examen a reçu peu de détails sur la façon dont ces questions sont abordées dans le contexte du PCEMI et de la maîtrise en études de la défense. Le Comité d’examen a pris note du fait que les administrateurs du programme ne semblent pas savoir combien de femmes sont inscrites à ce dernier. Les étudiants n’ont adressé aucune plainte au Comité d’examen au sujet du programme en soi. Des étudiantes ont exprimé des commentaires négatifs sur l’attitude et la « culture » des FAC concernant la compréhension des questions de genre et la façon dont l’institution y répond. Vu la position du PCEMI dans la structure des FAC et le leadership dont sont censés faire preuve les diplômés de ce programme et ceux qui obtiennent la maîtrise en études de la défense, il faudrait songer en priorité à étudier directement les questions de genre dans les FAC, soit grâce à des cours, soit au moyen d’ateliers et d’activités obligatoires.
Le CMR appuie tous les efforts faits pour gérer les questions de genre. Les changements qui auront été apportés au programme d’études à la faveur de l’examen axé sur l’ACS+ remédieront aux préoccupations exprimées à cet égard.
- Les sondages normalisés menés par le CMR et le PAQE ne conviennent pas aux étudiants et au corps professoral dans le contexte de la maîtrise en études de la défense. Il conviendrait de les réexaminer.
Voir la réponse fournie à la recommandation 3 ci-haut.
- Il faudrait déterminer les ressources nécessaires pour rendre les collections du CIS du CFC et le personnel de la bibliothèque accessibles aux étudiants suivants des cours à distance.
La cessation du volet en apprentissage à distance de la maîtrise en études de la défense réduit considérablement la demande de ressources du CIS dans le contexte de l’apprentissage à distance. Cependant, après le PCEMI, les étudiants inscrits à la maîtrise en études de la défense demeurent la responsabilité du programme et du département des études de la défense. Par conséquent, ces étudiants doivent continuer d’avoir accès aux collections du CIS du CFC jusqu’à l’obtention de leur diplôme.
Vu le grand nombre des recommandations examinées plus haut qui nécessitent une coordination entre le CMR et le CFC, il serait avantageux de rendre officielles les attentes de chaque partie dans un accord sur les niveaux de service (ANS).
Plan de mise en œuvre
| Recommandation | Suivi proposé | Responsable principal du suivi | Échéance de mise en œuvre de la recommandation |
|---|---|---|---|
| 1. Charge de travail |
|
Doyen des études supérieures, doyen des sciences sociales et humaines, commandant du CFC, doyen des programmes d’études du CFC |
À temps pour déterminer les affectations dans le cadre de la période active des affectations (PAA) de 2020 |
| 2. Volet en apprentissage à distance de la maîtrise en études de la défense |
Mettre fin aux inscriptions au volet en apprentissage à distance de la maîtrise en études de la défense. |
Doyen des études supérieures |
Travail terminé Été 2018 |
| 3. Données et évaluations |
|
Vice-recteur aux études, registraire, commandant adjoint du CFC |
Travail terminé pour l’année d’études 2019-2020 |
| 4. Ressources du CIS |
Faire appel au CFC pour s’assurer que les ressources du CIS sont pertinentes pour les étudiants concernés. |
Vice-recteur aux études, doyen des études supérieures, directeur du programme de maîtrise en études de la défense, commandant adjoint du CFC |
En cours. Nouvelle dotation d’ici l’année d’études 2018-2019. |
| 5. Préoccupations concernant les questions de genre dans le contexte du programme d’études |
Analyse complète des programmes d’études du PCEMI et de la maîtrise en études de la défense et de la présentation de ces programmes, dans le contexte de l’ACS+ |
Doyen des études supérieures, département des études de la défense, chef de département, directeur du programme de maîtrise en études de la défense |
Travail terminé. Nécessitera un suivi et un ajustement permanents. |
| 6. Accessibilité des ressources du CIS en apprentissage à distance |
Communiquer avec le CFC pour faire en sorte que les ressources du CIS soient accessibles à tous les étudiants inscrits à la maîtrise en études de la défense, tant en résidence qu’en apprentissage à distance, jusqu’à l’obtention de leur diplôme. |
Vice-recteur aux études, doyen des études supérieures, directeur du programme de maîtrise en études de la défense, commandant adjoint du CFC | Dès que possible et à temps pour l’année d’études 2019-2020 |
| 7. Exercice de schématisation des ANGS |
Schématiser entièrement les résultats d’apprentissage par rapport aux ANGS et aux évaluations particulières. Dresser un plan de collecte des données pour mesurer le degré de succès et procéder à des examens périodiques. |
Doyen des études supérieures, directeur du programme de maîtrise en études de la défense |
À temps pour l’année d’études 2019-2020. Le doyen des études supérieures se chargera de l’examen. |
| 8.
Coordination entre le CMR et le CFC |
Élaborer en collaboration un ANS entre le CMR et le CFC pour définir clairement les responsabilités de chaque établissement relativement à l’exécution du programme de maîtrise en études de la défense. |
Vice-recteur aux études, doyen des études supérieures, doyen des sciences sociales et humaines, commandant adjoint, doyen des programmes d’études du CFC |
À temps pour l’année d’études 2019-2020 |
Conclusion
Le rapport du CEE contient des observations positives sur les résultats du programme de maîtrise en études de la défense. Il confirme que le département des études de la défense du CMR offre un rigoureux programme d’études à ses étudiants au CFC, à Toronto, et que ses normes correspondent à celles de programmes semblables en Ontario, au niveau national et à l’échelle internationale. Cependant, le CEE a aussi repéré des domaines où des améliorations sont nécessaires et certains risques menaçant la vigueur future du programme. Le CMR est déjà en train de prendre des mesures pour remédier aux problèmes soulevés et il continuera de collaborer avec le CFC en ce sens.
Le département des études de la défense représente la contribution du CMR à l’élaboration et à l’exécution du programme de maîtrise en études de la défense en collaboration avec le CFC. Par conséquent, les problèmes de la maîtrise en études de la défense sont ceux du département des études de la défense. Il est essentiel que le département des études de la défense assume entièrement la responsabilité des défis au profit de ses étudiants pour leur offrir le programme depuis l’inscription jusqu’à l’obtention du diplôme.
Il incombe au doyen des études supérieures, qui consultera en cela le doyen des sciences sociales et humaines ainsi que le chef du département des études de la défense, de surveiller le plan de mise en œuvre et de travailler avec le commandant adjoint et le doyen des programmes d’études du CFC au besoin.