Vers des évaluations ministérielles numériques: compte rendu d’une étude menée auprès d’élèves de la 5e secondaire

Le Plan d’action numérique dévoilé en 2018 par le ministère de l’Éducation et de l’Enseignement supérieur du Québec (MEES) comporte une disposition susceptible de révolutionner la façon d’évaluer les élèves, du primaire au collégial. En effet, en vertu de la mesure 13, le Ministère désire « permettr[e] à tous les intervenants […] de passer, d’administrer et de corriger les épreuves en format numérique » (MEES, 2018, p. 40), et ce, d’ici 2021-2022 (MEES, 2018, p. 75). C’est donc dire qu’à court terme, les examens ministériels papier sont appelés à disparaitre.

Selon toute vraisemblance, les évaluations de français sous la responsabilité du MEES subiront tôt ou tard cette transformation, qu’il s’agisse des épreuves obligatoires (4^e et 6^e années du primaire; 2^e année du secondaire), de l’épreuve unique de français, langue d’enseignement (5^e secondaire), ou encore, de l’épreuve uniforme de français, langue d’enseignement et littérature (collégial). Le cas des épreuves unique et uniforme soulève des enjeux de taille : seuls examens de langue à être corrigés de façon centralisée au Ministère, ils jouent un rôle prépondérant dans l’obtention des diplômes d’études secondaires et collégiales. Or, comment leur passation numérique influencera-t-elle le rendement des scripteurs?

À la demande du MEES, en 2015-2016, nous avons piloté une étude sur cette question : nous en rapportons les principales conclusions dans le présent article[1]. Si celles-ci permettent d’anticiper les effets du numérique sur les élèves de 5^e secondaire, elles éclairent la question plus générale de l’apprentissage et de l’évaluation de l’écriture à l’ère du numérique. À cet égard, les enseignants et enseignantes de français du collégial seront assurément interpelés par les défis que cet enjeu soulève.

Effets du numérique sur l’écriture

En utilisant la technologie dans le cadre d’une évaluation, les scripteurs se trouvent à pratiquer l’écriture numérique au sens où Bouchardon (2014) la définit, soit « l’écriture sur un support et avec des outils numériques ». L’écriture numérique peut notamment être caractérisée par ses dimensions multimédiatique (recours à des modes sémiotiques variés, comme le texte, la vidéo, l’image, etc.), interactive (recours à des applications et à l’hypertexte) et collaborative (Bouchardon, 2014). Bien sûr, si l’écran et le clavier ne font que se substituer à la feuille et au crayon, on peut supposer que le numérique ne génèrera que peu de changements; au contraire, si le scripteur peut exploiter plusieurs possibilités du numérique, tant le processus que le produit seront redéfinis. C’est ce que nous rappelle le modèle SAMR de Puentedura (s. d.), qui distingue les situations où le numérique, d’une part, constitue un ajout à une tâche traditionnelle (substitution ou augmentation) ou, d’autre part, transforme ces tâches (modification ou redéfinition).

Depuis l’introduction du traitement de texte, les écritures manuscrite et numérique ont été comparées dans plusieurs études (MacArthur, 2008) qui ont subséquemment fait l’objet de méta-analyses, dont celles de Bangert-Drownes, Hurley et Wilkinson (2004) et de Goldberg, Russell et Cook (2003). De ces études émanent des conclusions similaires : les textes rédigés à l’ordinateur semblent être de meilleure qualité et compter plus de mots que ceux écrits à la main. Dans une perspective quelque peu différente, Graham et Perin (2007) ainsi que Rogers et Graham (2008) ont réalisé deux méta-analyses sur les approches favorisant le développement des compétences scripturales. Leurs travaux prenaient en compte deux sous-ensembles d’études portant sur l’effet du traitement de texte sur l’écriture. Bien que les chercheurs déplorent certaines lacunes dans les études en question, ils jugent tout de même que le traitement de texte exercerait un effet positif, mais modéré, favorisant une meilleure réussite et une plus grande « productivité », tant chez les élèves du primaire que chez ceux du secondaire. Ces effets seraient notamment perceptibles chez ceux et celles en difficulté. Partant, leur analyse les pousse à en recommander l’utilisation en contexte scolaire. Certes, les conclusions de ces quatre méta-analyses sont intéressantes. Néanmoins, comme elles sont fondées sur un corpus d’études anglophones, on ne peut présumer qu’elles se vérifient auprès des scripteurs francophones.

Au Québec, l’étude de Ouellet (2013, 2014) a montré que les étudiants et étudiantes du collégial ayant utilisé le logiciel de révision Antidote commettaient moins d’erreurs sur le plan de la grammaire du texte. Les utilisateurs recourant le plus fréquemment à Antidote, pour leur part, effectuaient moins d’erreurs non seulement en grammaire du texte, mais aussi, en syntaxe et en ponctuation. Laurier et Diarra (2013), de leur côté, ont souligné que le recours au correcticiel exerçait un effet positif, mais limité. Dans leur étude, les chercheurs ont soumis les participants et participantes à deux tests d’écriture : le premier se déroulait en modalité numérique, et le second, en modalité manuscrite. À l’ordinateur, certains élèves ont eu accès au correcticiel intégré à Word ainsi qu’au logiciel Antidote, tandis que les autres en étaient privés. Les analyses ont montré que les participants n’ayant pas eu accès aux correcticiels ont vu leur note globale augmenter au second texte, produit à la main. Cela suggère que l’utilisation du traitement de texte sans les correcticiels, qui constituent l’une des forces de la modalité numérique, a entravé certains aspects du processus d’écriture. Au contraire, la note globale des scripteurs ayant eu accès aux correcticiels a diminué de 0,79 point pendant la tâche manuscrite. C’est donc dire que ces participants ont obtenu un résultat légèrement plus élevé en utilisant le traitement de texte et les correcticiels qu’en travaillant selon l’approche traditionnelle. Comme cette diminution est minime, les auteurs concluent que le numérique exercerait un effet réel, mais faible, sur la qualité de l’écriture.

En somme, un corpus d’études scientifiques laisse entrevoir que le numérique rejaillit vraisemblablement de façon positive sur la qualité de l’écriture. Cet effet semble toutefois limité et, selon les contextes d’expérimentation, sa nature apparait varier. Or, à notre connaissance, peu d’études ont exploré ses retombées dans le contexte des évaluations ministérielles québécoises, notamment l’épreuve unique de français, langue d’enseignement, de 5^e secondaire. En poursuivant les quatre objectifs spécifiques mentionnés dans le tableau 1, nous avons voulu combler cette lacune.

Méthodologie

Trois-cent-quatre élèves québécois de 5^e secondaire, tous issus d’écoles francophones publiques, ont pris part à cette étude quasi expérimentale[2]. Par souci de représentativité, nous avons recruté les élèves dans douze classes de cinq régions du Québec. Pendant la collecte de données, les élèves ont participé à deux simulations de l’épreuve unique, qui les ont amenés à produire deux lettres ouvertes d’environ 500 mots à partir de tâches conçues par le MEES. Tous ont réalisé la première simulation de façon manuscrite. Lors de la seconde, quatre modes d’écriture différents ont été mis à l’essai (tableau 2). Pour limiter les biais, les élèves de chaque classe se sont vus assignés aléatoirement à l’un des quatre modes. Les conditions de passation de l’épreuve unique ont été reproduites le plus fidèlement possible, notamment en ce qui concerne le temps maximal : les scripteurs n’ont pu utiliser plus des 3 h 15 allouées par le MEES pour terminer la tâche.

Formation à Antidote 

Par l’entremise de capsules vidéos[3], les élèves du groupe D ont reçu une formation de base à Antidote pour savoir comment réagir aux différentes détections proposées par le logiciel, puis comment exploiter certaines de ses fonctionnalités (ex. : repérage des phrases trop longues, impersonnelles ou averbales; analyse du vocabulaire à l’aide de différents prismes d’Antidote). Voici les capsules vidéos en question :

• Capsule d’orientation

• Présentation de la séquence et prise en main d’Antidote

• Réviser la syntaxe à l’aide d’Antidote

• Réviser le lexique à l’aide d’Antidote

• Réviser l’orthographe et la typographie à l’aide d’Antidote

Au fil du visionnage des capsules, nous avons demandé aux participants et participantes de réviser deux extraits de lettres ouvertes produites par des scripteurs de la 5^e secondaire. En recourant aux fonctionnalités d’Antidote abordées dans les vidéos, ils ont eu à corriger les erreurs présentes dans les textes, mais aussi, à retravailler le style de ces derniers. Ces deux exercices visaient à les initier à la révision avec Antidote avant la deuxième simulation de l’épreuve unique.

Corpus d’étude et analyses

Les 608 textes produits, soit 304 au prétest et 304 au post-test, ont été évalués par des correcteurs et correctrices ayant déjà travaillé pour le compte du MEES. Les critères d’évaluation usuels du Ministère ont été utilisés :

1. Adaptation à la situation de communication;
2. Cohérence du texte;
3. Utilisation d’un vocabulaire approprié;
4. Construction des phrases et ponctuation appropriées;
5. Respect des normes relatives à l’orthographe d’usage et à l’orthographe grammaticale.

Placés sous la responsabilité d’une superviseure, les correcteurs et correctrices accomplissaient leur travail dans des conditions similaires à celles des sessions de correction centralisée. Comme chaque texte a été corrigé par deux évaluateurs de façon indépendante, c’est la moyenne des résultats octroyés qui a servi au traitement statistique des données. Lorsque les évaluations divergeaient considérablement, la superviseure a procédé à un arbitrage : seul le résultat obtenu à la suite de ce processus a alors été pris en compte. Notons que les textes manuscrits produits au post-test ont été retranscrits à l’ordinateur avant d’être évalués, et ce, pour éviter d’éventuels biais. De plus, nous avons collecté des données relatives à la durée de passation de l’épreuve et à la longueur des textes produits.

Sur le plan méthodologique, précisons que nous avons principalement mené des analyses de la variance (ANOVA) à mesures répétées avec deux temps de mesure (prétest et post-test) et la modalité d’écriture comme variable intergroupe. En présence d’une interaction entre le temps de mesure et le groupe (A, B, C ou D), nous avons réalisé des analyses complémentaires.

Résultats relatifs à la qualité de la langue

Tout d’abord, nous n’avons pu mettre en évidence d’interaction entre le temps de mesure et le groupe en ce qui concerne l’adaptation à la situation d’écriture, la cohérence du texte, la construction des phrases ainsi que la ponctuation. Autrement dit, pour ces critères, nous n’avons pu établir de lien entre les modalités d’écriture et les performances des participants.

En revanche, sur le plan de l’orthographe d’usage, nous avons constaté une interaction significative. Les analyses secondaires ont montré que les utilisateurs d’Antidote font moins d’erreurs que les autres participants. En effet, les élèves des groupes C (Antidote sans formation) et D (Antidote avec formation) ont commis 0,27 erreur d’orthographe d’usage de moins tous les 100 mots, une diminution de 0,87 et de 0,77 erreur respectivement par rapport au prétest. Si les élèves des groupes A (papier-crayon), C (Antidote sans formation) et D (Antidote avec formation) ont amélioré leurs performances au post-test, ce n’était toutefois pas le cas chez ceux du groupe B (traitement de texte seul).

Nous avons également constaté une interaction significative entre le temps de mesure et le groupe au chapitre de l’orthographe grammaticale. Là encore, il est apparu que les utilisateurs d’Antidote performaient mieux que leurs pairs : les élèves du groupe D ont commis 1,15 erreur tous les 100 mots, soit une baisse de 1,53 erreur par rapport au prétest. Les élèves du groupe C, eux, ont commis 1,10 erreur tous les 100 mots, soit une diminution de 1,50 erreur. Les résultats des participants recourant au traitement de texte seul ou écrivant à la main n’ont pas varié significativement.

Finalement, l’analyse des données relatives au vocabulaire suggère que les utilisateurs formés à Antidote commettraient plus d’erreurs que leurs pairs. Les tests statistiques complémentaires montreraient en effet une distinction entre le groupe D (Antidote avec formation) et les autres : au post-test, les élèves du groupe D commettent 0,43 erreur de vocabulaire tous les 100 mots, soit une augmentation de 0,13 erreur par rapport au prétest. Nous émettrons plus loin une hypothèse pour expliquer ce résultat surprenant.

Résultats relatifs à la durée de passation et à la longueur des textes

En ce qui concerne la durée de passation de l’épreuve, nous avons bel et bien mis en évidence une interaction entre le temps de mesure et le groupe. Les analyses secondaires montrent que la durée de rédaction diminue dans chacun des groupes au post-test. Toutefois, au post-test, le temps pris par les élèves des groupes A (contrôle) et D (Antidote avec formation) diffère significativement de celui pris par les élèves des groupes B (traitement de texte seul) et C (Antidote sans formation). Si les premiers ont mis respectivement 152 et 145 minutes pour réaliser l’épreuve, les seconds en ont mis respectivement 130 et 125.

Finalement, sur le plan de la longueur des textes produits, l’ANOVA à mesures répétées a également révélé une interaction entre le temps de mesure et le groupe. Autrement dit, du prétest au post-test, la longueur des textes produits a évolué différemment selon la modalité d’écriture. Les analyses secondaires montrent que les textes numériques comptaient 597 mots en moyenne tandis que les manuscrits en comptaient plutôt 536.

Incidence du mode d’écriture sur la réussite à l’épreuve

On l’a vu, les différentes modalités d’écriture numérique mises à l’essai exercent des effets tangibles sur le rendement des scripteurs. Or, comment ces modalités influenceraient-elles la réussite à l’épreuve unique de français de 5^e secondaire? D’abord, les utilisateurs d’Antidote, qu’ils aient été formés ou non, sont favorisés : 82,2 % des utilisateurs non formés et 79,5 % des utilisateurs formés auraient satisfait aux exigences et réussi l’épreuve. En revanche, seuls 51,4 % des élèves ayant utilisé le traitement de texte sans outils numériques de révision auraient obtenu la note de passage. En comparaison, le taux de réussite des élèves du groupe contrôle, donc ceux n’ayant toujours eu recours qu’au papier et au crayon, s’établissait à 63 %.

Quelle écriture évaluer?

En somme, le recours au numérique parait influencer les scripteurs adolescents qui passent une épreuve ministérielle. En plus de produire des textes plus longs, ils commettent moins d’erreurs d’orthographe, au point d’être plus nombreux à réussir l’évaluation. En revanche, empêcher les scripteurs de recourir aux outils numériques de révision exerce plutôt un effet négatif.

Fait à noter, tous les élèves ayant pris part à cette étude étaient inscrits à un programme régulier, où les technologies n’étaient pas utilisées de façon intensive durant les heures de classe. On aurait pu espérer que le fait d’offrir une formation à Antidote aux élèves du groupe D les aurait amenés à réussir mieux. Or, ils ne se sont pas démarqués de leurs pairs ne l’ayant pas reçue : ils pourraient même avoir commis plus d’erreurs de lexique que ces derniers. Si cette formation n’a pas livré de fruits dans l’immédiat, nous croyons qu’elle a modifié la façon dont les élèves ont révisé leurs textes. En effet, seuls les participants du groupe D ont mis autant de temps que les élèves du groupe A (papier-crayon) à produire leur texte. Il est donc plausible qu’en révisant avec Antidote, ils aient opéré plus de corrections sur le plan du lexique, mais de façon plus ou moins heureuse. Quoi qu’il en soit, l’ajout d’une brève formation est insuffisant. Tout indique que, pour que des changements notables apparaissent, les scripteurs doivent être rompus à l’utilisation des outils numériques. Ces hypothèses interprétatives gagneraient toutefois à être validées par d’autres recherches.

Les conclusions de cette étude rappellent un principe fondamental : la compétence à écrire doit être évaluée dans des conditions similaires à celles où elle est développée. Alors que des évaluations numériques s’apprêtent à faire leur apparition, il est crucial de réserver une place notable à l’apprentissage de l’écriture numérique, du primaire au collégial. En cela, nos conclusions rejoignent celles de Laurier et Diarra (2015) :

Plus encore, à l’heure actuelle, tant dans la sphère privée que dans la sphère publique, les élèves recourent essentiellement au numérique pour produire des textes et communiquer. Or, dans le cadre de cette étude, les technologies se substituaient à des outils traditionnels (modalité B, traitement de texte seul), ou, au mieux, les « augmentaient » (modalités C et D, Antidote, sans formation et avec formation). Ce type d’intégration des technologies n’était pas propice au déploiement des dimensions spécifiques à l’écriture numérique. On est donc en droit de se demander si des épreuves numériques qui constitueraient une simple transposition des tâches traditionnelles évalueraient l’écriture numérique avec pertinence. Dans un autre ordre d’idées, si l’on dote les scripteurs d’outils nouveaux, il faudra adapter les seuils de réussite en conséquence, voire réviser les critères d’évaluation qui servent aujourd’hui. Il s’agit là d’un chantier ambitieux et inachevé.  

Comme le soulignait Bouchardon (2014), « [s]i l’écriture numérique transforme nos manières de penser et de connaitre, il existe un enjeu pédagogique fort à enseigner ce qui la caractérise ». Ainsi, l’implantation d’épreuves numériques en classe de français n’aura de sens que si elle est arrimée à des programmes d’études exposant des attentes claires quant à l’apprentissage de l’écriture numérique, tant sur le plan des compétences que des genres à maitriser.

Pascal Grégoire

Professeur de didactique du français à l’Université du Québec en Abitibi-Témiscamingue

Vous avez aimé cet article?

Abonnez-vous à l’infolettre de Correspondance pour être informé une fois par mois des nouvelles publications

S’abonner à l’infolettre