Site WWW de Laurent Bloch
Slogan du site

ISSN 2271-3905
Cliquez ici si vous voulez visiter mon autre site, orienté vers des sujets moins techniques.

Pour recevoir (au plus une fois par semaine) les nouveautés de ce site, indiquez ici votre adresse électronique :

Concevoir un examen de programmation
(et le corriger)
Article mis en ligne le 8 février 2016
dernière modification le 10 février 2016

par Laurent Bloch
logo imprimer
Licence : CC by-nd

Cet article fait suite à celui intitulé Enseigner l’informatique aux biologistes.

 Enseigner la programmation à des débutants

Depuis quelques années j’enseigne avec quelques collègues la programmation dans un cursus de bioinformatique au Cnam. Au premier semestre l’unité d’enseignement (UE) Initiation à la programmation comporte 36h de cours et 36h de travaux dirigés, l’UE du second semestre, de mêmes dimensions, est intitulée Algorithmique de la bioinformatique, le tout pour un total de 12 ECTS (l’unité de compte européenne standard des enseignements du supérieur). La doctrine des enseignements du Cnam veut que le volume horaire soit plus faible que dans les universités, au motif que ce déficit d’enseignement serait compensé par la pratique professionnelle des auditeurs (on ne dit pas étudiants) dans l’entreprise où ils ont, en principe, un emploi (le Cnam s’adresse à un public d’auditeurs engagés dans la vie professionnelle). Chacune de ces UE est sanctionnée par un examen.

Une caractéristique des auditeurs de ces UE est que ce sont des biologistes. La première conséquence à en tirer, ce dont une expérience précédente à l’Institut Pasteur m’avait déjà donné l’occasion, est la nécessité d’éviter les exemples ou les applications mathématiques, parce que l’auditoire risque d’y être peu réceptif. Chaque année j’annonce la liste limitative des chapitres mathématiques pour lesquels des notions très élémentaires pourront être utiles, outre l’addition et la multiplication :

- les ensembles ;
- la logique des prédicats ;
- les fonctions ;
- les systèmes de numération et la représentation des nombres ;
- l’analyse combinatoire ;
- l’algèbre linéaire.

Ici j’insiste : il ne s’agit pour chacun de ces domaines que de notions élémentaires, telles que les connaît un bon élève à la fin de l’enseignement secondaire, inutile de charger la barque. On me dit que les programmes du secondaire abandonnent peu à peu tout ce qui a trait aux nombres et à ce que l’on nomme « algèbre abstraite », c’est-à-dire les notions de base de théorie des ensembles : c’est très regrettable, pas seulement pour l’informatique.

Une autre caractéristique du public biologiste à considérer est la différence de nature entre biologie et informatique : la biologie est une science de la nature, qui décrit et tente d’expliquer des phénomènes naturels. Le rôle de l’étudiant est de retenir les descriptions et les explications et d’être en mesure d’en parler intelligemment (il y a belle lurette que les universités ne sont plus en mesure de mettre à la disposition de leurs étudiants des laboratoires dignes de ce nom où ils pourraient s’adonner au versant expérimental de la biologie, en tout cas dans le premier cycle ; c’est misérable mais c’est ainsi ; si je pouvais être démenti j’en serais ravi).

L’informatique ne décrit aucune réalité, elle construit des objets abstraits auxquels elle donne une capacité d’agir. L’important n’est donc pas que l’auditeur retienne ce que dit l’enseignant, mais qu’il soit capable de construire ses propres objets. Si en cours l’enseignant passe le plus clair de son temps à écrire des programmes au tableau (c’est ce que je fais), ce n’est pas pour que les auditeurs les apprennent, mais pour qu’ils les imitent.

Il est donc indispensable de programmer soi-même, par ses propres moyens, en tête à tête avec son ordinateur. Sauf à consentir à cet exercice, point de succès. Convaincre les auditeurs de cette nécessité, et obtenir qu’ils agissent en conséquence, est le plus difficile. Cette difficulté n’est pas propre à ce public en particulier, des collègues qui enseignent dans des cursus d’informatique pure et dure m’ont dit la rencontrer également. Ce qui est sûr, c’est que seuls atteindront le but ceux qui auront programmé, et que c’est à eux seuls qu’il convient d’accorder le visa de l’examen. Le donner à ceux qui n’ont jamais programmé serait un très mauvais service à leur rendre, et risquerait de donner naissance à une population de pseudo-informaticiens, il en existe déjà assez comme cela par génération spontanée, ou du fait de certains enseignements qui sont des escroqueries intellectuelles.

 Comment enseigner

Aujourd’hui la mode est aux MOOC, il en est d’ailleurs d’excellents comme celui-ci. Ce n’est pas si nouveau que cela, déjà dans les années 1980 j’ai participé au Cnam à des projets de ce que l’on appelait alors Enseignement à distance, et les résultats étaient significativement bons. Mais je ne crois pas que ces méthodes qui opèrent par le truchement d’ordinateurs et de réseaux soient suffisantes. L’enseignement, me semble-t-il, est fondamentalement une entreprise de séduction, et d’ailleurs de séduction réciproque (c’en est d’ailleurs un danger, vis-à-vis duquel l’enseignant scrupuleux doit toujours se tenir sur ses gardes) ; or la séduction opère mieux en situation de présence réelle du séducteur.

Il y a aussi la question du vidéo-projecteur : chaque fois que la paresse d’écrire au tableau m’a poussé à son usage, force m’a été de constater que je n’avais plus qu’à recommencer le cours. Autant cet appareil est bien adapté à un exposé cursif d’une heure ou deux, autant lorsqu’il s’agit d’apprendre vraiment à faire des choses il ne convient pas. Certes, l’usage pour mes cours d’un langage de programmation concis à la syntaxe très sobre (Scheme) m’aide à pouvoir tout écrire au feutre ou à la craie. Et en outre j’ai reçu, pour ce choix démodé, un soutien de poids, de Cédric Villani, qui explique que l’avantage de la craie, c’est qu’elle va, sur le tableau, à la même vitesse que la pensée. On ne saurait mieux dire.

Depuis déjà quelques années le dernier mot de l’enseignement de la programmation semblerait être la conduite de projet par les étudiants. Oui, sans doute, mais pas partout ni tout le temps. Un étudiant qui débute en programmation doit d’abord ingurgiter un certain volume de connaissances techniques avant de voler de ses propres ailes. L’auto-apprentissage et les échanges de pair à pair peuvent occasionner beaucoup de pertes de temps et de mauvais choix comme j’ai eu l’occasion d’en faire moi-même l’expérience. Un débutant aura du mal à déterminer l’objet de son projet. Et de toute façon, avec le petit nombre d’heures dont nous disposons pour ces enseignements du Cnam, le mode projet est impossible : de par mon expérience à l’Institut Pasteur, il faut au moins 200 heures d’enseignements avant de pouvoir lancer les étudiants dans un projet, pour lequel il leur faudra encore 200 heures de travail. Les licences d’informatique et les écoles d’informatique disposent peut-être de tels budgets horaires, mais pas le Cnam.

Pour la remise en cause du tout-projet dans l’enseignement de la programmation je dispose aussi d’un allié ; Mark Guzdial, professeur au Georgia Institute of Technology, a publié dans le numéro de février 2015 des Communications of the ACM (CACM) un article intitulé What’s the Best Way to Teach Computer Science to Beginners ?, où il défend un peu le même point de vue que moi : placer des étudiants débutants en situation d’avoir à découvrir par eux-mêmes l’information dont ils ont besoin, en les lançant dans le grand bain comme s’ils étaient déjà des professionnels, est une mauvaise idée.

 Concevoir un examen de programmation

Venons-en à la question de l’examen. Puisqu’il conclut un cours de programmation, il consistera en écriture de programmes.

 Examen sur ordinateur

L’écriture de programmes par les candidats peut avoir lieu sur ordinateur. C’est ce qui semble le plus logique, mais l’organisation pratique de l’examen ne va pas sans difficultés :

- il faut équiper le centre d’examens en ordinateurs, dotés de tous les logiciels nécessaires mais dépourvus de moyens de communication propres à permettre la fraude ; lorsque j’étais à l’université Paris Dauphine l’équipe du Centre d’Ingénierie pédagogique dirigé par Cécile Chevalier avait mis en œuvre une plateforme adéquate, mais cela n’avait été ni facile ni bon marché ;
- pour bien faire il faut une plate-forme logicielle qui permette la correction automatique des épreuves ; Christian Queinnec a présenté en 2010 aux Journées francophones des langages applicatifs (JFLA) une telle plate-forme, réalisée par lui et dont l’expérience est poursuivie par le MOOC cité ci-dessus : c’est sûrement plus de 1 000 heures de travail, parce qu’il faut, en sus des contraintes évoquées ci-dessus, pouvoir fournir au candidat des réponses telles que « la question était <...>, la réponse correcte était <...>, vous avez répondu <...>, ce qui diffère de la réponse correcte ainsi : <...> » ; on mesure la difficulté de l’exercice, qui en plus demande des ajustements pour chaque épreuve particulière, pour chaque langage proposé aux candidats ; l’entreprendre n’est raisonnable que pour de grands effectifs et pour des épreuves qui comportent l’écriture de programmes d’une taille certaine ; pour nos cours du Cnam, qui plafonnent à quarante candidats, la tâche était démesurée.

 Examen sur papier avec documents

Après renonciation à l’examen sur ordinateur restait à imaginer un examen sur papier. Cette idée peut sembler saugrenue à quiconque connaît surtout de l’informatique l’art de promener judicieusement une souris sur un cliquodrome, ce qui a aussi peu à voir avec l’informatique que l’examen du permis de conduire avec la thermodynamique.

En fait la programmation avec crayon et papier est un exercice exigeant et formateur, parce que le programmeur y est privé de l’aide de l’ordinateur, cet ami fidèle qui sait vous indiquer vos erreurs de syntaxe et indenter correctement pour vous les textes de vos programmes, ce qui les rend lisibles, et donc compréhensibles. L’excellente école russe de programmation doit en partie sa qualité au fait que sous le régime soviétique les ordinateurs étaient fort rares, et que les étudiants recevaient, en quelque sorte pour compenser, un fort enseignement théorique.

Reste le problème de la syntaxe : écrire un programme, c’est écrire un texte selon un langage à la syntaxe rigide. Comme l’a bien expliqué Matthias Felleisen, l’apprentissage de la syntaxe d’un langage est bien sûr une étape obligée, mais dépourvue de tout intérêt intellectuel, vers l’exercice de la programmation, il convient de la réduire au minimum.

Si l’examinateur autorise les candidats à se munir de documents, il concevra le sujet en conséquence. Il sera notamment fondé à exiger que les programmes fournis soient syntaxiquement corrects, puisque les candidats auront eu accès au manuel de référence du langage. Le sujet pourra ainsi être plus difficile.

D’expérience, pour un examen d’informatique avec documents autorisés, les candidats arrivent avec des tonnes de manuels dans lesquels ils perdent un temps considérable à chercher des solutions aux problèmes posés par l’examinateur. Ce n’est pas un service à leur rendre que de leur donner une telle autorisation.

 Examen sur papier sans documents

Notre choix se porta vers la solution la plus simple tant pour les candidats que pour les examinateurs : épreuve sur papier sans aucun document autorisé. Et pour élaborer les épreuves je me fonde, comme pour bien d’autres choses, sur les conseils de Jacques Arsac, prodigués en l’occurrence par le canal d’un article de Technique et Science informatiques (TSI) dont malheureusement je ne dispose plus, et que l’on ne trouve pas sur le Web, ce qui serait toujours bien utile.

Comme l’expliquait donc Jacques Arsac, puisque les candidats ne disposent ni d’ordinateur ni de documents pour les aider, il faut tolérer que les textes des programmes comportent des erreurs, et notamment des erreurs de syntaxe. En effet sinon ils seraient conduits à apprendre le manuel de référence par cœur, exercice punitif et peu productif. Afin de limiter les erreurs de syntaxe, les sujets que je donne en examen comportent toujours des exemples de programmes où figurent les constructions dont les candidats auront besoin pour élaborer leurs solutions, ainsi ils peuvent s’en inspirer.

Pour corriger, je cherche d’abord à savoir jusqu’à quel point le candidat a compris en quoi consistait la programmation, et cela mérite déjà quelques points si c’est suffisant. Par exemple un programme écrit n’importe comment, sans indentation, illisible en un mot, atteste que le candidat n’a jamais vraiment programmé pendant le semestre, et ne mérite donc pas d’être reçu. Ensuite seulement je m’attache à la façon dont le candidat a compris et réalisé l’algorithme demandé. Là aussi il peut y avoir des erreurs, par exemple aux bornes de l’intervalle parcouru par une répétition conditionnelle : ce type d’erreur serait facilement (enfin, cela dépend...) détecté et corrigé par un programmeur muni de l’appareil expérimental que constitue l’ordinateur, mais avec son seul cerveau c’est très difficile. Comme l’écrit Emmanuel Saint-James : « La programmation est une transmission d’un raisonnement à une machine, capable de le reproduire. Par cette reproduction, sans laquelle il n’est point de science, l’ordinateur s’affirme comme un instrument d’objectivation du raisonnement. Il s’inscrit dans la lignée des appareils qui ont permis de passer de l’expérience empirique à l’expérimentation scientifique : l’informatique se distingue des mathématiques par un outil d’expérimentation permettant d’observer, vérifier, réfuter un raisonnement. »

 Dévoiler des parties de la solution ?

Examen n’est pas concours : il ne s’agit pas de classer les candidats selon une relation d’ordre la plus rigoureuse possible, mais de les séparer en deux groupes, ceux dont les acquisitions intellectuelles justifient le succès et ceux qui doivent persévérer parce qu’il n’ont pas acquis ce qu’il fallait, et qui sont donc recalés. Ensuite, au sein de chaque groupe, les notes servent surtout à féliciter ceux qui ont été brillants, à mettre en garde ceux qui ont été reçus de justesse et qui doivent travailler pendant les vacances s’ils veulent échapper à une déconvenue lors du semestre suivant, à redonner du courage à ceux qui ont échoué par incompréhension du but à atteindre mais qui ont fait preuve de bonne volonté, enfin à manifester à ceux qui n’ont rien fait qu’ils ne peuvent espérer tromper leur monde.

Pour savoir auquel des deux groupes appartient l’auteur d’une copie, le plus souvent il suffit d’une fraction de seconde : la présentation du texte des programmes (ou de ce qui est censé en tenir lieu) suffit pour savoir à qui on a affaire. En fait, souvent je donne en sujet d’examen un problème que j’ai traité en cours. Au début j’agissais ainsi prudemment, et je me suis rendu compte que cela ne changeait rien au résultat, en considérant bien sûr qu’il ne s’agit pas d’un concours. Et même en plaçant dans l’énoncé de la question numéro n+1 la réponse à la question numéro n, cela ne change rien : ceux qui doivent échouer échouent, parce que pour eux le langage de la programmation est de toute façon incompréhensible. Et pour ceux qui doivent réussir, cela évite les accidents dus par exemple à la panique de l’examen qui saisit parfois certains candidats.

En tout cas, pour mes prochains cours, je prendrai plus de temps à expliquer en quoi l’informatique diffère de la biologie, pourquoi il faut absolument programmer, et j’espère ainsi convaincre un plus grand nombre d’auditeurs.


Téléchargements Fichier à télécharger :
  • Examen et son corrigé
  • 65.1 ko / PDF
Forum
Répondre à cet article
Concevoir un examen de programmation
Aredius44 - le 13 février 2016

Je souscris à ce billet.

Sur une de mes pratiques (expérience qui n’a pas duré) :
http://lefenetrou.blogspot.fr/2016/02/pedagogie-nihil-nuevi-sub-sole.html

En spécifications, j’ai utilisé comme contrôle une activité professionnelle, la relecture de spécifications ou la relecture de code ou encore la relecture de commentaires de spécs formelles ou de code.

Il est loin le temps où je donnais comme sujet une interview dans différents services d’une entreprise (montage diapos-sons à l’époque). Et que je ne fournissais les documents papiers que sur demande de l’étudiant (ce qui me demandait un sacré boulot préalable et heureusement que l’amphi avait une longue paillasse !). Et l’examen durait longtemps. Si tout ce temps n’est pas rémunéré - je parle de l’enseignant - quel intérêt ? Ah ah.

Quant à PP, c’est un scandale ! quand je suis parti en retraite, j’ai vu mon remplaçant préparer son cours en 5 minutes. Il a cherché des transparents sur le web, les a mis sur sa clé usb et est parti en amphi. Je pensais qu’il s’agissait de son oeuvre. Ben non, il m’a dit qu’il venait de chercher et que c’était facile de trouver un cours tout prêt.

PP c’est extra pour endormir l’amphi. Et montrer comment on conçoit un programme avec PP !

Et quelle merveille maintenant avec la wifi. Les étudiants jouent en réseau alors qu’il sont censés avoir les slides en direct sur leur écran. Ben oui, ça coûte moins cher que de distribuer les transparents sur papier. Et c’est bon pour la planète. C’est l’informatique verte.

Mais chut, l’enseignant se garde bien de se balader dans l’amphi.

Et c’est ainsi qu’on est au top du top de ma pédagogo tic et toc.

séduction ;-)
Eric - le 11 février 2016

oui, je suis d’accord, c’est une séduction réciproque. les années passent, et je m’aperçois que finalement un cours est une co-construction entre l’enseignant et les élèves, et que c’est ce qui rend chaque session de formation unique.

finalement, on a besoin de se voir en direct, la formation à distance n’offre pas de moyen de créer une empathie entre les protagonistes d’un cours. et cette empathie est source de succès, ou, d’échec d’ailleurs parfois...

j’ai peur que le MOOC réinstalle une relation hiérarchique entre celui qui détient la connaissance et celui qui l’apprend... et je crois que ce n’est pas la meilleure façon d’apprendre. même si les auditeurs ont besoin de structurer leur corpus de connaissances, on ne peut négliger qu’ils ont déjà une base en tête (même si elle peut être fausse)... et il faut s’en servir pour rendre le cours vivant et personnel.

dernière remarque, les étudiants changent, un cours ne fonctionne plus de la même façon, je n’ai pas encore trouvé la clef, mais je cherche intensément comment mieux faire passer les concepts, et surtout, les aider à développer leur sens de l’observation et de la critique avec le plus de rigueur possible.

et la séduction réciproque permet la meilleure construction ;-)

séduction ;-)
Laurent Bloch - le 11 février 2016

De mes expériences, notamment l’enseignement à distance au Cnam : les résultats sont bons, à condition qu’il y ait des séances de regroupement où les étudiants se retrouvent face à face avec les enseignants. Et au total, entre ces séances, les contacts par moyens électroniques et le temps passé à élaborer les supports de cours informatisés, il faut toujours la même quantité d’heures d’enseignement par étudiant. Ceux qui envisagent les MOOC comme un moyen de faire des économies sont des technocrates stupides qui n’ont jamais vraiment enseigné.

séduction ;-)
Eric - le 11 février 2016

tout à fait d’accord Laurent, malheureusement, ils ont le pouvoir !!! et même si on fait de la pédagogie, qu’on explique, ils ne font que ce qu’ils ont en tête... dans le pire des cas ça peut se terminer par vendre une grande entreprise à un concurrent étranger pour 1 euro... je ne dirai pas le nom ;-)

oui, la formation à distance marche pas mal au Cnam, les regroupements sont importants en effet, toutefois, les vidéos ne permettent pas de lire ce qu’on écrit au tableau ce qui n’est pas idéal pour ceux qui ne peuvent jamais venir...

mais c’est peut être une discussion trop Cnam ?

organigramme
Louis Pouzin - le 9 février 2016

Utilises tu l’organigramme, ou toute autre forme de visualisation à 2 dimensions, comme prélude au codage ?
Ça pourrait servir aussi à organiser une expérience de biologie.

organigramme ?
Laurent Bloch - le 9 février 2016

Non, pas d’organigramme, j’ai utilisé un temps des arbres syntaxiques, mais j’ai abandonné les représentations graphiques au profit du pseudo-code. Je prévois de migrer mon pseudo-code hybride de Pascal et de C vers le système +cal de Leslie Lamport.

Quant à la modélisation d’expériences de biologie, j’avoue ne pas y avoir réfléchi, et sans doute y a-t-il plus compétent que moi pour ce faire. Merci de la suggestion en tout cas !

Concevoir un examen de programmation
Sylvie Thiria - le 9 février 2016

Bonjour Laurent,

Il me semble que ta référence à l’article d’ACM n’est plus la bonne

http://cacm.acm.org/magazines/2015/2/182637-whats-the-best-way-to-teach-computer-science-to-beginners/fulltext

Amicalement
Sylvie

Concevoir un examen de programmation
jlc - le 9 février 2016

Je cite :
« Afin de limiter les erreurs de syntaxe, les sujets que je donne en examen comportent toujours des exemples de programmes où figurent les constructions dont les candidats auront besoin pour élaborer leurs solutions, ainsi ils peuvent s’en inspirer. »
Quelle bonne idée sur ce point !
Et je crois que je partage entièrement ton avis



pucePlan du site puceContact puceMentions légales puceEspace rédacteurs puce

RSS

2004-2017 © Site WWW de Laurent Bloch - Tous droits réservés
Site réalisé sous SPIP
avec le squelette ESCAL-V3
Version : 3.87.31