Au nom de l’infini

• Maths et littérature

S’il vous arrive d’être allergique aux considérations élégantes sur les belles manières chiffrées de décrire l’ordre, voici pour votre bonheur une épopée dramatique montrant les mathématiques aux prises avec la transe, l’extase, le drame, et Dieu ; sans oublier l’Histoire sous des traits variés, allant de la Russie pré-révolutionnnaire à la glaciation stalinienne.
Il s’agit du livre récent de Jean-Michel Kantor et Loren Graham, Au nom de l’infini, une histoire vraie de mysticisme religieux et de création mathématique ¹Livre paru en anglais en 2009 et en français en 2010, chez Belin, collection Pour la Science. L’illustration de couverture du livre apparaît dans notre logo ; c’est un tableau du peintre Mikhaïé Nesterov (1862-1942).

Les principaux héros de cette saga sont les pères fondateurs de l’école mathématique de Moscou, Dmitri Egorov (1869-1931) et Nikolaï Luzin (1863-1950), ainsi que le mathématicien, philosophe, théologien et prêtre orthodoxe Pavel Florensky (1882-1937).

Leurs travaux mathématiques font suite à deux périodes importantes de l’histoire. D’abord la création de la théorie des ensembles, qu’on peut dater de 1873, année où Cantor a vu et a montré qu’il existe des infinis «plus grands que d’autres», notamment qu’il y a en un sens très précis strictement plus de nombres réels que de nombres entiers. Puis peu après 1900 les progrès de mathématiciens français (dont Emile Borel, Henri Lebesgue et René Baire) portant sur les divers types de régularité que peuvent avoir les ensembles, en particulier les sous-ensembles de la droite réelle, et les fonctions. Restaient bien des problèmes importants et tout à fait ouverts, en particulier ceux consistant à comprendre ce que veut dire définirou nommer un objet mathématique (un ensemble, une fonction …).

C’est là qu’intervient le trio russe Egorov-Luzin-Florensky. Trois personnalités passionnées et énigmatiques, chez qui on ne peut séparer la dévotion aux mathématiques de la vie intérieure spirituelle, religieuse et mystique. Trois hommes qui par ailleurs ne furent pas toujours d’accord, mais dont la profonde amitié survécut à bien des séismes.

Ils avaient en commun une approche mystique et intuitive des mathématiques nouvelles, liée à l’Adoration du Nom. Les pratiquants de cette hérésie orthodoxe visent à entrer en contact avec Dieu par une technique de prière consistant à répéter des centaines de fois les mêmes courtes invocations, tout en veillant à maîtriser leur respiration et leur rythme cardiaque. Le lien étroit entre l’Adoration du nom et l’activité mathématique de Egorov, Luzin et leurs proches est le sujet principal du livre relaté ici. Citons quelques lignes des pages 122-123 : «L’idée que «nommer» est un acte créatif a une longue histoire dans la pensée religieuse et mythologique. (…) Une connivence linguistique existait entre les dissidents religieux russes qui soulignaient l’importance de nommer Jésus et Dieu et les mathématiciens moscovites qui baptisaient de nouveaux ensembles. (…) Florensky pensait que la religion et les mathématiques allaient dans la même direction.»

Du point de vue strictement mathématique, les résultats furent fondamentaux. Par exemple à propos de la question de décider si les sous-ensembles infinis de la droite réelle sont nécessairement ou bien «aussi petits» que l’ensemble des entiers ou bien «aussi grands» que la droite réelle elle-même. Cantor avait répondu en 1879 par l’affirmative pour les sous-ensembles fermés ; Luzin et son étudiant Souslin surent généraliser le résultat à des classes immensément plus riches de sous-ensembles. Mais il fallut attendre Gödel (1940) et Cohen (1963) pour donner une réponse encore plus surprenante, comme quoi pour des ensembles arbitraires cette hypothèse du continu est indécidable (il faudrait bien sûr préciser très soigneusement le sens des mots).

En attendant, Luzin et son école avaient créé la théorie descriptive des ensembles, domaine de recherche très actif, aujourd’hui c’est-à-dire presque cent ans plus tard. Ils avaient aussi créé l’école mathématique de Moscou, dont les représentants (souvent parfaitement athées) ont si brillamment illuminé les mathématiques du XXe siècle : Khinchin, Urysohn, Lyusternik, P.S. Novikov, Kolmogorov, Alexandrov, Pontriaguine, Gelfand, Arnold, S.P. Novikov, et tant d’autres.

L’histoire ne ménagea pas ces héros. Souslin mourut à 25 ans, victime de l’épidémie de typhus qui sévit à Moscou durant la guerre civile. Egorov fut arrêté, et mourut en 1931 d’une grève de la faim, après un an de prison. Florensky fut arrêté en 1928 et de nouveau en 1933 ; il subit la torture et le goulag avant d’être exécuté en 1937. Luzin fut victime d’une conspiration de grande envergure à la fin des années 30 et traversa des périodes de terreur, mais il survécut jusqu’en 1950.

Et pourtant la bonne humeur eut aussi ces grands moments. Par un hiver froid, M. Novikov, biologiste et président de l’Université de Moscou, décida qu’il n’y aurait pas cours si la température des auditoires descendait au-dessous \(-5^o\)C. On ne sait pas dans quelle mesure la règle fut suivie. Mais les étudiants recouvrirent le couloir de neige, l’arrosèrent, et avaient ainsi à disposition une patinoire à l’entrée de la salle du deuxième étage. En attendant leurs professeurs, il se réchauffaient en patinant et en chantant dans le couloir.