Un érudit pèse-t-il plus lourd qu’un ignare ? De Boltzmann à Landauer (version longue)

           Ludwig Boltzmann                         Rolf Landauer             

       (1844 – 1906)                              (1927 – 1999)        

© Gerhard Fasol                          © IBM Archive

Une version courte de cet article a été publiée dans le blog informatique Binaire

 du journal Le Monde https://www.lemonde.fr/blog/binaire/ .

Les compléments portent ici surtout sur la thermodynamique des gaz parfaits.

Si la question du poids de la connaissance dans un cerveau fait sourire et n’a guère de sens, celle du poids de l’information chargée dans une clé USB est bien réelle et inspire les Youtubers.

On parle d’information dématérialisée quand elle est accessible sous forme numérique plutôt que stockée dans des bibliothèques soumises à des contraintes architecturales draconiennes tant le papier est lourd. Jusqu’où peut-on aller dans l’allégement du support ? Rien ou Presque rien ? « Rien » signifierait que l’information est immatérielle. « Presque rien » signifierait qu’elle a un lien irréductible avec la matière. Idéalisme d’un côté, matérialisme de l’autre ? éclairer le distinguo vaut le détour. Le chemin nous fait passer par la thermodynamique et l’entropie, celle-là même qui nous fascine quand il s’agit du cosmos, dont la formule S = k logW orne la sépulture de Boltzmann à Vienne. Il  aboutit à un « Presque rien » que quantifie le principe de Landauer. 

Ce qu’en disent les Youtubers

Le Youtuber scientifique Théo Drieu a mis en ligne ce printemps la vidéo Combien pèse la totalité d’internet? sur sa chaîne Balade Mentale (un million d’abonnés). Il ne s’agit bien entendu pas de la masse des infrastructures du net – des millions de tonnes – ni de l’équivalent en masse de l’énergie consommée – dans les 10 à 15 % de l’électricité de la planète. Il s’agit d’une estimation de la masse des électrons nécessairement mis en jeu pour faire circuler l’information sur le net. Dans la vidéo, l’animateur sacrifie à la loi du genre en tripotant une orange afin de marquer les esprits : la masse des informations sur le net serait celle d’une orange. Drieu ne fait là, comme il l’annonce, qu’actualiser les chiffres avancés par son collègue d’Outre-Atlantique Michael Stevens qui dans une vidéo de 2012 intitulée How Much Does The Internet Weigh? croquait modestement une fraise, les millions de térabits sur le net étant alors bien moins nombreux que maintenant. Dans cette même vidéo sur sa chaîne Vauce (vingt-deux millions d’abonnés) Stevens évoquait deux aspects : le nombre d’électrons nécessairement mobilisés selon les technologies du moment pour faire circuler l’information, et le nombre nécessaire pour la stocker. Dans ce cas, il estimait la masse inférieure à celle non plus d’une fraise mais d’une graine de fraiseⁱ. 

Ce qu’en disent les chercheurs

Ce qu’en dit précisément la science est plus saisissant encore, car la limite théorique est des milliards de fois moindre que la masse d’une graine de fraise évoquée par Stevens. Pour le raconter mieux vaut le faire en énergie plutôt qu’en matière, puisque matière et énergie se valent selon la célébrissime formule d’Einstein E = m c².  Cela évite le biais lié à l’usage de la matière pour coder, que l’on peut ajouter, comme la plume encre le papier,  ou retrancher comme le burin incise la pierre.  D’autre part nous nous limitons ici au stockage, sans considérer la circulation de l’information.

La clé de voûte du raisonnement est le principe formulé en 1961 par Rolf Landauer, physicien américain  chez IBMⁱⁱ  : l’effacement d’un bit dissipe au moins une énergie de k T log2 Joule, où k est la constante de Boltzmann, T la température absolue (en Kelvin) et log est le log népérien (voir l'encadré sur les log). L’irruption de Boltzmann au milieu de l’informatique théorique peut surprendre, c’est pourtant lui qui fait le lien entre la physique-chimie – donc les sciences de la matière – et l’informatique – donc les sciences de l’information. Landauer est pour sa part le premier à avoir tiré clairement toutes les conséquences de la théorie de Boltzmann. Les systèmes que considère Boltzmann sont des gaz, avec des milliards de milliards de milliards d’états possibles au niveau de l’ensemble des particules. Landauer applique l’idée de Bolzmann sur un système à … deux états, le 0 et le 1, juste de quoi stocker un bit. Pour étudier les propriétés d’un bit d’information, il applique ainsi un concept – l’entropie - basé sur quatre siècles d’intenses recherches en physique-chimie.  On comprend que les laboratoires de physique demeurent mobilisés pour monter des expériences de confirmation ou d’invalidation de la proposition de Landauer, car  de leurs résultats dépend notre conception des rapports entre matière, énergie et information.  Ces expériences se situent au niveau quantique et font face à des phénomènes complexes comme les fluctuations statistiques d’énergie qui sont ici passés sous silence. Le présent regard est celui d’un informaticien, illustré par un petit démon imaginé par Maxwell, démon qui lui aussi a suscité de nombreuses vidéos.

L’entropie, une histoire de gaz et de piston

La notion d’entropie naît de l’étude du rendement de la machine à vapeur et des travaux de Carnot sur les échanges de chaleur, autrement dit de la thermodynamique au sens littéral du terme. Le principe de Carnot dit que sans apport extérieur d’énergie, une source chaude et une source froide s’équilibrent irréversiblement en un système de température statistiquement homogène. Ce principe a été généralisé en ce qui est maintenant le deuxième principe de thermodynamique, en introduisant la notion d’entropie pour quantifier « le désordre » vers le quel tout système sans apport extérieur d’énergie évolue inexorablement selon ce principe.

L’entropie selon Clausius, une approche macroscopique

Clausius, à la recherche d’une théorie mécanique de la chaleurⁱⁱⁱ, définit en 1865 la baisse d’entropie d’un gaz parfait qu’un piston comprime à température constante par la quantité de chaleur dégagée. Ce travail mécanique w du piston s’exprime dans ces conditions par dw=P dV au niveau infinitésimal et est entièrement converti en chaleur Q. Clausius obtient ainsi  par intégration une équivalence entre le travail mécanique du piston et la chaleur produite lors de la compression.

L’entropie selon Boltzmann, une approche microscopique

Quelques années après Clausius, Bolzmann propose une définition radicalement différente de l’entropie. Cette définition s’appuie sur la description du comportement statistique des particules du gaz et aboutit à la formule déjà évoquée 

                 S = k log W 

k est évidemment appelée la constante de Boltzmann, et log désigne le log népérien (voir encadré sur les log pour qui ne connaitrait pas cette fonction mathématique).

W est la clé du lien avec le numérique, ce symbole  désigne le nombre de configurations possibles du gaz. 

Plus précisément, k vaut R/N, soit k =1,380 649 × 10^-23 J/K (voir l'annexe). W est le nombre de micro-états possibles d’une mole de gaz, c’est-à-dire le nombre w de micro-états possibles (position, vitesse) pour une particule élevé à la puissance le nombre de particules (N pour une mole), car les particules sont supposées indépendantes dans un gaz parfait (la dynamique de l’une n’influe pas celle d’une autre). Si l’espace est divisé en volumes élémentaires microscopiques, le nombre de ces micro-volumes est proportionnel au volume considéré. Le nombre de positions possibles dans V2 ou dans V1 est dans le rapport V2/V1. Que l’on considère V1 ou V2, les vitesses des particules sont les mêmes, donc w2/w1 = V2/V1 et W2/W1 =(V2/V1)^N. On en déduit ΔS= k (logW2 – logW1) = N k log (V2/V1), ce qui est résultat obtenu par Clausius pour une mole compte-tenu de la définition de k. 

On peut toujours supposer que dans la configuration de la figure, le premier bit précise si la particule est dans la moitié gauche ou la moitié droite de la boite. En comprimant le gaz de moitié, ce bit est inutile et peut être effacé. Landauer en déduira plus tard que c’est l’effacement de ce bit pour chaque particule qui produit la chaleur.

Cette présentation de l’entropie de Boltzmann et de son interprétation par Landauer enjambe l’histoire. Entre temps, les réflexions des physiciens ont évolué pas à pas, et elles ne sont pas closes. Le démon de Maxwell illustre ces réflexions. 

Le démon de Maxwell : quand le calcul et la mémoire s’en mêlent

Se plaçant comme Boltzmann au niveau des particules, Maxwell proposa une expérience de pensée comme les physiciens aiment à les imaginer. Maxwell considère une boîte partagée en deux par une cloison munie d’une trappe qu’un démon actionne sans frottement de façon à faire passer une à une des particules. En les faisant passer de gauche à droite, le démon « range les particules », il diminue l’entropie du gaz sans fournir de travail, "il ne chauffe pas", contrairement au piston : le deuxième principe de thermodynamique est contredit !

Pour lever la contradiction, les physiciens cherchèrent du côté des calculs effectués par le démon de Maxwell, considérant que si celui-ci n’exerce pas sur le gaz un travail mécanique, il exerce en quelque sorte un travail intellectuel, il observe, il acquière de l’information et il calcule. Tel fut le point de vue de Szilárd, un des principaux scientifiques du projet Manhattan connu pour son opposition farouche à l’usage de la bombe atomique^v. Puis Brillouin^vi ébaucha l’idée ensuite érigée en principe par Landauer que c’est l’effacement d’information qui augmente l’entropie, comme nous allons le préciser. 

Le principe de Landauer : du gaz à l’ordinateur

Le principe de Landauer est une extrapolation de la formule de Boltzmann aux systèmes informatiques. La relation entre énergie et nombre de micro-états est étendue par analogie aux configurations d’un système informatique. Landauer pose directement ce résultat en considérant un seul bit de mémoire comme un système^vii.

La valeur d’un bit peut être 0 ou 1, deux états sont possibles. Si le bit est effacé, il n’y a plus qu’un seul état, l’entropie a donc diminué par l’effacement du bit, et ce travail d’effacement s’est dissipé en chaleur.

Formellement, en réécrivant la formule de Boltzmann en base 2,  l’entropie passe de k log2 log₂ 2 – à k log2 log₂ 1, elle diminue donc de k log 2 ^viii. Comme l’énergie est liée à l’entropie par le facteur T de température, on obtient la dissipation d’énergie de k T log2 annoncée par Landauer.

Retour sur le démon de Maxwell 

Pour la simplicité de l’interprétation numérique, nous avons seulement considéré plus haut le cas où le volume du gaz est réduit de moitié. Mais le parallèle entre le piston et le démon doit tenir pour tous les taux de compression. Pour pouvoir revenir aux conditions initiales, le démon doit compter les particules de gauche à droite, afin d’en renvoyer autant si l’on poursuit le parallèle. D’après Landauer, pour ne pas chauffer, il ne doit effacer aucun bit intermédiaire, ce qui n’est pas le cas avec l’addition habituelle mais est réalisé par exemple en « comptant des bâtons ». Or le démon fait partie du système physique considéré dans l’expérience de pensée, il doit donc être remis dans son état d’origine si l’on veut faire un bilan énergétique à l’issue de la compression comme c’est le cas ici. Autrement dit, il doit alors effacer sa mémoire, ce qui dégage la chaleur prévue par la physique.

Réversibilité et entropie

Pour imaginer un système informatique ne consommant théoriquement aucune énergie, ce système ne doit effacer aucune information durant ses calculs, ce qui revient à considérer des machines logiquement réversibles, où l’on peut remonter pas à pas les résultats jusqu’aux données (quitte à s’encombrer de calculs). C’est ainsi que nous avons réinterprété le démon. Les opérateurs logiques et arithmétiques usuels ne sont évidemment pas réversibles (l’addition et le ET perdent les valeurs de leurs données) . Cependant Bennett^{ix, x}   a montré que l’on peut rendre tout calcul logiquement réversible en donnant un modèle de machine de Turing qui conserve la trace de tous ses calculs. Ces considérations sont particulièrement prometteuses pour les ordinateurs quantiques, où la superposition d’états dans les q-bits conduit (sous les nombreuses contraintes liées à ce type de machine) à considérer directement des opérateurs réversibles. 

Les physiciens continuent de se passionner pour conforter ou invalider le principe de  Landauer^xii, imaginant des nano machines parfois extravagantes, à cliquets, escaliers, poulies ou trappes et construisant des expériences de plus en plus  fines^xiii pour mesurer l’énergie dégagée par l’effacement  d’un bit^xiv. Jusqu’à présent, le principe est confirmé, dans le cadre de la physique classique comme de la physique quantique. Il n’est cependant pas exclu que sa limite soit un jour abaissée, notamment en exploitant des propriétés de la physique quantique encore mal connues. Cela remettrait en cause les interprétations qui viennent d’être décrites, et ce serait alors une nouvelle source de progrès dans les modèles scientifiques de l’organisation de la matière et de l’information.

En guise de conclusion

La limite de Landauer commence à influencer l’architecture des systèmes et plaide pour l’informatique quantique. Elle fournit un horizon qui nous incite à méditer sur ce qu’est le traitement de l’information, que ce soit par le vivant ou la machine.

La théorie associe à l’information une masse minimale de matière  bien moindre encore que celle mise en scène par les Youtubers, déjà spectaculaire par sa modicité.  De même il faut peu de matière pour libérer beaucoup d’énergie (bombe, centrale nucléaire) et beaucoup d’énergie pour générer quelques particules (au LHC du CERN). Il nous semble aussi plus facile de semer la pagaïe que de structurer au nom du second principe de thermodynamique et de l’entropie. Pourtant l’univers fabrique sans cesse de nouveaux objets cosmiques et la vie s’est développée sur sur terre^xv. Nous devons nous méfier de nos appréciations sur le petit ou le grand, le beaucoup ou le peu, qui sont des jugements attachés à notre échelle et à notre condition. 

_____________________________

ANNEXE

Les gaz parfaits : quatre siècles de physique et de chimie 

A la fin du 17e siècle, Boyle et Mariotte constatent que pour tout gaz, à température constante, le produit PV de la pression P et du volume V est constant. Au début du 19e siècle, les recherches concourent à établir en outre que, si la température varie, PV est une fonction affine de cette température mesurée en degrés Celsius, ce qui mène au milieu du siècle Kelvin à poser par extrapolation l’hypothèse du zéro absolu et son estimation à – 273 degrés Celsius. Il s’en suit que par définition PV/T est constant avec T mesurée en degrés Kelvin, et cette constante ne dépend pas de la nature du gaz mais seulement de sa quantité. Ce résultat est connu sous le nom de loi des gaz parfaits.

Cette loi s’interprète grossièrement en termes de cinétique des particules de gaz : si on double la température, on agite davantage les molécules qui de ce fait doublent la pression ou, pour garder la pression occupent le double de volume. L’adjectif parfait capte les limites du modèle : sous forte pression les molécules sont souvent proches et les forces d’interaction entre elles ne sont plus négligeables ; il en est de même en basse température, où les molécules ralenties peuvent rester proches.

Avogadro pose par ailleurs que dans des mêmes conditions de pression et de température, à volume égal, tous les gaz comportent autant de molécules. Cette loi s’appuie sur l’observation des proportions de matières qui rentrent en réaction chimique entre elles (par exemple 12 grammes de carbone et 32 grammes de dioxyde forment 44 grammes de CO2). Ce nombre, appelé nombre d’Avogadro et noté NA (ou simplement N) est évalué au début du 20e siècle (NA = 6,022 140 76 × 1023 ). N est par définition le nombre d'atomes dans 12 grammes de carbone, donc de particules contenues dans une mole de gaz parfait, quantité qui occupe un volume de 22,4 litres environ dans des conditions usuelles de température et de pression. 

Cette propriété permet d’introduite la constante R appelée constante des gaz parfaits, comme la valeur de PV/T pour une mole de gaz

(ou PV/T = nR pour n moles de gaz)

___________________________________

NOTES

i Estimation tirée d’articles universitaires. Cinquante ans avant, Richard Feynman, prix Nobel de physique , dans sa célèbre conférence de 1959 intitulée There's Plenty of Room at the Bottom, annonciatrice de l’essor des nanotechnologies, estimait que l’on pourrait coder avec les technologies de l’époque toutes les connaissances du monde dans un grain de poussière, et indiquait les pistes pour le faire.

iiRolf Landauer, Irreversibility and Heat Generation in the Computing Process, IBM Journal of Research and Development, 5(3), 183–191 (1961).

iii Die mechanische Wärmetheorie, Friedrich Vieweg und Sohn ed (1865 -1867).

ivHistoriquement, le démon trie les particules les plus rapides et les plus lentes, distribuées statistiquement autour de la valeur moyenne, pour créer une source chaude et une source froide à partir d’un milieu en équilibre thermique.

vLa première planche de La bombe, BD consacrée au projet Manhattan, illustre un cours de Szilárd sur le sujet en 1933. Alcante, Bollée, Rodier, Ed. Glénat, 2020.

viBrillouin est sans doute un des noms les moins connus de ceux cités ici. Alfred Kastler, prix Nobel de physique, lui rendait hommage dans les colonnes du Monde lors de sa disparition 1969 : Léon Brillouin : un des plus brillants physiciens français.

viiEn réalité un réseau de bits statistiquement liés, pour des raisons de phénomènes physiques.

viiiPar définition les log transforment les multiplications en additions. Donc log 1x1 = 2 log 1 = log 1, d’ouù log 1 = 0

ixC. H. Bennett, Logical reversibility of computation, IBM journal of Research and Development, 1973.  C. H. Bennett, Notes on Landauer’s Principle, Reversible Computation, and Maxwell’s Demon, 2002 https://arxiv.org/abs/physics/0210005

xJ.-P. Delahaye, Vers du calcul sans coût énergétique, Pour la science, pp 78-83, janvier 2017

xiiLa plupart des références données ici sont les références historiques – il est souvent instructif de découvrir les idées « dans leur jus ». Cependant il suffit de parcourir le net pour en trouver des récentes en pagaille.

xiiiLes fluctuations statistiques ici négligées y jouent un rôle important.

xivSéminaire information en physique quantique de l’Institut Henri Poincaré, 17/11/2018

vidéos sur carmin.tv, les mathématiques vivantes.

Landauer et le démon de Maxwell, Sergio Ciliberto.

Thermodynamique et information, Kirone Mallik.

xvDans son article déjà cité, Bennett évoque l’économie de moyens de la duplication des gènes, déjà remarquée par Landauer en 1961.

Créé le 12 novembre 2024. En construction. Patience...