(Sierra supercomputer in het Lawrence Livermore National Laboratory in Californië.)

Als de VS met China wedijvert om de snelste supercomputers te bouwen, vraagt u zich misschien af hoe deze gigantische machines worden gebruikt.

Een supercomputer kan honderdduizenden processorkernen bevatten en een heel gebouw vereisen om ze te huisvesten en te koelen – om nog maar te zwijgen van de miljoenen dollars die nodig zijn om ze te maken en te onderhouden. Maar ondanks deze uitdagingen zullen er steeds meer online gaan nu de VS en China nieuwe “exascale” supercomputers ontwikkelen, die een vijfvoudige prestatieverbetering beloven in vergelijking met de huidige toonaangevende systemen.

Dus wie heeft al deze rekenkracht nodig en waarom? Om daar achter te komen, bezocht PCMag het Lawrence Livermore National Laboratory in Californië, waar verschillende supercomputers staan, waaronder ’s werelds op een na snelste, Sierra. Daar leerden we hoe systeemingenieurs de machines onderhouden om wetenschappelijke onderzoekers van dienst te zijn, maar ook om iets te testen wat je misschien niet zou verwachten: kernwapens.

Een geclassificeerd systeem

Om en nabij de 1000 mensen onderhouden de supercomputers van het lab en maken er programma’s voor.

Als je Sierra bezoekt, zie je de woorden “classified” en “secret restricted data” op de supercomputer, die bestaat uit 240 server-achtige rekken. De waarschuwingen bestaan omdat Sierra gegevens verwerkt met betrekking tot de nucleaire voorraad van de VS, inclusief hoe de wapens in de echte wereld zouden moeten ontploffen.

De VS voerde zijn laatste live kernwapentest uit in 1992. Sindsdien heeft het land supercomputers gebruikt om te helpen de experimenten virtueel uit te voeren, en Sierra maakt deel uit van die missie. De machine werd vorig jaar voltooid in de eerste plaats om de Amerikaanse regering te helpen bij het bewaken en testen van de effectiviteit van het verouderende nucleaire arsenaal van het land, dat routinematig moet worden onderhouden.

“Een afschrikmiddel werkt alleen als je weet dat het kan werken, en als je tegenstander ook weet en gelooft dat het werkt,” aldus Adam Bertsch, een high performance computing systems engineer bij het lab.

Voorbeelden van simulaties die zijn uitgevoerd in het supercomputercentrum van het lab. Links is een experiment voor onderzoek naar fusie-energie, waarbij een brandstof wordt verhit en samengeperst met 192 lasers. Rechts een hydrodynamische simulatie van een ‘drievoudige-punt-schokinteractie.’

Het is niet verrassend dat het simuleren van een kernexplosie veel wiskunde vereist. Fundamentele principes in de wetenschap kunnen voorspellen hoe deeltjes onder verschillende omstandigheden met elkaar zullen reageren. De Amerikaanse regering beschikt ook over tientallen jaren gegevens van echte kernproeven. Wetenschappers hebben deze informatie gecombineerd tot vergelijkingen in computermodellen, die kunnen berekenen hoe een kernexplosie zal verlopen en in de loop der tijd zal veranderen.

In wezen probeer je een kettingreactie in kaart te brengen. Om de modellen accuraat te maken, zijn ze ontworpen om een nucleaire ontploffing op moleculair niveau te voorspellen, met gebruikmaking van echte natuurkunde. De uitdaging is dat het berekenen van wat al deze deeltjes zullen doen veel rekenwerk vereist.

Enter Sierra. De supercomputer heeft 190.000 CPU-processorkernen en 17.000 GPU-kernen. Al die rekenkracht betekent dat hij een enorme taak, zoals het simuleren van kernsplitsing, kan opdelen in kleinere stukjes. Elke kern kan dan een klein stukje van de simulatie verwerken en de resultaten doorgeven aan de rest van de machine. Het proces zal zich steeds herhalen terwijl de supercomputer van seconde tot seconde een nucleaire explosie probeert te modelleren.

“Je kunt een volledige simulatie van een nucleair apparaat in de computer doen,” voegde Bertsch eraan toe. “

Een onderzoeksmachine

Kabelclusters helpen Sierra bij de uitwisseling van gegevens. Andere kabels bevatten water om het systeem koel te houden.

Het vermogen van een supercomputer om interacties tussen deeltjes te berekenen en te modelleren, is de reden waarom hij zo’n belangrijk hulpmiddel voor onderzoekers is geworden. In zekere zin vinden overal om ons heen reacties plaats. Denk aan het weer, de vorming van een ster, of wanneer menselijke cellen in contact komen met een geneesmiddel.

Een supercomputer kan al deze interacties simuleren. Wetenschappers kunnen de gegevens vervolgens gebruiken om nuttige inzichten te verkrijgen, zoals of het morgen gaat regenen, of een nieuwe wetenschappelijke theorie klopt, of een nieuwe behandeling tegen kanker veelbelovend is.

Dezelfde technologieën kunnen industrieën ook talloze nieuwe ontwerpen laten onderzoeken en uitvinden welke de moeite waard zijn om in de echte wereld te testen. Het is de reden waarom het lab een enorme vraag naar zijn twee dozijn supercomputers heeft ervaren.

“Het maakt niet uit hoeveel rekenkracht we hebben gehad, mensen zouden het opgebruiken en om meer vragen,” zei Bertsch.

Het verklaart ook waarom de Amerikaanse regering een exascale supercomputer wil. De extra rekenkracht zal wetenschappers in staat stellen geavanceerdere simulaties te ontwikkelen, zoals het nabootsen van nog kleinere deeltjesinteracties, wat de weg zou kunnen vrijmaken voor nieuwe doorbraken in het onderzoek. De exascale systemen zullen ook in staat zijn lopende onderzoeksprojecten in minder tijd af te ronden. “Waar je voorheen maanden mee bezig was, duurt nu misschien nog maar een paar uur,” voegt Bertsch toe.

Een onderzoeker maakt online via een Linux-pc verbinding met een supercomputer in het lab. Een ‘job’ kan in een wachtrij worden geplaatst door simpelweg een opdrachtregelapplicatie te gebruiken.

Sierra maakt deel uit van een geclassificeerd netwerk dat niet is verbonden met het openbare internet en dat beschikbaar is voor ongeveer 1.000 goedgekeurde onderzoekers in aangesloten wetenschappelijke programma’s. Ongeveer 3.000 mensen doen onderzoek op niet-geclassificeerde supercomputers, die online toegankelijk zijn mits je een gebruikersaccount en de juiste inloggegevens hebt. (Sorry, Bitcoin-mijnwerkers.)

“We laten mensen de computer kopen bij de aanschaf,” zei Bertsch. “De hoeveelheid geld die je erin steekt, correleert met het percentage van de machine dat je hebt gekocht.”

Een planningssysteem wordt gebruikt om je “eerlijke aandeel” met de machine te garanderen. “Het probeert je gebruik in de richting van het percentage te sturen dat je is toegewezen,” voegde Bertsch eraan toe. “Als je na verloop van tijd minder dan je eerlijke aandeel hebt gebruikt, gaat je prioriteit omhoog en zul je eerder draaien.”

Simulaties zijn altijd aan de gang. Een supercomputer kan op elk moment duizenden opdrachten uitvoeren. Een machine kan ook een zogenaamde “hero run” uitvoeren, een enkele taak die zo groot is dat de hele supercomputer nodig is om hem in een redelijke tijd te voltooien.

Keeping it up and running

Het binnenste van een andere supercomputer, Sequoia. Een rack verschilt niet veel van een server.

Sierra is een supercomputer, maar de machine is grotendeels gemaakt met commodity-onderdelen. De processors, bijvoorbeeld, zijn enterprise-grade chips van IBM en Nvidia, en het systeem zelf draait Red Hat Enterprise Linux, een populair OS onder serververkopers.

“Vroeger waren supercomputers deze monolithische grote, esoterische klodders hardware,” zei Robin Goldstone, de high performance computing solution architect van het lab. “Tegenwoordig zijn zelfs ’s werelds grootste systemen in wezen niet meer dan een stel servers die met elkaar verbonden zijn.”

Om het gebruik ervan te maximaliseren, moet een systeem als Sierra in staat zijn om verschillende soorten onderzoek te doen. Het lab wilde dus een machine maken die voor alle doeleinden geschikt is. Maar zelfs een supercomputer is niet perfect. Het lab schat dat Sierra elke 12 uur een fout zal hebben, die te maken kan hebben met een hardwarestoring. Dat klinkt misschien verrassend, maar zie het als het bezit van 100.000 computers; storingen en reparaties zijn onvermijdelijk.

“De meest voorkomende dingen die stuk gaan zijn waarschijnlijk geheugen-DIMM’s, voedingen, ventilatoren,” zei Goldstone. Gelukkig is Sierra zo groot dat er genoeg capaciteit is. De supercomputer maakt ook routinematig back-ups van het geheugen voor het geval een fout een project verstoort.

“Tot op zekere hoogte is dit niet precies zoals een pc die je thuis hebt, maar een smaakje daarvan,” voegde Goldstone eraan toe. “Neem de gamers die geobsedeerd zijn om het snelste geheugen en de snelste GPU te krijgen, en dat is hetzelfde waar wij geobsedeerd door zijn. De uitdaging bij ons is dat we er zoveel tegelijk hebben draaien.”

Onder de supercomputers bevindt zich een leidingensysteem dat water op kamertemperatuur omhoog stuurt om de machines koel te houden. Sierra is voor 80 procent watergekoeld en voor 20 procent luchtgekoeld.

Sierra zelf bevindt zich in een ruimte van 47.000 vierkante meter, die gevuld is met het lawaai van ventilatoren die de hardware koel houden. Een niveau onder de machine is het waterpompsysteem van het gebouw. Elke minuut kan het duizenden liters water in pijpen pompen, die vervolgens naar de rekken van de supercomputer gaan en het water weer naar buiten laten circuleren.

Op het gebied van energie is het lab uitgerust om 45 megawatt te leveren – genoeg elektriciteit voor een kleine stad. Ongeveer 11 van die megawatts zijn gedelegeerd aan Sierra. Het stroomverbruik van een supercomputer kan echter af en toe tot klachten leiden van lokale energiebedrijven. Als een toepassing crasht, kan de energievraag van een machine plotseling enkele megawatts dalen.

De energieleverancier “vindt dat helemaal niet leuk. Want zij moeten belasting afvoeren. Ze betalen voor stroom,” zei Goldstone. “Ze hebben ons opgebeld en gezegd: ‘Kunnen jullie dat niet meer doen?'”

De Exascale Toekomst

Vorig jaar was Sequoia de tiende snelste supercomputer ter wereld. Maar die wordt binnenkort vervangen door een krachtigere machine.

Het Lawrence Livermore National Lab heeft ook een andere supercomputer, Sequoia, die in 2012 kortstondig de wereldtop bereikte. Maar het lab is van plan om het later dit jaar met pensioen te laten gaan om plaats te maken voor een grotere en betere supercomputer, genaamd El Capitan, die deel uitmaakt van de exascale supercomputers die de Amerikaanse regering heeft gepland.

Verwacht dat het in 2023 online gaat. Maar hij zal niet alleen zijn. El Capitan zal zich voegen bij twee andere exascale-systemen, waarvoor de VS meer dan 1 miljard dollar uitgeven om te bouwen. Beide zullen in 2021 worden voltooid in afzonderlijke laboratoria in Illinois en Tennessee.

“Op een gegeven moment blijf ik denken: ‘Is het niet snel genoeg? Hoeveel sneller moeten deze computers echt zijn?” zei Goldstone. “Maar het gaat er meer om dat we sneller problemen kunnen oplossen of problemen met een hogere resolutie kunnen bestuderen, zodat we echt iets op moleculair niveau kunnen zien.”

Maar de supercomputing-industrie zal uiteindelijk moeten innoveren. Het is gewoon onhoudbaar om grotere machines te blijven bouwen die meer stroom verbruiken en meer fysieke ruimte in beslag nemen. “We zoeken de grenzen op van wat de technologie van vandaag kan doen,” zei ze. “Er zal vooruitgang moeten zijn op andere gebieden dan de traditionele op silicium gebaseerde computerchips om ons naar dat volgende niveau te brengen.”

In de tussentijd heeft het lab samengewerkt met leveranciers zoals IBM en Nvidia om directe knelpunten op te lossen, waaronder het verbeteren van de netwerkarchitectuur van een supercomputer, zodat deze snel kan communiceren tussen de verschillende clusters, evenals de betrouwbaarheid van componenten. “Processorsnelheid doet er gewoon niet meer toe,” voegde ze eraan toe. “Hoe snel de processors ook zijn, we worden beperkt door geheugenbandbreedte.”

Het lab zal in de toekomst meer details over El Capitan bekendmaken. Wat betreft de computer die het vervangt, Sequoia, het systeem is op weg naar de vergetelheid.

Om veiligheidsredenen is het lab van plan om elk stuk van de machine te vermalen en de overblijfselen te recyclen. Supercomputers kunnen geclassificeerde overheidsgegevens verwerken, dus het is van vitaal belang dat elk spoor van die informatie volledig wordt gezuiverd – zelfs als dat betekent dat de machine tot schroot moet worden verwerkt. Dat klinkt misschien extreem, maar er kunnen fouten worden gemaakt bij het virtueel wissen van de gegevens, dus het lab moet er absoluut zeker van zijn dat de gegevens voorgoed zijn verdwenen.