(Sierra superdator vid Lawrence Livermore National Laboratory i Kalifornien.)

När USA tävlar med Kina om att bygga de snabbaste superdatorerna kanske du undrar hur dessa gigantiska maskiner används.

En superdator kan innehålla hundratusentals processorkärnor och kräva en hel byggnad för att inrymma och kyla dem – för att inte tala om miljoner dollar för att skapa och underhålla dem. Men trots dessa utmaningar kommer fler och fler att tas i bruk i takt med att USA och Kina utvecklar nya ”exascale”-superdatorer, som lovar en femdubbling av prestandan jämfört med nuvarande ledande system.

Vem behöver då all denna datorkraft och varför? För att ta reda på det besökte PCMag Lawrence Livermore National Laboratory i Kalifornien, som är hemvist för flera superdatorer, inklusive världens näst snabbaste, Sierra. Där fick vi veta hur systemingenjörer underhåller maskinerna för att betjäna vetenskapliga forskare, men också för att testa något man kanske inte förväntar sig: kärnvapen.

Ett sekretessbelagt system

Omkring 1 000 personer underhåller labbets superdatorer och skapar program för dem.

När du besöker Sierra kommer du att märka att orden ”classified” och ”secret restricted data” är uppsatta på superdatorn, som består av 240 serverliknande rack. Varningarna finns eftersom Sierra behandlar data som rör USA:s kärnvapenlager, inklusive hur vapnen ska detonera i verkligheten.

USA genomförde sitt sista levande kärnvapentest 1992. Sedan dess har landet använt superdatorer för att hjälpa till att genomföra experimenten virtuellt, och Sierra är en del av det uppdraget. Maskinen färdigställdes förra året främst för att hjälpa den amerikanska regeringen att övervaka och testa effektiviteten hos landets åldrande kärnvapenarsenal, som måste underhållas rutinmässigt.

”Det enda sättet för ett avskräckningsmedel att fungera är om du vet att det kan fungera och att din motståndare också vet och tror att det fungerar”, säger Adam Bertsch, systemingenjör för högpresterande datorsystem vid laboratoriet.

Exempel på simuleringar som utförts vid laboratoriets superdatorcentrum. Till vänster visas ett experiment för fusionsenergiforskning där man värmer och komprimerar ett bränslemål med 192 lasrar. Till höger visas en hydrodynamikrelaterad simulering av en ”trippelpunkts-chockinteraktion.”

Inte överraskande kräver simulering av en kärnvapenexplosion en hel del matematik. Grundläggande principer inom vetenskapen kan förutsäga hur partiklar kommer att interagera med varandra under olika förhållanden. Den amerikanska regeringen förfogar också över årtionden av data som samlats in från verkliga kärnvapentester. Forskare har kombinerat denna information för att skapa ekvationer inuti datormodeller, som kan beräkna hur en kärnvapenexplosion kommer att utlösas och förändras över tiden.

I huvudsak försöker man kartlägga en kedjereaktion. Så för att modellerna ska vara exakta har de utformats för att förutsäga en kärnvapendetonation på molekylär nivå med hjälp av verklig fysik. Utmaningen är att beräkna vad alla dessa partiklar kommer att göra kräver en hel del siffertrixande.

Skriv in Sierra. Superdatorn har 190 000 CPU-processorkärnor och 17 000 GPU-kärnor. All denna datorkraft innebär att den kan ta en enorm uppgift, som att simulera kärnklyvning, och bryta ner den i mindre bitar. Varje kärna kan sedan bearbeta en liten del av simuleringen och kommunicera resultaten till resten av maskinen. Processen kommer att upprepas om och om igen när superdatorn försöker modellera en kärnexplosion från den ena sekunden till den andra.

”Du kan göra en fullständig simulering av en kärnenergi i datorn”, tillade Bertsch. ”Man kan ta reda på att den fungerar, exakt hur bra den fungerar och vilken typ av effekter som skulle uppstå.”

En forskningsmaskin

Kabelkluster hjälper Sierra att utbyta data. Andra kablar innehåller vatten för att hålla systemet svalt.

En superdators förmåga att beräkna och modellera partikelinteraktioner är anledningen till att den har blivit ett så viktigt verktyg för forskare. På sätt och vis sker reaktioner runt omkring oss. Det kan handla om vädret, hur en stjärna bildas eller när mänskliga celler kommer i kontakt med ett läkemedel.

En superdator kan simulera alla dessa interaktioner. Forskare kan sedan använda uppgifterna för att lära sig användbara insikter, till exempel om det kommer att regna i morgon, om en ny vetenskaplig teori är giltig eller om en kommande cancerbehandling är lovande.

Den samma tekniken kan också göra det möjligt för industrier att utforska oräkneliga nya konstruktioner och ta reda på vilka som är värda att testa i den verkliga världen. Det är därför som laboratoriet har upplevt en enorm efterfrågan på sina två dussin superdatorer.

”Oavsett hur mycket datorkraft vi har haft skulle folk använda den och be om mer”, säger Bertsch.

Det förklarar också varför den amerikanska regeringen vill ha en superdator i exaskala. Den extra datorkraften kommer att göra det möjligt för forskare att utveckla mer avancerade simuleringar, som att återskapa ännu mindre partikelinteraktioner, vilket skulle kunna bana väg för nya forskningsgenombrott. De exaskaliga systemen kommer också att kunna slutföra pågående forskningsprojekt på kortare tid. ”Det som man tidigare var tvungen att ägna månader åt kan kanske bara ta timmar”, tillade Bertsch.

En forskare ansluter till en superdator i laboratoriet online via en Linux-dator. Ett ”jobb” kan ställas i kö genom att helt enkelt använda ett kommandoradsprogram.

Sierra är en del av ett sekretessbelagt nätverk som inte är anslutet till det offentliga internet och som är tillgängligt för cirka 1 000 godkända forskare i anslutna vetenskapliga program. Omkring 3 000 personer bedriver forskning på oklassificerade superdatorer, som är tillgängliga online förutsatt att du har ett användarkonto och rätt inloggningsuppgifter. (Ledsen, Bitcoin-gruvarbetare.)

”Vi får folk att köpa in sig i datorn vid förvärvstillfället”, säger Bertsch. ”Den summa pengar du lägger in korrelerar med den procentandel av maskinen du köpte.”

Ett schemaläggningssystem används för att säkerställa din ”rättvisa andel” med maskinen. ”Det försöker styra din användning mot den procentandel som du har tilldelats”, tillade Bertsch. ”Om du använder mindre än din rättmätiga andel med tiden ökar din prioritet och du körs tidigare.”

Simuleringarna är alltid igång. En superdator kan köra tusentals jobb samtidigt. En maskin kan också behandla vad som kallas ”hero run”, eller ett enskilt jobb som är så stort att hela superdatorn krävs för att slutföra det på en rimlig tid.

Hålla den igång

Infodringarna i en annan superdator, Sequoia. Ett rack skiljer sig inte så mycket från en server.

Sierra är en superdator, men maskinen har till stor del tillverkats med standarddelar. Processorerna är till exempel chip i företagsklass från IBM och Nvidia, och själva systemet körs med Red Hat Enterprise Linux, ett populärt operativsystem bland serverleverantörer.

”Förr i tiden var superdatorer monolitiska, stora, esoteriska klumpar av hårdvara”, säger Robin Goldstone, labbets arkitekt för lösningar för högpresterande datorsystem. ”Numera är till och med världens största system i princip bara ett gäng servrar som är anslutna till varandra.”

För att maximera användningen måste ett system som Sierra kunna användas för olika typer av forskning. Laboratoriet satte därför igång med att skapa en maskin för alla ändamål. Men inte ens en superdator är perfekt. Laboratoriet uppskattar att Sierra var 12:e timme kommer att drabbas av ett fel som kan innebära ett hårdvarufel. Det kan låta överraskande, men tänk dig att det är som att äga 100 000 datorer; fel och reparationer är oundvikliga.

”De vanligaste sakerna som går sönder är förmodligen DIMM:er för minnen, nätaggregat och fläktar”, säger Goldstone. Lyckligtvis är Sierra så enormt stort att det finns gott om kapacitet. Superdatorn skapar också rutinmässigt minnesbackuper i händelse av att ett fel stör ett projekt.

”I viss mån är detta inte exakt som en dator du har hemma, men en smak av det”, tillade Goldstone. ”Ta spelarna som är besatta av att få det snabbaste minnet och den snabbaste GPU:n, och det är samma sak som vi är besatta av. Utmaningen för oss är att vi har så många igång samtidigt.”

Under superdatorerna finns ett rörsystem som skickar upp rumstempererat vatten för att hålla maskinerna kalla. Sierra är 80 procent vattenkyld och 20 procent luftkyld.

Sierra själv sitter i ett 47 000 kvadratmeter stort rum, som fylls av ljudet från fläktar som håller hårdvaran kall. En nivå under maskinen finns byggnadens vattenpumpningssystem. Varje minut kan det skicka tusentals liter i rören, som sedan går in i superdatorns rack och cirkulerar vattnet tillbaka ut.

På kraftfronten har labbet utrustats för att kunna leverera 45 megawatt – eller tillräckligt med el för en liten stad. Omkring 11 av dessa megawatt har delegerats till Sierra. En superdatorns strömförbrukning kan dock ibland utlösa klagomål från lokala energibolag. När ett program kraschar kan maskinens energibehov plötsligt sjunka med flera megawatt.

Energileverantören ”tycker inte alls om det. Eftersom de måste släppa belastning. De betalar för ström”, säger Goldstone. ”De har ringt oss på telefon och sagt: ’Kan ni inte göra det längre?'”

The Exascale Future

Förra året rankades Sequoia som den tionde snabbaste superdatorn i världen. Men den kommer snart att ersättas av en kraftfullare maskin.

Lawrence Livermore National Lab är också hemvist för en annan superdator kallad Sequoia, som kortvarigt regerade som världens bästa system redan 2012. Men labbet planerar att pensionera den senare i år för att ge plats åt en större och bättre superdator, kallad El Capitan, som är en av de exascale-superdatorer som den amerikanska regeringen har planerat.

Räkna med att den går i drift 2023. Men den kommer inte att vara ensam. El Capitan kommer att ansluta sig till två andra exascale-system, som USA spenderar över en miljard dollar på att bygga. Båda kommer att vara färdiga 2021 vid separata laboratorier i Illinois och Tennessee.

”Vid någon tidpunkt tänker jag hela tiden: ’Är det inte tillräckligt snabbt? Hur mycket snabbare behöver vi verkligen ha de här datorerna?”. Goldstone sade. ”Men det handlar mer om att kunna lösa problem snabbare eller studera problem med högre upplösning, så att vi verkligen kan se något på molekylär nivå.”

Men industrin för superdatorer kommer så småningom att behöva förnya sig. Det är helt enkelt ohållbart att fortsätta bygga större maskiner som slukar mer kraft och tar mer fysisk plats. ”Vi tänjer på gränserna för vad dagens teknik kan göra”, säger hon. ”Det kommer att krävas framsteg på andra områden än traditionella kiselbaserade datachips för att ta oss till nästa nivå.”

Under tiden har laboratoriet samarbetat med leverantörer som IBM och Nvidia för att lösa omedelbara flaskhalsar, bland annat genom att förbättra en superdatorns nätverksarkitektur så att den snabbt kan kommunicera mellan de olika klustren, samt komponenternas tillförlitlighet. ”Processorhastigheten spelar ingen roll längre”, tillade hon. ”Hur snabba processorerna än är så begränsas vi av minnesbandbredden.”

Labbet kommer att tillkännage fler detaljer om El Capitan i framtiden. När det gäller den dator som den ersätter, Sequoia, är systemet på väg mot glömska.

För säkerhets skull planerar labbet att slipa sönder varje del av maskinen och återvinna dess rester. Superdatorer kan komma att köra hemligstämplade regeringsdata, så det är viktigt att alla spår av den informationen rensas bort helt och hållet – även om det innebär att maskinen måste förvandlas till skrot. Det kan låta extremt, men fel kan begås när man försöker radera data virtuellt, så laboratoriet måste vara helt säkert på att data är permanent borta.