Temperaturen van een serverruimte — interne CFD-simulatie
Home/Datacenter/Projecten/DC10 — intern

Datacenter — DC10 — intern.

Studies voor de dimensionering en de indeling van een datacenter: meerdere crisisscenario's getest om de veerkracht van de klimaatsystemen te valideren.

Project
Datacenter — DC10 — intern
Jaar
2022
Opdrachtgever
Equinix
Locatie
Saint-Denis (Frankrijk)
Type
Datacenter · intern
Een project bespreken

Onderzoek naar de stromingsverschijnselen van een datacenter

EOLIOS Ingénierie voerde de studies uit voor de dimensionering en indeling van een datacenter. Meerdere crisisscenario's zijn onderzocht om de robuustheid van de klimaatinstallaties.

De kern. Studies voor de dimensionering en de indeling van de data hall DC10 (opdrachtgever Equinix, Saint-Denis) met CFD-simulatie. De eerste studies waren niet in overeenstemming met de ASHRAE-normen die voor de locatie gelden en er is een risico op een hotspot vastgesteld: sommige vloerroosters dicht bij de wanden hadden een te hoog debiet, waardoor beslissende roosters bij een server met groot vermogen te weinig lucht kregen. Na optimalisatie van de plaats van de roosters en de controle dat er geen hotspot meer was, zijn meerdere scenario's onderzocht, tot en met het temperatuurverloop bij een onderbreking van het openbare elektriciteitsnet en het herstarten van de noodvoorzieningen.

> 10 kW/rack
dichtheid van de apparatuur
ASHRAE
referentiekader van de locatie
Scenario's
gebruik, storing, netuitval

Studie van het datacenter

In de wereld van de zeer grootschalige datacenters zijn standaarden voor koelsystemen nodig die de veranderende behoeften van de IT kunnen volgen, door de toenemende dichtheid van de apparatuur (meer dan 10 kW per rack). De warmte van apparatuur met hoge dichtheid afvoeren is een kernpunt.

Dat vraagt om het numeriek simuleren van het thermische en stromingsgedrag van de verschijnselen in de hal, in samenhang met de IT-processen en de klimaatsystemen.

De digital twin van de data hall bouwen

De kern van de opdracht is het bouwen van een digital twin van de data hall: een getrouwe virtuele kopie van de zaal, haar racks en alle luchtbehandelingssystemen. Dat model wordt opgebouwd uit de plannen van de locatie, zijn er 3D-maquettes en in technische fiches van de apparatuur, waaruit de ingeblazen luchtdebieten, de afgegeven vermogens per rack en de temperatuursetpoints.

Zodra hij met die gegevens is gevoed, geeft de digital twin het thermische en stromingsgedrag van de zaal weer en dient hij als virtuele proefbank: daarop worden indelingsvarianten, bedrijfsscenario's en crisissituaties getest zonder de productie ooit te verstoren.

Definitie · digital twin

Virtuele en dynamische weergave van een echte installatie, gevoed met haar ontwerp- en bedrijfsgegevens. In een datacenter maakt hij het mogelijk het gedrag van de lucht en de temperaturen door te rekenen, hotspots te voorzien en storingsscenario's te toetsen voordat zij zich voordoen.

Definitie · warme en koude gangen

Indelingsprincipe voor serverruimtes waarbij gangen met aanzuiging van koude lucht en gangen met uitblaas van warme lucht elkaar afwisselen. Het voorkomt menging van de stromen, beperkt de recirculatie en bepaalt rechtstreeks de koelefficiëntie.

Interne CFD-simulatie van een datacenter — digital twin

De aanpak van de interne CFD-simulatie

De numerieke stromingsleer (CFD) verdeelt het luchtvolume van de zaal in een rooster van rekencellen en lost op elk punt de vergelijkingen van de stroming en de warmteoverdracht op. Zo geeft zij de luchtsnelheid, de temperatuur en de druk op elk punt van de data hall weer, van de vloerroosters tot de inlaten van de racks.

  • 01

    Opmeten en modelleren: geometrie van de zaal, indeling van de racks, inblaas- en retoursystemen.

  • 02

    Mesh: verdeling van het luchtvolume, verfijnd ter hoogte van de roosters en de inlaten van de racks.

  • 03

    Randvoorwaarden: ingeblazen debieten, afgegeven vermogen per rack, setpoints van de klimaatsystemen.

  • 04

    Verwerking: temperatuur- en snelheidskaarten, controle van de overeenstemming met de ASHRAE-marges en het opsporen van hotspots.

Definitie · ASHRAE-normen

Aanbevelingen van ASHRAE die de toelaatbare marges voor temperatuur en luchtvochtigheid aan de inlaat van de IT-apparatuur vastleggen. Zij dienen als referentiekader om te beoordelen of een koelconfiguratie aanvaardbaar is.

Optimalisatie van de plaats van de roosters

De resultaten van de eerste studies waren niet in overeenstemming met de ASHRAE-normen die voor de locatie gelden, en er is een risico op een hotspot vastgesteld. Sommige vloerroosters dicht bij de muren konden een overdebiet vertonen, met een onderdimensionering van beslissende roosters bij een server met hoog vermogen tot gevolg.

Na optimalisatie van de plaats van de roosters en de controle dat er geen hotspots meer was, zijn meerdere scenario's onderzocht.

Onthoud dit — de juiste plaats van de inblaasroosters is beslissend: een plaatselijk overdebiet kan een kritiek rack te weinig lucht geven en een hotspot doen ontstaan.

Interne CFD-simulatie: hotspots in beeld
Interne CFD-simulatie: hotspots in beeld

De rol van de vloerroosters in het stromingsevenwicht

In een zaal met een verhoogde vloer doet de ruimte onder de tegels dienst als inblaasplenum: de precisieklimaatunits brengen de koude lucht daar op druk, waarna zij in de koude gangen wordt afgegeven via geperforeerde roosters of vloertegels met regelbaar debiet. De koelprestatie hangt minder af van het geïnstalleerde koelvermogen dan van de verdeling van die lucht daar waar de servers ze nodig hebben.

Twee grootheden bepalen die verdeling: de statische druk in het plenum en de perforatiegraad (of openingsgraad) van de tegels. Een rooster dat te dicht bij een klimaatunit ligt, bevindt zich in een zone waar de lucht snel stroomt en de statische druk laag is, wat het debiet kan verlagen of zelfs een omgekeerde aanzuiging kan veroorzaken, waarbij warme lucht weer in het plenum zakt. Omgekeerd kan een rooster aan het einde van het plenum, waar de druk is hersteld, een overdebiet vertonen ten koste van zijn buren.

Definitie · plenum onder de verhoogde vloer

Volume onder de tegels van de verhoogde vloer, door de klimaatunits op druk gebracht en bestemd om de koude lucht naar de gangen te verdelen. De hoogte, wat er in zit (kabels, leidingen) en de plaats van de roosters bepalen de druk die op elk punt beschikbaar is.

Definitie · perforatiegraad

Het aandeel open oppervlak van een tegel in de verhoogde vloer (geperforeerd rooster of rooster met regelklep). Hij bepaalt het geleverde luchtdebiet bij een gegeven plenumdruk: te hoog dicht bij de klimaatunits brengt hij de verdeling uit balans; goed verdeeld stemt hij het debiet af op de warmtelast van de racks.

De aangehouden plaatsingsprincipes

Het komt erop aan het koude luchtdebiet op de warmtelast af te stemmen van elk rack, en tegelijk een gelijkmatige plenumdruk te behouden. De CFD-simulatie maakt het mogelijk die keuzes te onderbouwen, rack per rack:

  • 01

    De roosters uitsluitend in de koude gangen plaatsen, tegenover de luchtinlaten van de servers, nooit in de warme gangen waar zij de koude lucht zouden verspillen.

  • 02

    De onmiddellijke omgeving van de klimaatunits vermijden, waar de lage statische druk het debiet van de eerste roosters verlaagt of zelfs omkeert.

  • 03

    De perforatiegraad doseren en tegels met regelklep gebruiken om het debiet tegenover de racks met hoog vermogen te versterken.

  • 04

    Het plenum vrijmaken van obstakels (kabelgoten, leidingen) die drukverliezen en zones met onderdruk veroorzaken.

  • 05

    De overdruk aan het einde van de rij beheersen om te voorkomen dat verafgelegen roosters te veel lucht krijgen ten koste van de beslissende roosters.

Onthoud dit. Een rooster in de verhoogde vloer levert alleen nuttige koude als de plenumdruk en zijn perforatiegraad kloppen met de last van het rack dat het bedient. De juiste plaatsing, gevalideerd met CFD, weegt zwaarder dan extra koelvermogen.

Crisisscenario's & veerkracht

Meerdere scenario's zijn gesimuleerd: standaardgebruiksscenario's en scenario's van storing of onderhoud. Ten slotte hebben wij het temperatuurverloop van de zaal in de tijd onderzocht bij een onderbreking van het openbare elektriciteitsnet en het opnieuw opstarten van de verschillende noodvoorzieningen.

De instationaire studie: het datacenter in de tijd simuleren

Waar een simulatie in stationair regime de zaal in evenwicht op één ogenblik beschrijft, transiënte studie berekent het temperatuurverloop seconde na seconde tijdens een gebeurtenis. Dat is de enige manier om de echte veerkrachtvraag te beantwoorden: als de koeling wegvalt, hoeveel tijd is er dan voordat de servers hun kritieke drempels overschrijden?

Het maatgevende scenario is de onderbreking van het openbare elektriciteitsnet. Op het ogenblik van de omschakeling vallen de precisieklimaatunits stil zolang de noodstroomaggregaten starten en de belasting overnemen, terwijl de servers hun volle vermogen blijven afgeven. De luchttemperatuur in de zaal loopt dan zeer snel op, temeer omdat de beschikbare thermische traagheid in het plenum en in het luchtvolume klein is in verhouding tot de dichtheden waarover het gaat.

Definitie · transiënte studie

Instationaire simulatie die het verloop van de temperatuur- en snelheidsvelden in de tijd oplost, vanaf een begintoestand en een tijdlijn van gebeurtenissen. Zij becijfert de snelheid van de temperatuurstijging en de tijd tot de drempels worden overschreden, waar een stationaire studie slechts een stilstaand beeld geeft.

Definitie · thermische traagheid

Het vermogen van de aanwezige massa's (lucht, constructies, apparatuur) om een temperatuurverandering te dempen. In een dichte data hall is zij klein en laat zij weinig marge: bij het uitvallen van de koeling volstaan soms enkele tientallen seconden om de drempels te bereiken.

Wat de tijdlijn van het herstel laat zien

De studie reconstrueert de volledige tijdlijn van het herstel: het wegvallen van de koude, de starttijd van de aggregaten, het herstarten van de ventilatoren en het geleidelijke herstel van de setpoints. Door het verloop rack per rack te volgen legt de simulatie de zones bloot die het eerst hun grenzen bereiken en controleert zij dat geen enkele de drempels overschrijdt voordat de koeling terug is.

  • 01

    Snelheid van de temperatuurstijging per zone, vanaf het ogenblik van de onderbreking.

  • 02

    Tijd tot de kritieke drempel vergeleken met de omschakeltijd van de noodvoorzieningen.

  • 03

    Verloop van de terugkeer naar het setpoint na het herstarten van de aggregaten en de ventilatoren.

  • 04

    Meest blootgestelde zones, als eerste aan te pakken via de indeling of de redundantie.

Onthoud dit. De veerkracht van een data hall blijkt niet uit het evenwicht maar uit de overgang: de instationaire studie zet de tijd tot de kritieke drempel tegenover de hersteltijd van de noodvoorzieningen, en bewijst dat de zaal standhoudt vóór het echte incident.

Wat de digital twin oplevert

Door elke configuratie door te rekenen maakt de digital twin het mogelijk de dimensionering betrouwbaar te maken en de indeling van de zaal vast te leggen vóór elke fysieke ingreep. De correcties, zoals het verplaatsen van de roosters, worden virtueel gevalideerd, wat het risico op fouten in het beheer verkleint.

  • 01

    Hotspots voor zijn en de overeenstemming met de ASHRAE-marges controleren.

  • 02

    Crisisscenario's testen (storing, onderhoud, netuitval) zonder risico voor de productie.

  • 03

    Optimalisatie van de indeling van de racks en van de inblaas voor een betere koelefficiëntie.

  • 04

    Duurzaam beslissingsinstrument: het model is bij elke wijziging van de zaal opnieuw te gebruiken.

Onthoud dit. De digital twin maakt van de koeling van een data hall een meetbaar vraagstuk: elk scenario is virtueel te testen vóór de uitvoering, wat de beschikbaarheid van de zaal veiligstelt.

Vakkennis: interne CFD-simulatie van data halls
Veelgestelde vragen

Data hall DC10 — uw vragen

ASHRAE-normen, plaats van de roosters en crisisscenario's: antwoorden op de vragen van beheerders en ontwerpers vóór een interne CFD-studie.

Wat was het doel van de studie?

De studies voor de dimensionering en de indeling van de data hall uitvoeren en de veerkracht van de klimaatsystemen toetsen met meerdere crisisscenario's, door het thermische en stromingsgedrag van de verschijnselen in de hal te simuleren, zoals in onze interne studie van datacenter DC28.

Waarom waren de eerste studies niet conform?

Het resultaat van de eerste studies was niet in overeenstemming met de ASHRAE-normen die voor de locatie gelden en er is een risico op een hotspot vastgesteld: sommige vloerroosters dicht bij de wanden hadden een overdebiet, wat leidde tot onderdimensionering van beslissende roosters bij een server met groot vermogen.

Hoe is het probleem verholpen?

Door de plaats van de roosters te optimaliseren en daarna te controleren dat er geen hotspot meer was, vóór de verschillende scenario's zijn onderzocht.

Welke scenario's zijn gesimuleerd?

Standaardgebruiksscenario's en scenario's van het type storing of onderhoud, evenals het temperatuurverloop van de ruimte in de tijd bij een onderbreking van het openbare elektriciteitsnet en het herstarten van de verschillende noodvoorzieningen.

Waarom is de dichtheid van de apparatuur een uitdaging?

Met dichtheden die 10 kW per rack kunnen overschrijden is het afvoeren van de warmte van IT-apparatuur met hoge dichtheid een kernpunt voor deze datacenters, wat het simuleren van het thermische en stromingsgedrag van de hal noodzakelijk maakt.

Samenvatting

Videosamenvatting van de studie

3D-CFD-model van de data hall: dimensionering, optimalisatie van de roosters en crisisscenario's (netuitval, herstart van de noodvoorzieningen).

Videosamenvatting van de opdracht · EOLIOS Ingénierie
Andere projecten bekijken

Onze andere datacenterprojecten.

Alle projecten
Ontdek het vakgebied

Datacenter: ga verder.

CFD-expertise, opgeleverde projecten en technische dossiers: het hele vakgebied datacenter op één plek.

CFDExpert-ingenieurs
20+Landen
R&DOnderzoek & innovatie