Răcirea prin imersie vs. Răcire direct-la-chip: ce înseamnă pentru specificațiile dvs. de conducte

Introducere: Decizia care se întâmplă prea târziu

Majoritatea inginerilor din centrele de date fac alegerea tehnologiei de răcire în - imersiune sau direct-la-cip - pe baza obiectivelor de densitate a rack-urilor și a bugetului de capital. Specificația conductelor vine mai târziu, adesea tratată ca un detaliu de execuție, mai degrabă decât un driver de proiectare. Acea secvențiere este o greșeală.

Sistemul de fluid pe care îl construiți în jurul arhitecturii de răcire alese de dvs. nu este interschimbabil. O specificație de conducte scrisă pentru răcirea direct-la-chip (D2C) la rece-plăcire va eșua - literal și operațional - dacă este adaptată la imersie monofazată-și invers. Cu densitățile rack-urilor GPU care depășesc acum în mod obișnuit 50 kW și sarcinile de lucru AI împingând spre 100 kW per rack, obținerea specificațiilor țevilor chiar în faza de proiectare schematică nu mai este opțională. O singură scurgere într-un sistem D2C poate distruge un întreg rack de 400.000 USD în hardware GPU în câteva secunde.

Acest ghid este scris pentru inginerii mecanici și de instalații sanitare care au luat deja (sau iau) decizia privind arhitectura de răcire și trebuie să traducă această alegere într-o specificație pentru conducte de protecție, conformă ASHRAE-.

 

 

Direct la cip cu răcire lichidă centru de date GPU rack CDU

 

1. Două arhitecturi, două logici cu bucle de fluide complet diferite

Înainte de a atinge un program de conducte, înțelegeți că răcirea prin imersie și D2C funcționează pe principii hidraulice fundamental diferite.

Direct-la-cip (D2C)circulă - apă lichidă deionizată de obicei sau un amestec de apă-glicol - prin plăci reci montate direct pe procesoare, GPU și ASIC. Căldura este absorbită la suprafața așchiilor și transportată către o unitate de distribuție a lichidului de răcire (CDU), care o schimbă cu sistemul de apă al instalației. Rezultatul este o rețea densă, presurizată de țevi cu diametru mic-, colectoare, fitinguri de deconectare rapidă- și plăci reci, toate acestea trebuie să funcționeze în echilibru hidraulic simultan.

Răcire prin imersie{0} monofazatăscufundă plăci întregi de server într-un fluid dielectric -, de obicei, o hidrocarbură sintetică sau un fluid de inginerie - în interiorul unui rezervor. Căldura se transferă de la toate componentele la fluid, care este apoi pompat printr-un schimbător de căldură extern. Rețeaua de conducte exterioare este minimă: în esență două conexiuni per rezervor (de alimentare și retur) care circulă la o CDU sau bucla de răcire a instalației.

Diferența arhitecturală este puternică: D2C distribuie provocarea hidraulică în zeci de puncte de conectare per rack; imersiunea îl consolidează într-o buclă externă simplă,-de joasă presiune. Tot ceea ce este în aval din specificațiile dvs. de conducte provine din această distincție.

 

2. Selectarea materialului țevilor: Unde ASHRAE stabilește limitele

ASHRAE TC 9.9 și TC 9.6 sunt explicite cu privire la compatibilitatea materialelor. Pentru buclele de răcire pe bază de apă D2C-, ghidul interzice zincul, aluminiul și alama care conțin mai mult de 15% zinc -, toate acestea accelerând coroziunea galvanică în prezența apei tratate. În termeni practici, acest lucru exclude fitingurile standard din alamă galbenă și țevile din oțel galvanizat care rămân comune în sistemele hidronice HVAC.

Pentru sistemul de răcire tehnologic (TCS) bucla - bucla secundară care servește direct plăci reci -Oțel inoxidabil 304 sau 316este specificația standard. Circuitul TCS rulează în mod obișnuit apă deionizată sau foarte tratată, care este de fapt mai agresivă față de coroziune decât apa municipală, deoarece nu are aproape nicio capacitate de tamponare. O supapă de izolare la fiecare rack, evaluată pentru presiunea de funcționare a sistemului și fabricată din inox 316, este necesară atât pentru întreținerea de rutină, cât și pentru izolarea scurgerilor de urgență.

Pentru răcirea prin imersie, provocarea materialului se schimbă complet. Fluidul dielectric este inert chimic față de majoritatea metalelor, dar atacă agresiv elastomerii - EPDM standard și Buna-N garnituri utilizate în aplicațiile HVAC se vor umfla și se vor degrada în câteva luni de la contactul cu fluidele dielectrice-pe hidrocarburi. Materialul de conductă în sine (inoxidabil, oțel carbon) este în general compatibil, dar fiecare garnitură, inel O-și conexiune flexibilă din bucla externă trebuie specificate ca PTFE sau un material fluoropolimer evaluat pentru fluidul specific utilizat.

 

3. Dimensiunea conductei, viteza debitului și căderea de presiune

ASHRAE TC 9.6 setează o viteză maximă a fluidului de2,1 m/s pentru diametrele conductei mai mari de 3 inchipentru a preveni eroziunea la armături și coturi. Sub 3 inci, limita practică este mai aproape de 1,5–1,8 m/s înainte ca zgomotul și riscul de eroziune să crească în mod inacceptabil. Aceste limite se aplică ambelor arhitecturi de răcire, dar creează rezultate de dimensionare foarte diferite.

În sistemele D2C, debitul este dictat de sarcina termică a fiecărei plăci reci. Pe măsură ce chipul TDP (Thermal Design Power) crește, - GPU-urile moderne H100 funcționează la 700 W TDP, cu acceleratoarele de-generație următoare proiectate la 1.000W+ -, cererea de flux pe placă rece crește proporțional. Un rack de 50 kW cu răcire D2C poate necesita 8-12 litri pe minut de lichid de răcire la distribuitorul rackului, distribuit pe 8 până la 16 plăci reci individuale. Acest lucru determină necesitatea unei echilibrări hidraulice atente: plăcile reci în paralel trebuie să împartă fluxul în mod echitabil, sau cele mai fierbinți așchii -, de obicei, cele de la capătul ramului galeriei - vor fi lipsite de capacitate de răcire.

În sistemele de imersie, bucla externă a conductei transportă sarcina de căldură plină a rezervorului, dar la viteză și presiune mult mai mici, deoarece mecanismul de antrenare din interiorul rezervorului este convecția și pomparea cu viteză mică-, nu fluxul forțat de-presiune înaltă. Un rezervor de imersie de 250 kW necesită de obicei doar 20–30 de litri pe minut prin bucla externă a schimbătorului de căldură, la presiuni ale sistemului care rareori depășesc 2–3 bar.

Decizia de rutare deasupra capului versus sub podea afectează, de asemenea, dimensionarea. Ghidul ASHRAE notează că porțiunile de țevi de sub pardoseală trebuie să țină cont de grosimea izolației și de spațiul de încrucișare a țevii - adăugarea de 50 mm la diametrul țevii atunci când se ține cont de învelișul izolației este o eroare obișnuită de planificare care creează conflicte de coordonare cu dispozițiile-înălțate ale plăcilor de pardoseală.

 

4. Supape de izolare, filtre și controlul scurgerilor: detaliul specificației care protejează timpul de funcționare

Aici specificațiile de conducte determină în mod direct rezistența operațională și unde sunt susținute majoritatea documentelor de specificații.

Pentru sistemele D2C, fiecare rack trebuie să aibă o supapă de izolare atât pe piciorul de alimentare, cât și pe cel de retur, permițând izolarea și golirea unui singur rack pentru întreținere fără a închide rackurile adiacente. Tipul de supapă preferat pentru această aplicație este aSupapă cu bilă filetată din 3 bucdin oțel inoxidabil 304 sau 316. Designul corpului din trei-piese este critic aici: spre deosebire de supapele dintr-o-piesă sau din două-piese, acesta poate fi dezasamblat la locul său - fără a tăia conducta sau a scoate corpul supapei de pe linia - pentru a înlocui garniturile sau pentru a curăța scaunul. Într-un mediu de centru de date live în care reducerea timpului de nefuncționare a rack-urilor este esențială, această funcționalitate-în linie este un avantaj operațional semnificativ, nu un lux al specificațiilor.

În amonte de fiecare colector de rack, este necesară o sită Y din oțel inoxidabil pentru a proteja micro-canalele plăcilor reci de contaminarea cu particule. Geometriile plăcilor reci pentru GPU-uri-de înaltă performanță utilizează lățimi de canale de până la 0,5–1,0 mm; o particulă de 200 de microni poate bloca parțial un canal și poate crea un punct fierbinte localizat pe care monitorizarea termică ar putea să nu-l prindă până când începe accelerarea cipului. Specificați filtre cu ochiuri de 50 de microni sau mai fine pe bucla TCS, conform ghidurilor ASHRAE TC 9.9 privind calitatea apei.

Pe piciorul de retur, o supapă de reținere din oțel inoxidabil previne curgerea inversă prin schimbătorul de căldură CDU atunci când un rack este izolat sau o pompă declanșează - un eveniment de retur care poate introduce fluid cald în colectorul de alimentare și poate crește temperatura lichidului de răcire pe întregul rând înainte ca comenzile să răspundă.

Pentru conexiunile server-la-colectivă, specificați fitinguri de deconectare rapidă-de rupere uscată-cu o scurgere maximă admisă de 1 centimetru cub per ciclu de deconectare, în conformitate cu standardele de conectare OCP (Open Compute Project). Segmentele de furtun flexibil de la aceste conexiuni trebuie fixate cu cleme suplimentare la intervale de 150 mm pentru a preveni scăderea-de presiune indusă de căderi și tensiuni asupra fileturilor de montaj.

Pentru sisteme de imersie, specificația de izolare este mai simplă, dar nu trivială. Fiecare rezervor are nevoie de supape de izolare de alimentare și retur dimensionate pentru debitul plin al rezervorului, plus un port de probă pentru monitorizarea calității fluidului. Specificați conexiunile buclei externe într-un material compatibil cu fluidul dielectric specific - confirmați compatibilitatea cu furnizorul de fluid în scris înainte de finalizarea specificației, deoarece formulările de fluide brevetate variază.

Cablul de detectare a scurgerilor trebuie direcționat de-a lungul întregii linii de conducte de alimentare D2C, poziționat în cel mai de jos punct accesibil al fiecărei jgheaburi sau jgheab de cablu. Pentru sistemele de imersie, detectoarele de scurgeri cu senzori de punct-la fiecare bază de rezervor și la CDU sunt suficiente, având în vedere că conexiunile la conducte externe sunt puține și vizibile-înaltă.

 

 

Supapă cu bilă filetată Leadtek, 3 piese

 

5. O listă de verificare a specificațiilor practice înainte de a emite pentru construcție

Înainte ca specificațiile pentru conducte să părăsească echipa de ingineri, verificați următoarele în raport cu arhitectura de răcire aleasă:

Conformitatea materialului: Toate metalele umede au fost confirmate fără zinc și aliaje de aluminiu (D2C); toți elastomerii confirmați compatibili cu chimia fluidului dielectric (imersie)

Verificarea vitezei: Maximum 2,1 m/s la conducte Mai mare sau egal cu diametrul 3", conform ASHRAE TC 9.6

Supape de izolare: o supapă cu bilă filetată din 3 piese per rack, aprovizionare și retur, cu-serviciu în linie (D2C)

Evaluare sita: Mai mică sau egală cu ochiurile de plasă de 50 de microni pe alimentarea TCS, în amonte de fiecare colector de rack (D2C)

Verificați poziționarea supapei: picior de întoarcere CDU, fiecare ramură de întoarcere a rackului (D2C)

Specifica{0}}deconectare rapidă: -rupere uscată, mai mică sau egală cu 1 cc scurs, conform OCP- (D2C)

Detectarea scurgerilor: Cablu continuu pe toate liniile de alimentare (D2C); senzori punctiform la baza rezervorului și CDU (imersie)

Degajare sub podea: Diametrul exterior al țevii plus izolație plus un spațiu de trecere de 50 mm confirmat în modelul cu goluri de podea

Plan de tratare a apei: program de chimie specific site-ului-angajat înainte de umplerea sistemului, cu protocolul de monitorizare continuu specificat

 

Concluzie: specificați sistemul de conducte pentru a se potrivi cu arhitectura de răcire, nu invers

Decizia privind tehnologia de răcire și specificația conductelor nu sunt pași secvențiali - sunt o singură decizie de inginerie integrată. Alegerea dintre răcirea prin imersie și D2C stabilește logica hidraulică, constrângerile materiale, strategia de izolare și profilul de risc de scurgere al întregului sistem de fluide. Încercarea de a adapta o specificație generală a conductelor hidronice HVAC la oricare dintre arhitecturi va produce un sistem care nu are performanțe operaționale și creează expunere inutilă la întreținere.

Angajați specificațiile de conducte la proiectarea schematică, alături de selecția arhitecturii de răcire. Folosiți ASHRAE TC 9.6 și TC 9.9 ca cadru de conformitate de bază și verificați fiecare selecție de material în raport cu chimia fluidă reală din sistemul dvs. - nu o ipoteză generică „apă”. Cele 30 de minute petrecute pentru obținerea tipului de supapă de izolare și a gradului de plasă a filtrului chiar în etapa de specificație vor economisi considerabil mai mult de 30 de minute în timpul de nefuncționare viitor.

 

FAQ

Î: Pot folosi o țeavă de oțel carbon HVAC standard pentru o buclă de răcire direct-la-chip?

Oțelul carbon este utilizat în buclele de apă răcită din partea instalației (FWS), dar nu este adecvat pentru circuitul de sistem de răcire tehnologic (TCS) care deservește direct plăcile reci. Circuitul TCS rulează apă foarte purificată cu conținut ionic scăzut, care este mai corozivă pentru oțelul carbon decât apa HVAC tratată. Specificați oțel inoxidabil 304 sau 316 pentru toate țevile și fitingurile TCS.

Î: De ce producătorul meu CDU specifică o dimensiune diferită a conexiunii țevii decât furnizorul meu de placă rece?

CDU-urile și plăcile reci sunt adesea obținute de la diferiți producători și proiectate pentru diferite ipoteze de rezistență la curgere internă. Nepotrivirea dimensiunii conexiunii este o problemă de echilibrare hidraulică: dacă CDU se așteaptă la 10 L/min la 2 bari și plăcile reci necesită împreună 14 L/min pentru a menține temperaturile joncțiunii așchiilor, nici specificațiile furnizorului nu sunt greșite -, designul sistemului nu le-a reconciliat. Un model hidraulic al buclei TCS complete, de la priza CDU la fiecare placă rece și înapoi, trebuie finalizat înainte de finalizarea oricărei dimensionări a conexiunii.

Î: Cât de des ar trebui curățate filtrele Y pe o buclă de răcire D2C?

În primele 90 de zile de funcționare, inspectați lunar coșurile cu sită - sistemele noi de conducte care aruncă particule pe măsură ce acoperirile de țevi se întăresc și fitingurile se depun. După perioada de pauză, inspecția trimestrială este de obicei suficientă pentru sistemele cu buclă închisă-cu monitorizare continuă a calității apei. Dacă CDU-ul dvs. încorporează un senzor de presiune diferențială peste sită, setați o alarmă la 0,3 bar delta-P ca linie de bază-coșului curat.

Î: Conducta de răcire prin imersie este mai simplu de specificat decât D2C?

Rețeaua de conducte exterioare pentru răcirea prin imersie este semnificativ mai simplă - puncte de conectare mai puține, presiune mai mică și nu există distribuție la nivel de rack-colector. Cu toate acestea, specificația materialului este mai complexă, deoarece compatibilitatea fluidului dielectric trebuie verificată pentru fiecare elastomer, garnitură și conector flexibil din sistem. Modul de defectare a compatibilității materialelor într-un sistem de imersie este lent și greu de detectat: degradarea etanșării pe parcursul a 12-18 luni, urmată de pierderea treptată a fluidului și contaminarea, mai degrabă decât evenimentul de scurgere imediat și vizibil pe care îl produc sistemele D2C.

Î: Care este înălțimea minimă a golului de pardoseală necesară pentru conducta de răcire D2C sub o podea înălțată?

Ghidul ASHRAE nu stabilește un minim universal, deoarece depinde de diametrul țevii, specificațiile de izolație și dacă țevile se intersectează. O regulă practică de planificare este să se permită cel mai mare diametru exterior al țevii în cursă, plus 75 mm de izolație pe toate părțile, plus un spațiu liber de 50 mm deasupra pentru țevile transversale, plus 25 mm dedesubt pentru suporturi. Pentru o conductă de alimentare de 4-inci cu izolație de 25 mm, aceasta produce un gol minim în podea de aproximativ 300 mm - mai mare decât golul de 250 mm obișnuit în centrele de date vechi cu podea ridicată, care este o constrângere de modernizare care merită identificată din timp.