Sistemul cluster HPC hibrid CPU-GPU
O companie romaneasca privata din Craiova, a dezvoltat in cadrul unui proiect de cercetare un produs inovativ: un sistem tip cluster HPC hybrid CPU-GPU.
Compania privata este specializata in inginerie dedicata cercetarii aplicate in industrie si ofera cu promptitudine si profesionalism atestat consultanta tehnica privind dezvoltarea digitala a produsului si servicii ireprosabile de inginerie in domeniile auto, aerospatial, energie, aparare, medicina: modelare 3D, simulare digitala scalabila si analiza CAE.
Solutiile propuse asigura optimizarea procesului dezvoltarii produsului, prin imbunatatirea designului de produs si diminuarea costurilor privind dezvoltarea prototipului.
Compania romaneasca a devenit partener Dassault Systemes in Romania si Bulgaria pentru produsele Dassault SIMULIA si respectiv partener ECS pentru produsele FEMFAT.
Acest sistem cluster HPC, dezvoltat de catre firma romaneasca functioneaza in mod unitar, ca un sistem, precum si elementele aditionale, serviciile aferente de livrare, montare, interconectare, instruire, testare functionala, demonstrare a puterii de calcul, validare si receptie finala.
Echipamentele (cu exceptia generatorului trifazat si a unitatii externe a sistemului de racire) sunt instalate intr-o camera aflata la demisol, fara ferestre, o singura usa de acces, dimensiuni: 1.9 x 1.94m, h=2.1m; generatorul trifazat este instalat langa cladire pe un postament care sa asigure prinderea mecanica si amortizarea vibratiilor.
Puterea de calcul efectivă (parametrul Rmax) a sistemului cluster HPC este de cel puţin 16TFlops in virgula mobile (precizie dublă), demonstrata prin rularea testului de benchmark HPL Linpack: http://www.netlib.org/benchmark/hpl/.
Sistemul de operare pentru noduri include mediile de paralelizare MPI şi OpenMP, MPICH.
Sistemul cluster HPC hibrid CPU-GPU inovativ este format din:
1. Nod de management: 1buc
• Sasiu: 2U, 8x3.5"/2.5" SAS or SATA bays, 4 FHHL slots, 2 LP slots, 1 x16 for Add-on-Module, redundant PSU
• Unitate CPU: 2x Intel XeonSilver 4112, 4core, 2.6GHz, 9.6GT/s
• Memorie RAM: 48GB DDR4 2400MHz ECC REG (12x4GB)
• OS Drive: 2x 960TB SSD SATA, 1DWPD
• Graphic Card: Onboard
• Port de retea: 2x 1Gbps RJ45
• Card Infiniband: EDR card single port QSFP28
• Management: IPMI 2.0, RJ45 port
• Sistem operare: 1x Linux
2. Nod CPU: 7buc
• Sasiu: asiuri 2U pentru 4 noduri, PSU redundant, 6x2.5" ,hot-swapbays" i 24 sloturi DIMM pentru fiecare nod
Configurare pentru un nod CPU:
• Unitate CPU: 2x Intel XeonGold 6134, 8 core 3.2GHz, 10.4GT/s
• Memorie RAM: 192GB DDR4 2666MHz ECC (12x16GB RAM module)
• OS Drive: lxSSD 480GB SATA, 3DWPD
• Infiniband Card: EDR card single port QSFP28
• Management: IPMI 2.0, RJ45 port
• Sistem operare: Linux
3. Nod cu vizualizare CPU-GPU: lbuc
• Sasiu: 1U, redundant PSU, suporta pana la 4 card-uri GPU nVidia Pascal; 2x 2.5" hot-swapbays; 12x DIMM sloturi
• Unitate CPU: 2x Intel XeonGold 6134, 8 core 3.2GHz, 10.4GT/s Memorie RAM: 192GB DDR4 2666MHz ECC (12x16GB RAM module)
• OS Drive: SSD 480GB SATA, 3DWPD
• GPU: NVIDIA Tesla P100 12GB CoWoS HBM2 PCie 3.0- Racire pasiva
• Infiniband Card: EDR card single port QSFP28
• Management: IPMI 2.0, RJ45 port
• Sistem operare: Windows 2016 Server 16 Core
Placa grafica: 8GB GDDR5 256biti, minim 1650core, iesiri 4x DP1.2
• Placi video la distanta: Kit accelerare/comprimare semnal video pentru transmitere Full HD pana la 1OOm pe cablu UTP.
• SSD: 4x 960GB SSD SATA, 3DWPD
• Management: IPMI 2.0, RJ45 port
• Infiniband Card: EDR card single port QSFP28
• Sistem de fi iere: zfs
5. Echipamente aditionale
• Comutatoare Infiniband: Switch EDR cu 36ports QSFP28, flux de aer invers, PSU redundant
• Cabluri Infiniband: 1Ox 2m pasive, viteza EDR
• Comutatoare Ethernet: 2x Switch cu 24xl Gbps porturi RJ45, montate pe rack
• HPC Software Management: Bright Cluster Manager - Advanced - 1Onodes I 1an
• Rack: Rack 600x 1060, usi perforate APC
• PDU: 6x PDU 10 posturi 16A
• Sursa UPS: UPS trifazat/trifazat 40kVA, tower, PF=1
• Generator trifazat Diesel: Generator trifazat 44kVA, insonorizat
• Racire: Sistem de racire 22kW
• IPMI/Cluster Management: SFT-DCMS-Single x 10buc
4. Sistem de stocare: 1buc
• Sasiu: 12bays 3.5" 12Gbps, 2U expander, redundant PSU
• Platforma: Single CPU Xeon E5-26xx
• Unitate CPU: Intel Xeon, 64GB RAM, DOM 64GB
• HBA: 12Gbps 1xSFF8643 port
• HDD: 4x8TB SAS3 12Gbps enterprise
• SSD: 4x 960GB SSD SATA, 3DWPD
• Management: IPMI 2.0, RJ45 port
• Infiniband Card: EDR card single port QSFP28
• Sistem de fisiere: zfs
5. Echipamente aditionale
• Comutatoare Infiniband: Switch EDR cu 36ports QSFP28, flux de aer invers, PSU redundant
• Cabluri Infiniband: 1Ox 2m pasive, viteza EDR
• Comutatoare Ethernet: 2x Switch cu 24xl Gbps porturi RJ45, montate pe rack
• HPC Software Management: Bright Cluster Manager - Advanced - 1Onodes I 1an
• Rack: Rack 600x 1060, usi perforate APC
• PDU: 6x PDU 10 posturi 16A
• Sursa UPS: UPS trifazat/trifazat 40kVA, tower, PF=1
• Generator trifazat Diesel: Generator trifazat 44kVA, insonorizat
• Racire: Sistem de racire 22kW
• IPMI/Cluster Management: SFT-DCMS-Single x 10buc
In vederea maximizarii performanțelor de calcul propunem o soluție care cuprinde procesoare si module GPU cu capabilitați CUDA din ultima generație (lansate în 2017). Interconectarea între nodurile de calcul se
realizeaza printr-o interfață specializată – Infiniband EDR –care ofera o lățime de bandă de 100Gb/s si o latent extrem de redusa.
Prin folosirea sistemului HPC propus, se obține reducerea timpului de simulare, element important in proiectarea sistemelor ce implica modele de dimensiuni mari coroborat cu respectarea termenelor de predare/ livrare.
Implementarea sistemului inovativ HPC hibrid CPU-GPU va aduce:
- crestere eficientei muncii si a productivității:
modele mici până la 20%
modele medii și mari pâna la 100%
modele foarte mari, ex. modele LES de turbulentă, pâna la 400%
- reducere a costului:
o cu licențierea, cardul GPU CUDA nu intră în costul licenței;
o creșterea productivității se transformă în reducerea costului;
- creștere calitativă prin adoptarea modelelor mai detaliate și implicit mai aproape de realitate;
- crearea de noi servicii, ex. Modele LES de turbulentă, aeroacustică, modele cuplate;
- posibilitatea realizarii unui numar extins de servicii.
- cresterea preciziei actului de proiectare, simulare si realizare pachete flexibile de servicii;
- -cresterea ofertei de servicii de cercetare-dezvoltare catre parteneri, inclusiv internationali;
- -cresterea capacitatii si expertizei de cercetare;
- -cresterea potentialului de parteneriate in cercetare-dezvoltare;
- cresterea capacitatii Centrului de ofertare a noi tehnologii informatice;
- -compatibilitatea cu metodologiile de lucru ale unor puternice centre internationale;
- -reducerea timpului de realizare a comenzilor si cresterea calitatii serviciilor prestate;
- -posibilitatea de a realiza parteneriate cu centre similare internationale.
Prin folosirea sistemului HPC propus, se obtine:
Reducerea timpului de simulare, element important in proiectarea sistemelor ce implica modele de dimensiuni mari coroborat cu respectarea termenelor de predare/livrare;
Cresterea de performanta pentru aplicatiile Simulia oferite de card-urile nVidia P100;
Reducerea costurile de licenta a softului prin cresterea performatei de 2.5 ori;
Deoarece sistemul are o capacitate de 112 CPU core + 1 card GPU CUDA nVidia P100, se obtine o putere de calcul mai mare de 6 ori;
Sistemul HPC ofera un nod de vizualizare perfomant ceea ce face posibila pre-procesarea si post-procesarea modelelor foarte mari din punct de vedere grafic.
Crestere eficientei muncii si a productivitatii.
Prin implementarea sistemului HPC descris mai sus în compania romaneasca următoarele tipuri de analiza numerică sunt posibile:
- Analiză structurala statică: >1.5 milioane nr de grade de libertate;
- Analiză structurală dinamică: >2 milioane nr de grade de libertate;
- Analiză crash vehicul întreg: >5 milioane nr de grade de libertate și până la 50-100 mil grade de libertare;
- Analiză de vibrații: 30 milioane nr maxim de grade de libertate;
- Analiza de dinamica fluidelor – CFD: ex. 100 milioane elemente de volum
o Regim staționar
o Regim nestaționar
o Mediu incompresibil
o Mediu compresibil
o Modele de turbulență de tip RANS
o Modele de turbulență de tipLargeEddySimulation(LES), imposibil de rulat pe echipamentele de calcul existente.
Din punct de vedere al acurateței, modelul LES este în prezent cel mai apropriat de realitate și anumite fenomene nu pot fi observate decât în prezența acestui model.
- Analiza termica (transfer de caldura): 100 milioane nr maxim de grade de libertate;
-Analiza electro-magnetica, magneto-statica: >1.5 milioane nr de grade de libertate;
-Analiza acustica: >1.5 milioane nr de grade de libertate
-Analiză cuplată structural –acustic;
-Analiză cuplată structural-dinamica fluidelor;
-Aeroacustică ce include numai modele de turbulentă de tip LES
-Analiză conjugată termică în regim nestaționar.
Dezvoltare experimentala rezultata in urma implementarii unui proiect de cercetare.
Rezultatele cercetarii apartin in exclusivitate companiei romanesti si sunt gata pentru a fi introduse pe piata internationala.
Identificarea solutiilor optime pentru dezvoltarea afacerii.
Microintreprindere, SRL
12 angajati
Companie pentru dezvoltarea aplicatiilor si respectiv centru pentru promovarea tehnologiei.
Automatizare, Transfer Tehnologic.
Automatizare, Transfer Tehnologic.
Promovarea tehnologiei.