Hlavní navigace

Z našeho datacentra ohřejeme koupaliště

 Autor: Wedos
K chlazení našich datacenter používáme olej i freecooling, a i proto jsme nemuseli kvůli rostoucím cenám elektřiny zdražovat služby, říká Josef Grill ze společnosti Wedos.
Radan Dolejš 7. 1. 2022

Sdílet

Při současných cenách energií budou náklady na chlazení serverů v datových centrech enormní. Jaké jsou aktuální trendy v chlazení, které korespondují s cenami energií?

Aktuálním trendem, který koresponduje se situací na trhu s cenami elektřiny, je zdražování. Problém s drahou elektřinou je tu právě teď a musíte se s ním vypořádat. Přechod na jakoukoliv alternativu není otázkou týdnů ale měsíců nebo let. Navíc teď ceny stavebních prací, materiálu a podobně jdou nahoru.

Máme výhodu, že naše první datacentrum (Wedos DC1) pořád vylepšujeme o úsporné a efektivní řešení, což nám prozatím umožňuje nezdražovat. Navíc máme druhé datacentrum (Wedos DC2), kde všechny servery budou chlazené v olejové lázni. Probíhá tam už testování. Přechod na ostrý provoz je otázkou měsíců.

Jak efektivní je freecooling?

Freecooling, který používáme, jsme si navrhli sami na vlastním řešení. Dlouhodobě máme spočítáno, že naše PUE (Indikátor energetické efektivity v datových centrech – Power Usage Effectiveness) se v našem případě pohybuje na úrovni cca 1,17. To znamená, že potřebujeme jen 17 % elektrické energie navíc, než je spotřeba vlastních IT částí. Moderní datacentra mají 1,25 až 1,5. Starší datacentra mají hodnoty až přes 2. Tak potřebují navíc 100 % energií na chlazení. Jejich účinnost je tedy cca šestkrát až sedmkrát horší než naše.

Co přesně je freecoling?

Freecooling pracuje se vzduchem venku a uvnitř. Z venku nasaje chladný vzduch, promísí jej s teplým uvnitř, aby se nastavila požadovaná teplota, a výsledná směs se potom fouká pod podlahu. Ta je zakrytá a pouze před racky se servery jsou v podlaze umístěné mřížky, kudy proudí promísený vzduch – v tzv. studené uličce. Přetlak prožene vzduch servery, jež se tím ochladí a jejich ventilátory vygenerují teplý vzduch, který je odveden za servery. Tam si teplý vzduch odsajeme a část použijeme znovu na domíchání na správnou teplotu, zbytkem vytápíme budovu a přebytek se vypustí ven. Kolik se použije znovu promíseného vzduchu, záleží na venkovní teplotě. Náš freecooling dokáže za hodinu prohnat serverovnou přes 150 tisíc m3 vzduchu.

Takže je to technologie, která se nehodí jen pro země s chladným počasím?

Právě tam to bude fungovat nejlépe, ale není to limit. Pokud je chladno, dovnitř pouštíte méně vzduchu, když je teplé počasí, tak musíte více. To souvisí s mícháním teplého a chladného vzduchu na výslednou požadovanou teplotu. Ale samozřejmě jsou tam limity, jestliže je venku větší teplota než uvnitř, freecooling nefunguje a musíme přepnout na drahé klimatizace.

Freecooling u nás jede téměř celý rok a přes 250 dní v roce nepoužíváme klimatizaci vůbec. Jen ve zbývajících dnech si jejím prostřednictvím přichlazujeme. Freecooling stačí do 30 stupňů tepla venku, ale od cca 23 až 25 stupňů venku si chladíme, abychom předcházeli poškození pevných točivých disků.

Přebytečné teplo využíváme na vytápění kanceláří. Plyn jsme odhlásili před devíti roky a vytápění nás nestojí ani korunu. Udělali jsme si rozvody teplého vzduchu v budově (v podhledech) a vytápíme celou budovu. Je to krásný příklad využití tepla, které máme. Zbytek vypouštíme ven na dvůr, kde potom není v zimě sníh.

Platí, že se už nemusejí servery chladit na teplotu kolem 20 stupňů, ale snesou daleko vyšší teplotu?

Pokud používáte značkové servery a značkové serverové komponenty, skutečně v případě nouze můžete jet i na vyšší teploty, ale vybere si to svou daň. Naše servery jsou certifikované na 33 stupňů a některé komponenty až na 40. Ale jak jsem uvedl, při 25 stupních je už nižší životnost některých komponent. Na vyšší teploty jsou náchylné zvláště pevné disky.

Jaké jsou další alternativní způsoby chlazení?

Sázíme na olejové chlazení, protože má řadu výhod. Hlavně jsou nižší pořizovací náklady, kdy nepotřebujete kupovat ventilátory, drahé klimatizace, ušetříte na napájení, UPS a motorgenerátorech a zároveň se zvyšuje životnost hardwaru, protože vše je chlazeno rovnoměrně bez otřesů a prachu.

Další alternativou je například klasické vodní chlazení, kde část tepla odvádíte mimo racky a tam chladíte. Velmi zajímavé je chlazení odparem, pomocí speciální kapaliny s velmi nízkým bodem varu. Je dokonce efektivnější než olej, ale jsou tam velmi vysoké pořizovací náklady, plus o tuto drahou kapalinu časem přicházíte.

Nám se líbí olej, protože to je roky prověřené řešení. Jen jej zatím nikdo nenasadil takto ve velkém. Olej je navíc levný a má životnost desítky let.

Chlazení olejem jste si stavěli sami. Na jaké překážky jste narazili?

Nejhorší je asi změna v myšlení a v hlavách každého z nás. Představte si, že máte server v oleji a v tom oleji je 230 voltů. Pro většinu lidí nepředstavitelná záležitost, ale funguje tak například většina trafostanic.

Všechno si vymýšlíme sami a projektujeme sami a uskutečňujeme sami. Překážky? Máme mastné ruce. To je ta největší. Jinak jsme měli drobné problémy, jako je „tvrdnutí“ napájecích kabelů.

Jste s výsledky spokojení?

Všechny testy nás ubezpečily v tom, že jdeme správnou cestou. Hardwaru olej vyhovuje. Zjistili jsme například, že vše funguje i při daleko vyšších teplotách. Dosáhli jsme při -pokusech toho, že olej měl přes 60 stupňů. První problémy jsme měli při teplotě oleje kolem 58 stupňů. Navíc se olejová vana zahřívá při výpadku chladicího okruhu postupně. Když vypadne standardní chlazení vzduchem, do pár minut máte problém. U oleje to nevadí.

Má to i nějaká negativa?

Jak už jsem řekl, pořádně se umažete. Naštěstí můžete volit z řady olejů. Například my používáme farmaceutický, takže máme po práci hebké ruce.

Pro hromadné nasazení, tak jak to máme v plánu my, si potřebujete nechat vyrobit na míru olejové vany. Jejich vývoj byl celkem náročný. Něco navrhnete, musíte návrh upravit i tak, aby se to mohlo za přijatelné peníze vyrobit. Dáte nový návrh, olejovou vanu vám vyrobí, otestujete ji. Sepíšete, co je třeba upravit, spousta vás toho napadne až při používání prototypu. Uděláte nový návrh a jedete nanovo.

Do olejové vany také potřebujete dát servery s upraveným firmwarem. My už roky spolupracujeme přímo s vývojáři z Hewlett Packard Enterprise, kteří nám vše upravují na míru. O celý projekt olejového chlazení se velmi zajímají. Máme od nich i vlastní firmware pro naše servery, který má ošetřený provoz ventilátorů v serverech a ve zdrojích.

Zkoušel se i provoz datových -serverů pod hladinou moře. Bylo by možné něco takového i v Česku v nějakém jezeře?

Určitě by to šlo, ale tohle jsou věci, které jsou mnohem komplikovanější než naše olejové chlazení. U nás se nemusíte potápět kvůli výměně disku. Olejové chlazení má budoucnost i v tom, že ho můžete chladit vlastně v jakékoliv vodě – třeba mořské nebo v jezeře – a je jedno i to, že ta chladící voda bude mít třeba 35 stupňů. My takhle chceme naše teplo dávat do místního koupaliště. Je to pro nás blízko, levný a velký zdroj chladu a je to čistá voda. Takže ideální řešení. Budeme mít přes 300 kW tepla 24 hodin denně, sedm dní v týdnu. Uděláme jim zdarma termální lázně.

Pojďme ještě k cenám elektřiny. Jak velký dopad má zvyšování její ceny na provoz datových center?

Elektřina je neměnný náklad při provozu datového centra. V některých datových centrech dělá až polovinu nákladů. Pokud se cena elektřiny zvedne na mnohonásobky, i cena služeb v datacentrech se musí změnit. Není to vtip, elektřina stála před rokem kolem 40 € a nyní se pohybuje i za 250 a víc. Sami si přepočítejte, jaký dopad to má a bude mít.

O kolik se vám zvedají náklady a kolik toho přenášíte na zákazníka?

Jak u kterých služeb. U dedikovaných serverů a služeb, kde máte garantovaný vyhrazený výkon, celkem podstatně. Například u našeho nejlevnějšího dedikovaného serveru, který si můžete koupit za 1000 korun měsíčně, dělá cena elektřiny některé dny více než samotný měsíční pronájem. Když k tomu připočtete další náklady včetně lidských, už by se nám nevyplatilo tuto službu ani provozovat. Bereme to však tak, že zákazníci, kteří tyto služby využívají, si kupují i další služby, kde narůstající cenu za elektřinu doženeme modernějšími a úspornějšími technologiemi, případně tam náklady na elektřinu nehrají takovou roli.

Našich zákazníků se tak zdražení elektřiny nedotklo a v současné době ani nemáme v plánu zvedat ceny služeb.

Zvažujete solární elektrárnu?

Nezvažujeme, protože nedává smysl. Máme každé datacentrum stavěné na 300 kWh spotřeby a na to potřebujete pořádně velkou elektrárnu. Tu nemáme kde udělat, a stejně dodá energii jen na pár hodin denně a my ji potřebujeme nonstop. Navíc pořizovací náklady a návratnost jsou tak vysoké, že je lepší jít cestou úspor.

Sídlíte v Hluboké nad Vltavou, a přitom hostujete zhruba pětinu domén českého internetu. Není to trochu z ruky?

Po silnici možná, po internetu jednu až dvě milisekundy. Výhoda Hluboké nad Vltavou je hlavně to, že tu jde všechno rychleji a všichni se tu znají. Když se domluvíte se sousedy, vedení města nám vyjde vstříc. Uskutečnit tak můžeme rychle i náročnější projekty, kde bychom jinak dlouho řešili byrokracii.

Jste poměrně velkým sběratelem certifikací. K čemu jsou dobré a kolik jich vlastně máte?

Certifikace děláme hlavně kvůli zákazníkům. Na internetu může kdokoliv tvrdit cokoliv, použít fotky z fotobanky, tvářit se jako velká firma, přitom nemít ani kanceláře anebo zaměstnance. ISO certifikace jsou jedním ze způsobů, jak zaručit, že naše služby mají určitou garantovanou úroveň, že to, co děláme, je podle platných norem.

Od roku 2011 máme ISO 9001 (systém managementu kvality) a ISO 14001 (systém environmentálního managementu). V roce 2013 jsme si udělali ISO 27001 (systém managementu bezpečnosti informací). Tento rok jsme přidali relativně nové ISO 27017 (soubor postupů pro opatření bezpečnosti informací pro cloudové služby) a ISO 27018 (soubor postupů na ochranu osobně identifikovatelných informací ve veřejných cloudech).

Dále máme například ICANN akreditaci pro registraci domén.

skoleni31_1

Máte i certifikaci Tier? Jakého stupně?

Pro Wedos DC2 jsme zažádali o certifikaci Tier IV Operational Sustainability. Ta je někdy označována jako zlatý Tier a má ji jen pár datacenter na světě. K její dokončení potřebujeme finalizovat ještě pár věcí.