Nová metoda třídění od Microsoftu je nejrychlejší na světě

Výzkumníci chtějí o své práci podrobněji hovořit v průběhu tohoto týdne na konferenci Association for Computing Machinery v arizonském Scottsdale. Microsoft již také počítá s nasazením nové metody třídění do internetového vyhledávače Bing, kde by se díky ní měla zlepšit odezva na uživatelské dotazy.

„Z rychlejšího zpracování velkých dat mohou těžit firmy z nejrůznějších odvětví trhu,“ řekl Jeremy Elson z výzkumné divize Microsoft Research. „Téměř každá operace vyžadující zpracování velkého objemu dat se nyní stane efektivnější, což je důležité především z hlediska ekonomické proveditelnosti.“

Při testech prováděných v benchmarku MinuteSort dosáhl systém vytvořený Elsonem a jeho kolegy skvělých výsledků, když se mu podařilo seřadit 1.401 GB dat za minutu. Tím výrazně překonal dosavadní rekord 500 GB za minutu, který vytvořilo Yahoo v roce 2009. Podle Microsoftu navíc nový třídící systém vyžaduje méně zdrojů. Při testu FDS běžel na 1.033 discích umístěných ve 250 zařízeních. Yahoo pro své operace potřebovalo 5.624 disků v 1.406 strojích.

FDS se svým přístupem podobá programovacímu modelu MapReduce od Googlu. Microsoft sice pro své řešení nepoužívá platformu Apache Hadoop, podobně jako on však přesouvá výpočetní třídění na jednotlivé datové servery. Na rozdíl od Hadoop spolu ale tyto servery komunikují přes hlavní třídící server. Díky přídavným síťovým technologiím zvyšujícím šířku pásma mezi sebou mohou servery komunikovat rychlostí až 2 GB za sekundu.