IBM vytvorila rekord v rýchlosti skenovania súborového systému

DSL.sk, 25.7.2011

Spoločnosť International Business Machines, IBM, vytvorila nový rekord v rýchlosti skenovania súborového systému, pozostávajúceho z načítania a preverenia metadát jednotlivých súborov.

Spoločnosť o tom informovala v piatok.

IBM preskenovala 10 miliárd súborov organizovaných v desiatich miliónoch adresárov za 43 minút, čím prekonala predchádzajúci vlastný rekord 1 miliardy súborov za 3 hodiny 37-násobne.

Benchmark rýchlosti skenovania súborového systému pozostáva z kompletného prejdenia súborového systému, nájdenia všetkých súborov, prečítania ich metadát, okrem mena napríklad veľkosti, časov prístupu, prístupových práv, a vyhodnotenia splnenia definovanej podmienky metadátami jednotlivých súborov.

IBM k rekordu použila svoj paralelný distribuovaný súborový systém General Parallel File System, GPFS, umožňujúci paralelné operácie na rozličných diskoch pripojených k rozličným uzlom tvoriacim súborový systém. GPFS bežal na ôsmich serveroch IBM System x3650 M2 s dvomi 2.8 GHz štvorjadrovými procesormi architektúry x86 a 32 GB pamäte. Samotný benchmark bol spustený na týchto ôsmich serveroch plus ďalších dvoch v rovnakej konfigurácii.

Na uloženie metadát súborového systému boli použité štyri úložné systémy Violin Memory 3205 postavené na flash pamäti a pripojené vždy k dvom serverom. Úložné systémy mali spolu efektívnu kapacitu 7.2 TB, metadáta súborového systému zaberali 6.5 TB.

GPFS umožňuje uloženie samotných dát súborov na iných napríklad klasických mechanických diskoch pripojených k danému súborovému systému, v prípade dosiahnutia rekordu mali ale súbory veľkosť nula bajtov a ďalšie klasické disky tak neboli použité. Podľa IBM by ale použitie reálnych súborov na klasických diskoch neznížilo výkon skenovacieho benchmarku, keďže k dátam súborov sa počas neho nepristupuje.

Maximálna celková rýchlosť čítania z diskov počas benchmarku dosahovala viac ako 4.5 GB/s, počet operácií 35 tisíc IO/s.


Najnovšie články:



Diskusia:

IBM vytvorila rekord Od: jozef32 | Pridané: 25.7.2011 9:35 pekne Odpovedať Známka: 8.2 Hodnotiť:

A aky OS na tom bezal ? Od: qwok qwok | Pridané: 25.7.2011 9:48 A aky OS na tom bezal ? Odpovedať Známka: 3.3 Hodnotiť:

Re: A aky OS na tom bezal ? Od: matkoo | Pridané: 25.7.2011 10:01 xp sp3 Odpovedať Známka: 2.2 Hodnotiť:

Re: A aky OS na tom bezal ? Od: Waldemar Matuška Rigor Mortis | Pridané: 25.7.2011 10:04 Symbian S60 Odpovedať Známka: 4.0 Hodnotiť:

Re: A aky OS na tom bezal ? Od: wergwetšr | Pridané: 25.7.2011 10:06 No Mrkvošrot to asi nebol ;), nepísali nič o rekorde vygenerovaných BOSD :) Odpovedať Známka: -1.1 Hodnotiť:

Re: A aky OS na tom bezal ? Od: ezio | Pridané: 25.7.2011 10:10 to bude BSOD [Blue Screen of Death] Odpovedať Známka: 7.1 Hodnotiť:

Re: A aky OS na tom bezal ? Od reg.: SergejH | Pridané: 25.7.2011 13:25 to je este dobre, na bsod staci vacsinou restart, ale na rrod nie... :( teraz ma tak napadlo, obidve su vynalezom mrkvosoftu. Ze by nahoda? Odpovedať Známka: 2.0 Hodnotiť:

Re: A aky OS na tom bezal ? Od: k. kominar | Pridané: 25.7.2011 20:33 kernel panic si uz videl? Odpovedať Známka: 10.0 Hodnotiť:

Re: A aky OS na tom bezal ? Od: suxi | Pridané: 25.7.2011 10:11 jezisi, ty si ale riadny kokot Odpovedať Známka: -1.8 Hodnotiť:

Re: A aky OS na tom bezal ? Od: host | Pridané: 25.7.2011 11:07 zakomplexovany dementny linuxak Odpovedať Známka: -2.0 Hodnotiť:

Re: A aky OS na tom bezal ? Od: Neprihlaseny pouzivatel | Pridané: 25.7.2011 13:00 HAHAHHAHAAAA!!! Velmi dobre! To bol ftip desatrocia. HAHAHAA! Ze BSOD. Ze rekord! HAHAHAA Debil... Odpovedať Známka: -3.1 Hodnotiť:

Re: A aky OS na tom bezal ? Od: stefii | Pridané: 25.7.2011 11:29 aix Odpovedať Známka: 2.0 Hodnotiť:

Re: A aky OS na tom bezal ? Od: matoooooooooooo | Pridané: 25.7.2011 11:37 aix na x86 nepobezi. musel to byt bud linux alebo windows. Odpovedať Známka: 6.7 Hodnotiť:

Re: A aky OS na tom bezal ? Od: stefii | Pridané: 25.7.2011 11:47 mas pravdu, este to mohol byt iny UNIX base OS okrem tvojich spomenutych Odpovedať Známka: 0.0 Hodnotiť:

Re: A aky OS na tom bezal ? Od: matoooooooooooo | Pridané: 25.7.2011 11:52 nemohol :) GPFS is supported on AIX®, Linux and Windows Server operating systems http://goo.gl/Z6dv5 Odpovedať Známka: 8.3 Hodnotiť:

Re: A aky OS na tom bezal ? Od: stefii | Pridané: 25.7.2011 11:57 pravda pravda, diskutujem a nemam nastudovanu problematiku, zacinam trpiet syndromom ostatnych diskutujucich :) Odpovedať Známka: 9.0 Hodnotiť:

aaaaaaa Od: aaaaaaaaaa | Pridané: 25.7.2011 11:50 to su amateri ked daju na x86 procesory 32gb pamete Odpovedať Známka: -8.9 Hodnotiť:

Re: aaaaaaa Od: Prihlaseny uzivatel | Pridané: 25.7.2011 13:02 A co ako si tym chcel povedat? Odpovedať Známka: 7.8 Hodnotiť:

Re: aaaaaaa Od reg.: OmeGa | Pridané: 25.7.2011 13:29 ze nenapisali x86-64, ale len x86. doslovne ma pravdu, x86 je 32 bitovy [viem ze povodne 8/16b], ten toho moc nenaadresuje, aspon nie bez PAE Odpovedať Známka: -6.7 Hodnotiť:

Re: aaaaaaa Od reg.: Trovaricon | Pridané: 25.7.2011 14:39 pojmom "x86" za oznacuje vseobecne architektura interacii **86 CPU. Ak je potrebne blizsie specifikovat o aku "verziu" architektury sa jedna - ako napr. pri binarkach / zdrojakoch programov sa mozte stretnut s predponou / priponou v nazve suboru (alebo adresara) i386, i586, IA-32, AMD64, x64 a pod. x86 atchitektura zacinala na 16 bitoch (i8086 / i8088). 8 bit bol i8008/i8080 - nepatria do x86. povedat, ze "x86" je 32 bit architektura je dost zavadzajuce. Pravdou vsak je, ze dnes pri rozlisovani programov pre 32bit a 64 bit verzie x86 OS (najma u Windows) nejakeho "osvietenca" napadlo pouzivat priponu x86 pre i586 a x64 pre x86-64. Odpovedať Známka: 8.5 Hodnotiť:

Re: aaaaaaa Od: ghdshew | Pridané: 25.7.2011 15:19 mal by si ist ukazat technikom z ibm ako sa to robi Odpovedať Známka: 8.0 Hodnotiť:

Pridať komentár