Za minútu prvýkrát utriedených viac ako 1 TB dát

DSL.sk, 28.7.2010

Novým rekordom množstva utriedených dát za maximálne minútu je 1014 GB dát, ktoré sa za menej ako minútu podarilo utriediť podľa metodiky sortbenchmark.org spoločnému tímu z Kalifornskej univerzity v San Diegu a Viedenskej technickej univerzity.

Prvýkrát tak bolo za minútu utriedených viac ako 1 TB dát, doterajším rekordom evidovaným sortbenchmark.org bolo 955 GB dosiahnutých v minulom roku.

U rekordov evidovaných sortbenchmark.org sa triedia 100-bajtové záznamy podľa 10-bajtového kľúča. Nový rekord bol dosiahnutý v kategórii Indy, v ktorej súťažia algoritmy optimalizované špecificky pre túto konkrétnu veľkosť záznamov a kľúča.

Použitý algoritmus a systém tvorcami označený TritonSort podľa tvorcov efektívne rozdeľuje triedenie veľkého množstva dát na podúlohy pre viacero výpočtových uzlov pre ich maximálne využitie, použitých bolo 52 výpočtových uzlov. Uzly tvorili servery HP ProLiant DL380 G6 s dvomi štvorjadrovými 2.27 GHz procesormi Intel Xeon E5520, 24 GB RAM a šesťnástimi 2.5" 7200 RPM 500 GB diskami.

Predchádzajúci rekord 955 GB bol dosiahnutý pomocou 195 výpočtových uzlov s 2.67 GHz procesormi Intel Xeon X5355.

Každý uzol u rekordu dosiahnutého TritonSoftom bol prepojený s ostatnými pomocou 10 Gbps Ethernet karty od Myricom a integrovaného 1 Gbps Ethernetu cez switch Cisco Nexus 5020.

Použitým operačným systémom bol Linux s jadrom 2.6.32.8, súborovým systémom ext4.

TritonSort vytvoril aj ďalší rekord, keď pri triedení minimálne 100 TB dát dosiahol rýchlosť 0.582 TB utriedených dát za minútu. Tesne tak prekonal doterajší rekord 0.564 TB za minútu.


Najnovšie články:



Diskusia:

....... Od: asd789456 | Pridané: 28.7.2010 12:12 .. ja v total commanderi zotriedim 2TB filmov za minutu tiez ;) Odpovedať Známka: -2.5 Hodnotiť:

Re: ....... Od: nTI student | Pridané: 28.7.2010 12:14 ja za minutu vyprazdnim susedov dom Odpovedať Známka: 7.0 Hodnotiť:

Re: ....... Od: čoko oko | Pridané: 28.7.2010 12:29 Ja sa za minutu vyprazdnim pred susedov dom. Odpovedať Známka: 9.1 Hodnotiť:

Re: ....... Od: xc`vzxcv | Pridané: 28.7.2010 16:41 Mne minuta nestaci :( Odpovedať Známka: 8.9 Hodnotiť:

Re: ....... Od: Žigmund Hurikán | Pridané: 28.7.2010 19:44 neboj sa, keď sa do teba zahryzne susedov pitbul, bude ti na to stačiť aj sekunda :) Odpovedať Známka: 10.0 Hodnotiť:

Re: ....... Od: Ja. | Pridané: 28.7.2010 12:17 100-bajtové filmy? Odpovedať Známka: 3.1 Hodnotiť:

Re: ....... Od: dasasdasdas | Pridané: 28.7.2010 14:16 .. vy ITckari ste taki vazny az to v riti stipe .. Odpovedať Známka: 6.4 Hodnotiť:

utriedeny Od: za minutu | Pridané: 28.7.2010 12:17 a) 1014 GB nie je "viac ako 1 TB". b) "Za minútu prvýkrát utriedených viac ako 1 TB dát" Ako sa to ma citat? Za minutu utriedenych viac ako jeden terebajtov dat? Lovenicn moj velka priatel! Odpovedať Známka: -2.4 Hodnotiť:

Re: utriedeny Od: Ja. | Pridané: 28.7.2010 12:23 ...viac ako jedného terabajtu dát... Odpovedať Známka: -6.9 Hodnotiť:

Re: utriedeny Od: :-) | Pridané: 28.7.2010 12:38 ...viac ako jeden terabajt dát. Odpovedať Známka: 8.1 Hodnotiť:

Re: utriedeny Od: ........... | Pridané: 28.7.2010 12:46 treba vediet, ze 1 TB nie je 1 TiB Odpovedať Známka: 9.1 Hodnotiť:

Re: utriedeny Od: dnes n.l. má meniny Krištof | Pridané: 28.7.2010 19:49 TiB? to je ti brďo, alebo borid titánu? Odpovedať Známka: 0.0 Hodnotiť:

Re: utriedeny Od: ,,,,,,,,,,, | Pridané: 29.7.2010 1:13 Nie je, avsak na tomto servery je zauzivane klasicke pouzivanie TB, GB a MB. Odpovedať Hodnotiť:

Re: utriedeny Od: (-: | Pridané: 29.7.2010 1:12 Za minutu utriedenych "viac ako jeden terabajt dát". Este ze vam ti tam pasuje pluraly. Odpovedať Hodnotiť:

Re: utriedeny Od: .aj | Pridané: 29.7.2010 1:11 Za minutu utriedenych "viac ako jedného terabajtu dát"? Sklonovanie byt velice dobra kamarat. Odpovedať Hodnotiť:

Re: utriedeny Od: fgh | Pridané: 28.7.2010 12:36 1000GB=1TB cize utriedili viac ako 1 TB. Odpovedať Známka: -1.2 Hodnotiť:

Re: utriedeny Od: rererere | Pridané: 28.7.2010 12:50 1024GB=1TB, 1000Gb=1Tb Odpovedať Známka: -6.6 Hodnotiť:

Re: utriedeny Od: intact | Pridané: 28.7.2010 13:05 1024GiB=1TiB, 1000GB=1TB Odpovedať Známka: 6.7 Hodnotiť:

IEEE 1541 Od: MuadDib | Pridané: 29.7.2010 10:03 1000 Gb = 128 GB (spravidla, konvenčne); inak je to tak, ako píše súdruh intact. A ešte si pozri toto: http://en.wikipedia.org/wiki/IEEE_1541 Odpovedať Hodnotiť:

Re: utriedeny Od: aleale | Pridané: 28.7.2010 12:37 ale je to viac ako 1TB dat, 1 TB = 10^12 Bajtov, zatial co jeden tebibajt 1TiB je 2^40, co je 1024 GiB (gibibajtov), pre viac info si cekni wiki, kde zistis, ze predpony kilo,mega, giga, tera, peta, exa atd vujadruju dekadicke nasobky, zatialco kibi, mebi, gibi, tebi atd vyjadruju predpony binarnych nasobkov (kibi ~ 2^10=1024, mebi ~ 2^20=1024*1024 atd) Odpovedať Známka: 6.7 Hodnotiť:

Re: utriedeny Od: aleale | Pridané: 28.7.2010 12:37 a dakujem, tlieskat mi nemusite, viem, ze som skvely! :D Odpovedať Známka: 0.4 Hodnotiť:

Re: utriedeny Od: awdadw | Pridané: 28.7.2010 13:13 aspon vidno kolko idiotov sa tu najde... samozrejme ze TERA je 10^12 ... Odpovedať Známka: 6.5 Hodnotiť:

Re: utriedeny Od: jupiii | Pridané: 28.7.2010 16:38 1. Mas pravdu. 2. Nemusis zrovna nadavat do idiotov, pretoze tvoja pravda neplatila pred 10 rokmi na Slovenskych skolach. Tak je vela starsich ludi, ktori o tejto zmene ani netusili. Nie kazdy ma snahu sa stale ucit nove informacie. Tymto neobhajujem seba, lebo som mal to stastie a dozvedel som sa to prave vtedy, ked tu zmenu aplikovali. Odpovedať Známka: 6.7 Hodnotiť:

Re: utriedeny Od: jupiii | Pridané: 28.7.2010 16:47 Este upresnim ako to bolo vtedy. V skolach sme sa ucilo, ze kB, MB, GB, TB - su vzdy predpony spajany s bajtami, ktore su vyjadrovane nasobkami 2. Ak sa jednalo o kb, Mb, Gb, Tb, tak sa jednalo o bity a teda o cislo vynasobene 8, kedze Bajt ma 8 bitov. Bordel do jednotiek zaviedli vyrobcovia CD/DVD a HDD diskov, ktorym viac vyhovovala 10tkova sustava, pretoze vacsie cislo... viac uputalo zakaznika. Preto oni udavali, ze disk ma 40 GB - ale pritom mal 40x10^9 Bajtov. Ak sa to previedlo na binarne kilo, Mega a Giga, tak vyslo len 37.25 GB (pretoze operacny system, zobrazoval binarne). Vyrobcovia diskov si to ale obhajovali, pretoze pre 40 GB by museli vytvorit cosi navyse priestoru a tak by im nevychadzal vyssi zisk na 1 GB. Odpovedať Známka: 10.0 Hodnotiť:

Re: utriedeny Od: AstaKiller | Pridané: 29.7.2010 15:32 Dobre napisane a samozrejme suhlas! Odpovedať Hodnotiť:

Re: utriedeny Od: delavei | Pridané: 29.7.2010 0:12 """a) 1014 GB nie je "viac ako 1 TB". """ ach, ty debil :D som cakal kedy najdem koment v ktorom to nejaky mudrlant napise :D Odpovedať Hodnotiť:

Re: utriedeny Od: ievaled | Pridané: 29.7.2010 1:10 Debil si akurat ty. Fajn, prijmime tu hovadinu od IEC, ze pre 1024 pouzijeme kibi, mibi a gibi (aj ked som to este nikoho nepocul vyslovit v beznej reci - ty si uz pouzil "tento film ma 600 mibi" namiesto "tento film ma 600 mega"?), clanok je teda spravny. Potom je vsak nespravna polovica clankov, nakolko jednotky MiB a GiB boli na tomto serveri pouzite vyhradne v diskusiach (check Google), cize v clankoch, ktore neopisuju disky a pod. su jednotky pouzivane zle. Odpovedať Hodnotiť:

počet serverov Od: kryptolog | Pridané: 28.7.2010 12:47 Koľko bolo teda tých serverov DL380 G6 použitých? Nejak to nevidím. Odpovedať Známka: 6.0 Hodnotiť:

Re: počet serverov Od: kryptolog | Pridané: 28.7.2010 12:51 Hmmm, toto mapovanie som nevidel :). "... použitých bolo 52 výpočtových uzlov. Uzly tvorili servery HP ProLiant DL380 G6 ..." Odpovedať Známka: 2.0 Hodnotiť:

jaj TU Wien Od: Oliver ggg | Pridané: 28.7.2010 13:52 moji spoluziaci sa poznasili ako vidim :D Odpovedať Známka: -8.0 Hodnotiť:

Re: jaj TU Wien Od: fdhdf | Pridané: 28.7.2010 14:06 tvoji spoluziaci sa posnazili zatial co ty si blicoval a chodil chlastat do krcmy Odpovedať Známka: 9.0 Hodnotiť:

Re: jaj TU Wien Od: oliver ggg | Pridané: 29.7.2010 1:13 Co je na tom na -10 neviem :) slovak sa nezapre Odpovedať Známka: -5.0 Hodnotiť:

MS a SI Od: Cpx | Pridané: 28.7.2010 14:30 Konecne sa zacina hybat ohladom KB a KiB a MS prekrucanie jednotiek bude coskoro na vysmech. Zda sa ze sa ujasnuje 1000KB=1MB 1024KiB=1MiB vacsia sranda zacina uz tu (ak sa nemylim) 1024,0KiB = 1048.5KB = 1.000MiB = 1.0485MB 976,5KiB = 1000.0KB = 0.953MiB = 1.0000MB Odpovedať Známka: 8.2 Hodnotiť:

Re: MS a SI Od: xpc | Pridané: 29.7.2010 1:05 Kolkokrat si povedal, ze napr. "subor ma 20 mibi" namiesto "subor ma 20 mega"? Odpovedať Hodnotiť:

Re: Sranda Od: Mepho | Pridané: 28.7.2010 20:53 Najvacsia sranda zacina v pochopeni dvojkovej a desiatkovej pozicnej sustavy, prva hodina programovania v temer hociakom nehaskellovskom jazyku... Odpovedať Známka: 6.0 Hodnotiť:

Re: Sranda Od: Mettiu | Pridané: 29.7.2010 21:10 No ja by som to skor formuloval, ze na hocijakom nefunkcionalnom jazyku pretoze jazyky niesu haskellovske ale funkcionalne. Odpovedať Hodnotiť:

Vysvetlenie Od: trol | Pridané: 28.7.2010 22:59 http://imgs.xkcd.com/comics/kilobyte.png uz by to malo byt jasne :D Odpovedať Známka: 10.0 Hodnotiť:

Pridať komentár