Google sprístupnil svoj rýchly komprimačný nástroj Snappy

DSL.sk, 24.3.2011

Spoločnosť Google tento týždeň sprístupnila vo forme open source svoj komprimačný nástroj Snappy, ktorý spoločnosť doteraz používala interne na komprimovanie dát.

Snappy, pôvodne označovaný spoločnosťou Zippy, nie je určený na dosahovanie čo najlepšej absolútnej kompresie, jeho úlohou je dosahovať čo najlepšiu kompresiu pri vysokej rýchlosti komprimovania a dekomprimovania.

Na jednom jadre 2.26 GHz procesora Intel Core i7 architektúry Westmere dosahuje Snappy podľa Google rýchlosť komprimácie aj v najpomalšom prípade 250 MB/s, pri niektorých typoch dát je to aj na úrovni 1 GB/s. Dekomprimácia dosahuje rýchlosť minimálne 500 MB/s.

Snappy dosahuje napríklad pri kompresii textu 1.5 až 1.7-násobnú kompresiu, pri HTML 2 až 4-násobnú. Oproti najrýchlejšiemu módu zlib dosahuje nástroj Google o 20% až 100% väčšie výsledné súbory, je ale o jeden rád rýchlejší.

V porovnaní s komprimačnými nástrojmi určenými podobne ako Snappy pre extrémne rýchlu komprimáciu, napríklad LZO, LZF, FastLZ, QuickLZ, je Snappy podľa Google zvyčajne rýchlejší, pričom dosahuje podobné miery kompresie.

Snappy svojimi parametrami nie je určený na komprimáciu dát pre ich trvalé uchovávanie, výhodný je najmä na znižovanie I/O, sieťového či diskového, pri spracovaní a prenose dát.

Komprimačný nástroj Snappy Google sprístupnil ako open source s licenciou Apache License 2.0.


Najnovšie články:



Diskusia:

suborovy system SnappyFS? Od: Slavius | Pridané: 24.3.2011 14:01 Odpovedať Známka: 8.3 Hodnotiť:

Re: suborovy system SnappyFS? Od: hmmm | Pridané: 24.3.2011 14:11 a toto je vysledok po kompresii so 7-zip Odpovedať Známka: 8.9 Hodnotiť:

Re: suborovy system SnappyFS? Od: Seattleman | Pridané: 24.3.2011 14:14 Presne tak. Data su prec, ked sa poskodi archiv. Preto pouzivam RAR s recovery record. Odpovedať Známka: -5.9 Hodnotiť:

Re: suborovy system SnappyFS? Od: Mehmed | Pridané: 24.3.2011 14:34 ja som zatial so 7-zipom nemal ziadne problemy Odpovedať Známka: 5.6 Hodnotiť:

Re: suborovy system SnappyFS? Od: ........... | Pridané: 24.3.2011 19:09 ani ja ............ lebo ho nepouzivam Odpovedať Známka: 3.1 Hodnotiť:

Re: suborovy system SnappyFS? Od: marrrtin | Pridané: 24.3.2011 14:53 No rarko s recovery record ti tiez nemusi vzdy pomoct. Ak sa ti poskodi recovery record, nemas sancu to zistit, pretoze winrar testuje len spakovane data a na recovery kasle!!! Toto ma na nom dost stve. Vyskusaj si to: spakuj daco a pridaj 10% rec.record, potom hexa editorom zmen nejake data tak asi v 95% od zaciatku (lebo rec. record sa pridava na koniec). A potom to daj winrarom otestovat a uvidis ze si to ani nevsimne. Na potentovanom usb kluci sa moze subor dalej kazit, tak kym si to winrar vsimne, uz moze byt neskoro. Odpovedať Známka: 8.7 Hodnotiť:

Re: suborovy system SnappyFS? Od: marrrtin | Pridané: 24.3.2011 15:02 neskoro preto lebo kym sa winrar zobudi tak uz su poskodene data aj samotny recovery record, ktory by mal sluzit prave na opravu!!! A co je horsie, tak ziaden konkurencny a rozsireny pakovac ako je zip alebo 7zip, recovery record neponuka :((( Takze ostava len v total commanderi si vytvorit kontrolny sucet md5 abo sha1, a doverovat ale preverovat. Odpovedať Známka: 8.3 Hodnotiť:

Re: suborovy system SnappyFS? Od: ..... | Pridané: 24.3.2011 16:45 Najlepsia kombinacia je aj tak instalaciu WinRARu distribuovat v rar archive no a aby si sa nemusel bat ci je ten rar poskodeny alebo nie tak DO toho raru pribalit .md5 kontrolny sucet ;-) Odpovedať Známka: 8.0 Hodnotiť:

Re: suborovy system SnappyFS? Od: marrrtin | Pridané: 24.3.2011 17:12 1. Winrar sa distribuuje ako samorozbalovaci archiv :) 2. Total Commander tak isto + na webe je aj md5 hash :) 3. Pri distribucii opensource vratane linuxov je pouzivanie md5 a overovanie konzistentnosti dat uplne normalna vec:) Instalacku stiahnes z netu, ale data z posrateho usb kluca (alebo v buducnosti dosluhujucich SSD) vydolujes uz tazko Odpovedať Známka: 5.6 Hodnotiť:

Re: suborovy system SnappyFS? Od: marrrtin | Pridané: 24.3.2011 17:12 1. Winrar sa distribuuje ako samorozbalovaci archiv :) 2. Total Commander tak isto + na webe je aj md5 hash :) 3. Pri distribucii opensource vratane linuxov je pouzivanie md5 a overovanie konzistentnosti dat uplne normalna vec:) Instalacku stiahnes z netu, ale data z posrateho usb kluca (alebo v buducnosti dosluhujucich SSD) vydolujes uz tazko Odpovedať Známka: -3.3 Hodnotiť:

Re: suborovy system SnappyFS? Od: marrrtin | Pridané: 24.3.2011 17:12 1. Winrar sa distribuuje ako samorozbalovaci archiv :) 2. Total Commander tak isto + na webe je aj md5 hash :) 3. Pri distribucii opensource vratane linuxov je pouzivanie md5 a overovanie konzistentnosti dat uplne normalna vec:) Instalacku stiahnes z netu, ale data z posrateho usb kluca (alebo v buducnosti dosluhujucich SSD) vydolujes uz tazko Odpovedať Známka: -3.3 Hodnotiť:

Re: suborovy system SnappyFS? Od: doriti | Pridané: 24.3.2011 17:15 3x zasebou doriti posrata opera mini. Odpovedať Známka: 9.1 Hodnotiť:

Re: suborovy system SnappyFS? Od: Mentol | Pridané: 24.3.2011 20:53 Viem o com hovoris, priatel android, ale mame k nej nejaku menej posratu alternativu? Odpovedať Známka: -6.7 Hodnotiť:

Re: suborovy system SnappyFS? Od: cdd | Pridané: 24.3.2011 23:18 safari ;) Odpovedať Známka: -6.0 Hodnotiť:

Re: suborovy system SnappyFS? Od: locke | Pridané: 25.3.2011 0:16 windows mobile 6.5 :D Odpovedať Známka: 7.1 Hodnotiť:

Re: suborovy system SnappyFS? Od reg.: Pjetro de | Pridané: 25.3.2011 9:39 Mudro pises. Ine riesenie je nepouzivat dementne prihorete pamate flash. Mne kazdy jeden rok jeden USB kluc odisiel, nie kvoli mechanickemu poskodeniu, ale kvoli opotrebovaniu NAND cipov. Hnus, fuj uz nikdy viac USB kluc. 1,8 palcove externe discoky maju este stale svoje opodstatnenie a dufam ze ho ani tak sporo nestratia. Kapacity 120-160-200-250 GB a discok je to malinkaty a lahulinky. Kablik na pripojenie je dakedy dokonca pribalyny 2x: jeden asi pol metrovy a druhy kratulinky 5 cm ked to chcele mat ozaj ako USB kluc, plozene na stole a pripojene napr. do USB HUBu. Odpovedať Hodnotiť:

Re: suborovy system SnappyFS? Od: apofiSSo | Pridané: 24.3.2011 15:34 Mozte mi prosim vysvetlit ako funguje recovery record? Ani len netusim o co tam ide... Ak mam 500MB dat...10% recovery..Cize 50MB Tak ak sa z tych 500MB nieco poskodi a nachadza sa v tych 50MB tak sa to opravi? DIK Odpovedať Hodnotiť:

Re: suborovy system SnappyFS? Od: lolo21 | Pridané: 24.3.2011 16:07 ten 50MB recovery dokaze opravit lubovolnych (takmer) 50MB z povodnych 500. Zjednodusene ide o to, ze ak by si napriklad chcel opravovat 1024 cisel, tak si spravis napr. sucet zo vsetkych, sucet z kazdeho druheho, sucet z kazdeho stvrteho atd. az po sucet z kazdeho 1024-teho (teda z jedneho jedineho). ked sa ti strati hociktore z cisel, tak vdaka tymto vhodne zvolenym suctom ho dokazes doratat. to co som popisal je urcita verzia hammingovho kodu, ktory je hadam najstarsi zo vsetkych samoopravnych kodov. bez samoopravnych kodov by nemalo sancu fungovat ziadne datove medium - pouzivaju ich CD, DVD, HDD, SSD, kazde iny podla toho aky druh chybovosti sa na danom mediu ocakava. takisto sa pouzivaju v digitalnom vysielani hadam kazdeho druhu. nejake zakladne info tu: http:// en.wikipedia.org /wiki/Forward_error_correction http:// cgg.mff.cuni.cz /~pepca/prg022/kvapil/ Odpovedať Známka: 8.9 Hodnotiť:

Re: suborovy system SnappyFS? Od: error correction | Pridané: 25.3.2011 3:27 all hail to Reed and Solomon BTW. na DVD je podiel data-opravne kody cca 50-50. Odpovedať Známka: 10.0 Hodnotiť:

Re: suborovy system SnappyFS? Od: brano2 | Pridané: 25.3.2011 6:57 wau, takychto prispevkov v diskusii by tu mohlo byt viac, jednoduche na pochopenie a pritom vysvetlujuce zakladny princip Odpovedať Známka: 10.0 Hodnotiť:

Re: suborovy system SnappyFS? Od reg.: Pjetro de | Pridané: 25.3.2011 9:35 Mudro pises :-) Len doplnim, napr. v suvislosti s tymi optickymi mediami existuju 2 druhy chyb. Chyb prveho druhu je pri napalovani zopar stoviek az zopar tisic na celom mediu, chyb druheho druhu (vaznejsich) zopar desiatok (samozrejme zelezi od kvality napalovacky, media a sposobu napalovania). Co je vsak podstatne, vsetky tieto chyby pri napalovani NIE SU ODSTRANITELNE ANI LEN PRINCIPIALNE, preto MUSIA existovat korekcne mechanizmy, ktore ich vyskyt (tych chyb) do istej miery robia bezpredmetnym. Odpovedať Známka: 7.1 Hodnotiť:

Re: suborovy system SnappyFS? Od: napalovanie | Pridané: 26.3.2011 10:34 chcel by som sa spytat potom ako v najvacsej miere zabranit tymto chybam sposobenym napalovanim. Napalovacku asi neovplyvnim. Aky je teda najvhodnejsi sposob napalovania a ake je najvhodnejsie medium? Osobne som si vzdy potrpel na DVD Verbatim a napaloval som 16x rychlostou. Odpovedať Hodnotiť:

Re: suborovy system SnappyFS? Od: marrrtin | Pridané: 26.3.2011 19:17 Ahoj. 1. Napalovat na kvalitne media napr. verbatim, alebo take ktore vyraba fy. Taiyo Yuden. Volakedy aj verbatimky boli od nich. Mne sa nikdy neosvedcili memorexky - stacilo ich zle chytit, na okraji cd nieco puklo a foliu som z cd stiahol ako nalepku. 2. Ja vzdy palim tak 1/3 max. 1/2 rychlosti media. Kvoli vybraciam sa to potom vypali presnejsie. 3. Po vypaleni mozes cd otestovat na chyby, nero v baliku ma na to nejake utility. Ale ja som ani s jednym cd nedosiahol 100%, no su citatelne aj po rokoch. Odpovedať Hodnotiť:

Re: suborovy system SnappyFS? Od: marrrtin | Pridané: 26.3.2011 19:56 4. Ale mam aj take ktore mi ta utilita oznacila kvalitu cd ako 0% no je stale citatelne kvoli samoopravnym kodom. 5. Po napaleni skontrolovat citatelnost v dvoch roznych napalovackach. Ak sa da cele dvd bez problemov skopirovat (nielen dat nacitat a potom z napalovacky vybrat), nieje dovod na paniku. 6. Raz za polroka/rok tak ako v 5. skontrolovat media v, pripade problemov napalit na nove dvd. 7. V pripade dolezitych dat zalohovat aj na 4 media (dvd + dvd + hdd + usb). 8. Tie utility su aj tu: www.cdspeed2000.com Odpovedať Hodnotiť:

Re: suborovy system SnappyFS? Od: ........... | Pridané: 24.3.2011 19:10 ja pouzivam Arj, ten je najsamplesi .. Odpovedať Známka: 7.5 Hodnotiť:

Re: suborovy system SnappyFS? Od: brmbolec | Pridané: 24.3.2011 21:54 ARJ ešte existuje? Ten mi pripomína staré dobré časy, keď som balil hry a dievčatá na diskety. Odpovedať Známka: 8.8 Hodnotiť:

Re: suborovy system SnappyFS? Od: Alex323 | Pridané: 24.3.2011 23:32 jj ... "bi-bi-esky" a zbrusu novy 9 kilovy Zyxel za dva mesacne platy. To bol cvrkot .. o) Odpovedať Známka: 6.7 Hodnotiť:

Re: suborovy system SnappyFS? Od: meff | Pridané: 24.3.2011 21:54 A čo tak LHA ? Odpovedať Hodnotiť:

Re: suborovy system SnappyFS? Od: 3znaky | Pridané: 24.3.2011 22:18 a co tak LHC? zabalis dva zvazky atomov.... sice neprakticke, ale pobavi :D Odpovedať Známka: 10.0 Hodnotiť:

Re: suborovy system SnappyFS? Od: slavoslav | Pridané: 25.3.2011 1:42 LHARC Odpovedať Známka: 3.3 Hodnotiť:

Re: suborovy system SnappyFS? Od reg.: Zmurko | Pridané: 25.3.2011 10:24 arj x -v -a -y mortal.arj ? :) Odpovedať Známka: 6.7 Hodnotiť:

Re: suborovy system SnappyFS? Od: oldskuuuler | Pridané: 28.3.2011 14:58 arj -x -va -y+ Odpovedať Hodnotiť:

btrfs Od: aaaaaaa1 | Pridané: 24.3.2011 14:34 Teraz bola pridana LZO kompresia pre btrfs v jadre 2.6.38. Mohol by sa aplikovat aj tento algoritmus :-) Odpovedať Známka: 5.0 Hodnotiť:

nemci... Od: ezio | Pridané: 24.3.2011 15:34 schnaps ist aber ja besser... Odpovedať Známka: -5.0 Hodnotiť:

Re: nemci... Od reg.: BulloDT | Pridané: 24.3.2011 15:52 šajze Odpovedať Známka: 4.3 Hodnotiť:

Re: nemci... Od: nemecisko | Pridané: 24.3.2011 16:43 Ked uz tak " Schnapps ist ja aber besser " ;) Odpovedať Známka: 2.5 Hodnotiť:

Re: nemci... Od: martin. | Pridané: 24.3.2011 16:48 Ich bin schnappi das kleine krokodil... :P Odpovedať Známka: 7.1 Hodnotiť:

Re: nemci... Od: quix_ | Pridané: 24.3.2011 22:28 schnappi rulez watch?v=Oe3FG4EOgyU Odpovedať Známka: 4.3 Hodnotiť:

................... Od: ........... | Pridané: 24.3.2011 19:11 najlepsi komrimacny nastroj, su o 3 cisla mensie slipy .. Odpovedať Známka: 7.9 Hodnotiť:

nikdy problem asi som je8nuty Od: jeblinton 186ty | Pridané: 24.3.2011 19:32 pouzivam winrar uz 386 rokov aj 3 mesiace a este nikdy som nemal problemi tak ma pojebte do huby Odpovedať Známka: -8.0 Hodnotiť:

Re: nikdy problem asi som je8nuty Od: ..... | Pridané: 24.3.2011 20:44 A stavim sa ze uz 386 rokov si si nevrzol.. Odpovedať Známka: 7.1 Hodnotiť:

Re: nikdy problem asi som je8nuty Od: edi | Pridané: 24.3.2011 22:31 on nie, ale jeho kazdy jebe do huby. Odpovedať Známka: 8.1 Hodnotiť:

Re: nikdy problem asi som je8nuty Od reg.: kulinarik | Pridané: 26.3.2011 10:30 ...a 3 mesiace Odpovedať Známka: 10.0 Hodnotiť:

Re: nikdy problem asi som je8nuty Od: marrrtin | Pridané: 24.3.2011 22:24 Komprimacny algoritmus Winraru je OK, s tym ziaden problem nieje. Nikdy v zivote mi winrar nic chybne nezbalil. Ale ja som pisal len o bugu v recovery record, ktory sa u 98% pouzivatelov vobec nemusi prejavit! Rec. rec. mi este z cias diskiet zachranil vela cennych dat. Ale na ten bug som prisiel az pri zalohovani, ked som asi po 2 tyzdnoch v tot. commanderi podla obsahu porovnaval tie dve rar-ka. Mali sa bit po bite zhodovat, ale nezhodovali sa 4 bajty. Tak som winrarom testol ten subor co bol posraty na kluci ale podla neho bolo vsetko OK. A po patrani som dospel k tomu o com som pisal uz vyssie. Odpovedať Známka: 10.0 Hodnotiť:

Re: nikdy problem asi som je8nuty Od: brano2 | Pridané: 25.3.2011 7:02 dobre vediet, clovek by cakal ze rusi su makaci a daju tam aspon na cely archiv+recovery nejaku crc-sum kontrolu, zjavne to nikto takto detailne netestuje a kazdy porovnava silu kompresie a rychlost Odpovedať Známka: 10.0 Hodnotiť:

Re: nikdy problem asi som je8nuty Od: marrrtin | Pridané: 25.3.2011 8:23 Ked budem mat cas tak spravin nejake zmodifikovane archivy a spolu s origosom ich poslem autorovy. Snad sa dockame napravy. Odpovedať Hodnotiť:

Schnappi Od: prdlajs | Pridané: 24.3.2011 21:27 Schnappiiiii, schnapiiiiii, .... http://goo.gl/hnnvM :) Odpovedať Známka: 6.4 Hodnotiť:

Re: Schnappi Od: edi | Pridané: 24.3.2011 22:33 ten krokodil to je je riadne LSD. Odpovedať Známka: 8.3 Hodnotiť:

Windows Od: SSD | Pridané: 24.3.2011 22:25 A ako ze verzia pre Windows nic? Alebo som oslepol? Odpovedať Známka: -4.3 Hodnotiť:

Re: Windows Od: ccccg | Pridané: 24.3.2011 23:21 a naco? co by si stym robil na spustaci hier? Odpovedať Známka: 2.7 Hodnotiť:

Re: Windows Od: SSD | Pridané: 25.3.2011 14:44 No na serveroch neviem kto spusta hry :( a pri rychlej zalohe 100tisicov mini suborov by to bolo idealne. Odpovedať Známka: 3.3 Hodnotiť:

Re: Windows Od reg.: __Ondrej | Pridané: 25.3.2011 14:07 Však si to skompiluj na windows. Odpovedať Známka: 10.0 Hodnotiť:

Pridať komentár