Google má minimálne 1155.5 TB dát

DSL.sk, 11.9.2006

Viacero zaujímavých údajov zverejnila spoločnosť Google v dokumente popisujúcom technológiu Bigtable, ktorú Google využíva na uchovávanie dát viacerých svojich aplikácií.

Bigtable je distribuovaný systém na uchovávanie štruktúrovaných dát podobne ako SQL databázy, optimalizovaný je ale na uchovávanie databáz až do veľkostí petabytov s mimoriadne rýchlym prístupom.

Podľa dokumentu crawlery Google prehľadávajúce web využívajú na uchovávanie indexovaného obsahu všetkých webových stránok dve Bigtable databázy o veľkosti 800 TB a 50 TB. Bigtable zároveň umožňuje dáta on-the-fly komprimovať, dáta crawlerov sú skomprimované s komprimačným pomerom až 11%, udávaná veľkosť je pred kompresiou.

Zverejnené boli údaje aj pre niekoľko ďalších služieb. Obrázky Google Earth využívané Google Earth softvérom aj Google Maps webovou aplikáciou zaberajú 70 TB. Indexové dáta pre Google Earth majú veľkosť približne 500 GB (kompresia 64%) a až 33% je ich zvyčajne nacachovaných v pamäti.

Služba Google Analytics pre monitorovanie návštevnosti webových stránok používa dve databázy o veľkosti 200 TB (kompresia 14%) a 20 TB (29%), vo väčšej sú uložené raw dáta všetkých pageviews, menšia uchováva vytvorené štatistiky.

Služba Personalized Search uchovávajúca všetky vyhľadávania užívateľa, ak si tento službu povolí v nastaveniach Google Account účtu, využíva iba 4 TB s kompresným pomerom 47%.

Google Base využíva 2 TB, Orkut 9 TB bez kompresie podobne ako obrázky Google Earth.

Bigtable je nadstavbou nad distribuovaným Google File System. Nie je vylúčené, že Bigtable využívajú aj ostatné aplikácie vrátane napríklad Gmailu a vyhľadávania v podobe uloženia aj samotného indexu, veľkosti týchto databáz ale Google nezverejnil.

Celkovo dáta uložené v Bigtable poskytuje 388 tzv. clusterov po celom svete zložených z mnohých počítačov. Ako príklad nárokov na tento systém podľa dokumentu Google skupina konkrétnych 14 vyťažených clusterov poskytuje spolu dáta rýchlosťou 16 GB/s, prichádzajúce požiadavky využívajú bandwidth 741 MB/s.

Viac informácií o Bigtable aj o jej použití v datacentrách Google je možné nájsť v tomto dokumente.




Najnovšie články:



Diskusia:

ioio Od: ioio | Pridané: 11.9.2006 12:29 ja mam 76giga Odpovedať Hodnotiť:

peter Od: peter | Pridané: 11.9.2006 12:37 skus odratat videa, audio a sw, aby ti zostali take data, ake google spracuva... :) Odpovedať Hodnotiť:

ioio Od: ioio | Pridané: 11.9.2006 12:50 16 mb?:D Odpovedať Hodnotiť:

peter Od: peter | Pridané: 11.9.2006 13:00 spravne... :) Odpovedať Hodnotiť:

red Od: red | Pridané: 11.9.2006 16:21 ja mam 370gb ale z toho mi 500 mb zere pojebany win :/ ktory musim mat kvoli matke :( Odpovedať Hodnotiť:

smejd Od: smejd | Pridané: 11.9.2006 17:34 iha macher, a povedz ze aku ditribuciu pouzivas nech vieme cim machrujes, ci to neni daky suse Odpovedať Hodnotiť:

forcer Od: forcer | Pridané: 11.9.2006 17:44 100% tam bude mat bud QNX alebo plan9 popripade openVMS :) Odpovedať Hodnotiť:

siri Od: siri | Pridané: 11.9.2006 23:47 Joj ale si frajer! Odpovedať Hodnotiť:

red Od: red | Pridané: 11.9.2006 18:04 omg mam 150 gb nealokovane cize ece nemam vytvoreny logicky disk Odpovedať Hodnotiť:

Gyrxiur Od: Gyrxiur | Pridané: 11.9.2006 19:11 Ja mam 120 GB hadr rozdeleny na 3 casti s win 98, XP a Vistou... Odpovedať Hodnotiť:

RemuS Od: RemuS | Pridané: 11.9.2006 20:24 cize vsetko rezervovane pre virusy :P Odpovedať Hodnotiť:

lol Od: lol | Pridané: 11.9.2006 21:51 tomu sa hovori smetisko :D lol Odpovedať Hodnotiť:

adyy Od: adyy | Pridané: 11.9.2006 21:13 A uz sa to tu meni na prezentaciu kto ma aky velky disk a co na nom. Pochopte deti, nikoho to nezaujima... Odpovedať Hodnotiť:

jay Od: jay | Pridané: 11.9.2006 22:30 čím väčšia lama, tým "inteligentnejší" príspevok, diskusia na dsl.sk už mesiace slúži absolútnym blbom, ktorý sa odbavujú kto má väčší ... pochopte, už nikoho nezaujíma, že niekto má 250 GB disk, niekto linux, niekto Win, niekto možno testuje Vistu, niekto má Firefox, ďalší Operu, kedy už konečne dospejete deti? Odpovedať Hodnotiť:

tokamak Od: tokamak | Pridané: 11.9.2006 23:08 tak tak, pravda je to veru, ked si to každý deň čítam tie akutalitky a vidím tie príspevky, občas vážne krútim hlavou, prečo to tu píšu.... nechápem, ved mne by sa to ani nexcelo... je to škoda, ale takto je to asi všade Odpovedať Hodnotiť:

Kubo Od: Kubo | Pridané: 12.9.2006 1:06 ja som pocul z celkom dobreho zdroja, ze cast tupych komentarov tu treba pripisat snahe konkurencie aspon nejako bojovat... ale netusim, co je na tom pravdy Odpovedať Hodnotiť:

WiFi Od: WiFi | Pridané: 12.9.2006 2:31 Najdu sa aj ludia co stuchaju do tunajsej redakcie, aby s tym nieco robila. Nuz ak konkurencia si tu robi dobry den, ehm... s tym sa neda moc robit. Mohli by aspon naznacit ako to je. Odpovedať Hodnotiť:

solomon Od: solomon | Pridané: 11.9.2006 22:33 80gb hdd, 2 particie > tinyXP a OSX 10.4.7 AMD/Intel Odpovedať Hodnotiť:

hoax Od: hoax | Pridané: 11.9.2006 22:35 google... borgove :D Odpovedať Hodnotiť:

large Od: large | Pridané: 11.9.2006 22:48 lol, nechapem na co sa tu hrate, ja ho mam velkosti XXL :D ma niekto viac? :D Odpovedať Hodnotiť:

hoax Od: hoax | Pridané: 11.9.2006 22:49 google... borgove :D Odpovedať Hodnotiť:

Pridať komentár