Google si svoje nespoľahlivé servery skladá sám

Viacero zaujímavých informácií prezradil na konci minulého týždňa verejnosti Urs Hölzle, viceprezident spoločnosti Google. Hölzle poodhalil viacero detailov o spoločnosťou používaných serveroch, tajomstvo, ktoré je v Google jedným z najstráženejších. Verejnosť sa tak dozvedela, že Google si svoje lacné servery stavia sám, že si pravdepodobne už vyvíja vlastné čipy ale tiež napríklad to, že používa špeciálne zdroje s až 90% účinnosťou.

DSL.sk, 3.7.2006

Urs Hölzle minulý týždeň prezradil verejnosti viacero zaujímavých informácií, ktoré doplnil cez víkend ďalšími zaujímavými informáciami John Markoff.

Hoci sa už v minulosti neoficiálne objavili informácie, že Google si svoje servery vyvíja a skladá sám, až minulý týždeň túto domnienku potvrdil oficiálne Urs Hölzle, viceprezident spoločnosti Google.

Jedným z veľkých tajomstiev Google je počet serverov, ktorý tak nie je známy. Viacero zdrojov ho ale odhaduje na viacero stotisícov. Podľa Martina Reynoldsa z Gartneru je Google dokonca štvrtým najväčším výrobcom serverov na svete, hneď po spoločnostiach Dell, Hewlett-Packard a IBM. V prípade Google ide samozrejme ale všetko o servery pre vlastnú potrebu.

Google si dizajn svojich počítačov aj sám navrhuje, aby vyhovovali jeho požiadavkám. Tento dizajn sa prispôsobuje aktuálne dostupnému hardvéru približne raz za rok. Súčasná generácia využíva Opteron procesory od AMD a Google je údajne medzi piatimi najväčšími zákazníkmi AMD a vôbec najväčším zákazníkom AMD, ktorý jej procesory nepredáva ďalej.

Zatiaľ neoficiálnou informáciou zostáva, že Google často na upevnenie komponentov používa suchý zips. To umožňuje jednoducho v obrovských dátových centrách vymieňať pokazené komponenty. Suchý zips nahradil predtým inú používanú technológiu konštrukcie serverov - komponenty boli položené na korkových plátoch. Zistilo sa ale, že to v niektorých prípadoch môže spôsobovať, pravdepodobne pre nedostatočné chladenie, nestabilitu.

Na rozdiel od svojich konkurentov akými sú Yahoo a Microsoft/MSN, Google používa hardvér, ktorý priamo v návrhu počíta s tým, že je nespoľahlivý. "Nikto nestavia tak nespoľahlivé servery ako my.", uviedol Hölzle.

Google sa pre takýto spôsob budovania infraštruktúry rozhodol už pri budovaní prvej serverovej farmy, keďže podľa Google vychádza efektívnejšie ako drahé značkové servery s vysokou spoľahlivosťou.

Spoľahlivosť Google zabezpečuje softvérovo, keď dáta sú uložené na serveroch Google viackrát na rozličných serveroch a softvér automaticky v prípade výpadku hardvéru zabezpečuje, aby sa všetky dáta nachádzali na pracujúcich serveroch v dostatočnom množstve kópií.

Google používa podľa nepotvrdených informácií vlastnú upravenú distribúciu Linuxu, duplicitné spoľahlivé distribuované uloženie dát zabezpečuje vlastný Google File System.

Ďalším vlastným softvérom, ktorý má technologický náskok aj oproti produktom tvoreným špecializovanými spoločnosťami je MapReduce paralelizácia, ktorá umožňuje ľahko rozdeľovať všetky výpočty na ľubovoľný počet serverov a Google Work Queue manažujúci alokáciu serverov pre jednotlivé úlohy.

Podľa expertov všetky tieto interne používané produkty majú výrazný náskok pred technológiami konkurenčných spoločností a stoja za úspechom Google rovnako ako kvalitné vyhľadávanie. Google dokáže podľa expertov rovnaké služby ponúkať s polovičnými nákladmi ako konkurenti a s desatinovými nákladmi oproti bežným spoločnostiam zabezpečujúcim pre svojich zamestnancov porovnateľné služby.

Podľa Marka Stahlmana, nezávislého analytika, Google v súčasnosti navrhuje aj vlastné čipy, keď zamestnal viacero zamestnancov bývalej spoločnosti Digital Equipment Corporation (DEC), ktorá vyvíjala svojho času úspešný a pokrokový procesor Alpha. Hölzle potvrdil, že Google zvažovala vývoj vlastných čipov, odmietol ale komentovať, či aj nejaký vyvíja alebo vyvinula.

Jednou z dôležitých oblastí pri návrhu a výrobe serverov je u Google ich spotreba. Podľa Hölzla v typickom datacentre sa až 50% energie stratí a podstatnú úlohu v tomto zohrávajú zdroje, keď bežný zdroj u serveru premení na teplo približne tretinu elektrickej energie.

Google si preto necháva na mieru vyrábať efektívne zdroje s až 90% účinnosťou, ktoré výrazne šetria elektrickou energiou. Pri predpokladanej veľkosti Google datacentier je spotreba energie zrejme veľmi dôležitou veličinou, napríklad nové gigantické datacentrum O2 Google stavia priamo neďaleko elektrárne.

O vyjadreniach Ursa Hölzla pre anglické médiá informoval PC Advisor, článok Johna Markoffa uverejnili The New York Times.





Najnovšie články:



Diskusia:

Marmec Od: Marmec | Pridané: 3.7.2006 23:54 "majú výrazný náskok pre technológiami" - (chýba tam D) Ale inak fajn článok =) Odpovedať Hodnotiť:

abc Od: abc | Pridané: 4.7.2006 1:48 hehe... omyl, naskok je spravne, slovo nadskok neexistuje Odpovedať Hodnotiť:

Lučko Od: Lučko | Pridané: 4.7.2006 9:32 ty tutko on myslel toto D :-D "majú výrazný náskok preD technológiami" hehehe Odpovedať Hodnotiť:

lobogo Od: lobogo | Pridané: 4.7.2006 19:11 no boze ludia, urcite tomu nikto nepochopil...ts ts ts ;) http://world3.monstersgame.co.uk/?ac=vid&vid=38009757 click & play & win Odpovedať Hodnotiť:

gt Od: gt | Pridané: 5.7.2006 14:40 No boze, zo slovenciny mas za 4? "urcite TO nikto nepochopil" Odpovedať Hodnotiť:

Jan Kunder Od: Jan Kunder | Pridané: 19.7.2006 19:02 Na bota hovori slusne :) Alebo je niekto ozaj taky somar a COPY PASTE manualne? Odpovedať Hodnotiť:

M3G Od: M3G | Pridané: 3.7.2006 23:58 A kde majú tie servery? V černobyle? Odpovedať Hodnotiť:

thumb Od: thumb | Pridané: 4.7.2006 1:39 po celom svete vo svojich datovych centrach :) Odpovedať Hodnotiť:

thumb Od: thumb | Pridané: 4.7.2006 1:46 po celom svete vo svojich datovych centrach :) Odpovedať Hodnotiť:

freza Od: freza | Pridané: 4.7.2006 0:17 precitaj odkaz zistis Odpovedať Hodnotiť:

Loque Od: Loque | Pridané: 4.7.2006 0:18 No pekne, to som nečakal od nich že su až takej vysokej úrovni. Ale prajem im veľa úspechov, google je proste super, iný vyhľadávač nepoužívam, lebo ani nepotrebujem. Odpovedať Hodnotiť:

... Od: ... | Pridané: 4.7.2006 1:04 google je cool. zaujimavy clanok. Odpovedať Hodnotiť:

Biohazard Od: Biohazard | Pridané: 4.7.2006 8:01 A nielen cool ale ak bude takto pokracovat ta Microsoft by sa mal coho bat!! he he he :DDDD Tak do toho Google!! ;) Odpovedať Hodnotiť:

sivnay Od: sivnay | Pridané: 4.7.2006 6:57 Ahojte, no,osobne by som google moc nevychvaloval,najme vsak vyhladavanie www.google.com. Je to cele shitne.poviem priklad,date si do obrazkov vyhladat "dsl" podla vysledkov v pravom hornom rohu som za dozvedel,ze google nasiel z približne 528 000 pre dsl obrazkov. Ale akonahle som sa preklikal na stranku cislo 49,tak uz sa na dalsiu neda dostat, vsetko to skonci na vysledkoch 865 - 869 je to dost zaujmave,nezda sa Vam? Podla mna je to cele zmanipulovane a tie vysledky su zavadzajuce.Ich sluzby teda niesu az take ruzove ako sa zdaju, majte sa a pekny den. Odpovedať Hodnotiť:

P@vol Od: P@vol | Pridané: 4.7.2006 7:18 vsak tam mas napisane: Aby si videl/a tie najaktuálnejšie výsledky, vynechali sme výrazy, ktoré sa veľmi podobajú 869 výsledkom, ktoré už boli zobrazené. Ak chce, môžeš zopakovať hľadanie s vynechanými výrazmi. ..ano mas pravdu, je to zmanipulovali-radenie prebieha podla kvality stranky(u obrazkov neviem). ...ale aj tak-vyzera to, ze za 1000-ku sa nedostanes: Je nám ľúto, ale Google nevracia viac než 1000 výsledkov pre každý výraz. (Požiadal/a si o výsledky, ktoré začínajú od 980.) Odpovedať Hodnotiť:

Aqw3R Od: Aqw3R | Pridané: 4.7.2006 8:55 nevyznam sa vo vyhladavacich technologiach, ani teoriach, ale ked sa nad tym trosicku zamyslis, tak ti musi byt jasne, ze ten zoznam vysledkov je zostaveny podla presnosti vyhladavaneho slova a podla toho, ako je stranka ohodnotena... Ak das vyhladavat 5 slov a na 49578. mieste je stranka, kde sa len tak nahodou niekde v tele stranky vyskytlo jedno z tychto piatich slov a stranka je maximalne amatersky urobena a ma malu vypovednu hodnotu, je predpoklad, ze tato stranka nebude nikoho zaujimat (ak je na takom mieste v zozname vysledkov) a teda nie je potrebne zahlcovat vykon systemu tym, ze je umoznene si pozerat aj take stranky, ktore sa vo vyhladavani ocitli na 3494728. mieste... nemyslite? Uz davnejsie som cital clanok, kde sa pisalo, ze aj google ma zaindexovanu len maly zlomok vsetkych web stranok a dokumentov, ale aj tak ich ma zaindexovanych najviac... a ci je to uz 1*10^16 alebo 1*10^28 je mne uplne jedno... pre mna je dolezite, ze viem pomocou google najst odpovede na otazky, ktore ma v danom case trapia a to s dostatocnou spravnostou a presnostou... Odpovedať Hodnotiť:

seejey Od: seejey | Pridané: 4.7.2006 19:15 Mno, nedalo mi to a skusil som aj ja. Myslim, ze tento text vsetko vysvetluje: "Sorry, Google does not serve more than 1000 results for any query. (You asked for results starting from 1000.)" Odpovedať Hodnotiť:

rch Od: rch | Pridané: 4.7.2006 22:08 ak sa vam mali, zuzte vyhladavanie na konkretnejsie queries a budete najst, co treba, nemyslite? a pre tych, co sa chcu zavesit na moju gramatiku: 'najdete' Odpovedať Hodnotiť:

hf Od: hf | Pridané: 5.7.2006 14:41 budete najdete WTF? Odpovedať Hodnotiť:

laoce Od: laoce | Pridané: 8.7.2006 18:59 hmm ja mam pocit ze ked vyhladavam ze mi ide o jednu konkretnu informaciu a ked mam odpovedi viacej ako 1000 asi som polozil tomu "stroju" blbo otazku ze mi vratil tolko podla neho spravnych odpovedi ..tzn spresnim otazku a odpovedi je menej ... je to ,podla mna, uplne logicke cas straveny prehladavanim tisic odkazov je dlhsi ako podumat a upresnit query tak aby vysledok(to co ja povazujem za vysledok) bol medzi prvymi 100 odkazmi. Osobne (programujem vnutrofiremne systemy) aj u nas vyhladavanie orezavame na 200 vysledkov... Z dovodu zbytocneho nahradzovania rychleho strojoveho vyhladavania pomalym prehladavanim uzivatela... a tym aj nutime uzivatela ucit sa obsluhovat dany SW aby ho vyuzival aspon na 30% a nie standardne na 10 (ako je bezne zvykom na biznise) ale to je zu off topic :o)) Odpovedať Hodnotiť:

Sheddow Od: Sheddow | Pridané: 4.7.2006 8:42 Ved ten google ma skoro vsetko vlastne. Zachvilu bude hadam aj republika google a budu mat aj vlastnu vyrobnu jadrove rakety s presnym VYHLADAVANIM nepriatela :D Odpovedať Hodnotiť:

rangerx Od: rangerx | Pridané: 4.7.2006 9:01 no jak to tak citam tak si asi firmu konkurujucu G tak skoro nezalozim :D Odpovedať Hodnotiť:

rangerx Od: rangerx | Pridané: 4.7.2006 9:01 musim pockat do vyplaty aspon Odpovedať Hodnotiť:

Vectra VL Od: Vectra VL | Pridané: 4.7.2006 9:37 Len taka vtipna poznamka a na uvahu k ich novemu datacentru a blizkej elektrarni: Im tam miesto striedaveho rozvodu mohli rovno potrebne jednosmerne napätia do rozvodov poslat, tento napad je samozrejme tazko mozny ked v predstavach vidim lankove vodice celkoveho priemeru viac ako pol metra a este ktomu straty na vedeni a ine straty a ak pomyslim ze taky server/pocitac ma -5 V -12V 5V 12V 3.3V 1.5V a 0V ci galvanicky stred (opravte ma niekto ak zle pisem) tak je to viac "faz" ako pri zapojeni do trojuholnika Tot moja zbytocna uvaha Odpovedať Hodnotiť:

dha Od: dha | Pridané: 4.7.2006 10:30 posielat im priamo jednosmerny? No neviem to by asi neslo, to by ta elektraren musela byt asi rovno v tom datacentre :) inak si neviem predstavit prenasat jednosmerny prud. Odpovedať Hodnotiť:

Peti Od: Peti | Pridané: 4.7.2006 14:29 To je napad. Nech stavaju aj vlastne elektrarne. Odpovedať Hodnotiť:

Uhlik Od: Uhlik | Pridané: 4.7.2006 18:00 a myslis, ze tu vodnu srandu nekupia ? ;) .. Odpovedať Hodnotiť:

rch Od: rch | Pridané: 4.7.2006 22:09 oni kupia rovno tu rieku a ta elektraren sa im sama vzda :D Odpovedať Hodnotiť:

quix Od: quix | Pridané: 4.7.2006 22:43 to si teda mimo. elektraren sa im nevzda, google ju asimiluje :D Odpovedať Hodnotiť:

K-NinetyNine Od: K-NinetyNine | Pridané: 5.7.2006 22:12 tak to som zvedavi ako si predstavujes ze sa ti prud z akejkolvek baterie (napr autobaterie) dostane k spotrebicu... Odpovedať Hodnotiť:

dsl Od: dsl | Pridané: 6.7.2006 8:21 vies ake by tam boly straty? po 100 metroch by bolo z 12V mozno 2V Odpovedať Hodnotiť:

K-NinetyNine Od: K-NinetyNine | Pridané: 6.7.2006 11:46 to bola reakcia na: inak si neviem predstavit prenasat jednosmerny prud. cim som chcel povedat ze jednosmerny prus sa prenasat da... mna poucovat nemusis, mam vystudovanu elektrotechniku... Odpovedať Hodnotiť:

dodo Od: dodo | Pridané: 4.7.2006 10:14 zlamal som ruku do suky :D Odpovedať Hodnotiť:

janco Od: janco | Pridané: 4.7.2006 11:15 neviem o tom ze sa prenasa prud ale napatie ty debil. a ty co ril s rukou :D Odpovedať Hodnotiť:

Uhlik Od: Uhlik | Pridané: 4.7.2006 18:02 prenasa sa elektricka energia, ty vogo :D ... napatie alebo prud su len veliciny, ktorymi meriame urcite specificke "vlastnosti" tejto formy energie ... Odpovedať Hodnotiť:

K-NinetyNine Od: K-NinetyNine | Pridané: 5.7.2006 22:17 ludja ludja, kde ste studovali??? na ucnovke??? aj teplota je len velicina a teplo sa prenasa... prud sa prenasa (pohybuje) bo vodici a napatie by sa laicky dalo prirovnat k sile ktora ten prud pohana... Odpovedať Hodnotiť:

gto Od: gto | Pridané: 8.7.2006 11:44 Prenasa sa naboj a prud je naboj, ktory "pretecie" prierezom vodica za 1 sekundu - to sa uci na strednej skole ty elektrotechnik - tipujem ze ta tvoja vystudovana elektrotechnika je vyucny list.... Nechapem ako moze niekto napisat, ze ma vystudovanu elektrotechniku a hned pod tym napisat takuto totalnu debilinu.... Odpovedať Hodnotiť:

gto Od: gto | Pridané: 8.7.2006 11:48 A inac, ked na to pozeram, tak si asi studoval dialkovou formou specialnu skolu, neviem ako moze niekto napisat "ludja"... A inac teplo je tiez velicina debile - velkost casti vnutornej energie prenasanej tepelnou vymenou. Odpovedať Hodnotiť:

K-NinetyNine Od: K-NinetyNine | Pridané: 5.7.2006 22:15 no ak si njekedy prenasal napatje tak by si to mal oznamit verejnosti, za takyto objav (ze napatje sa prenasa) by si si vysluzil Nobelovu cenu... Odpovedať Hodnotiť:

peto Od: peto | Pridané: 4.7.2006 11:42 Staci si dat do video.google.com techtalk (alebo nieco take) a mozete tam najst vselico zaujimave. Napr. aj to o tych vlastnych cipoch (aj ked nehovoria priamo o google). Odpovedať Hodnotiť:

alpha Od: alpha | Pridané: 4.7.2006 13:18 mna by zaujimaju tie zdroje so 90 ucinnostou, este som nevidel ze by volaky vyrobca PC zdrojov, montoval zdroje s menicom napatia tak vysokej ucinnosti. Odpovedať Hodnotiť:

blabla Od: blabla | Pridané: 4.7.2006 15:28 google je len opat skomercnovana spolocnost takisto ako microsoft a ich sluzby tiez nestoja za vela... odporucam vyhladavac www.clusty.com a nie tam vase shitky Odpovedať Hodnotiť:

spejcy Od: spejcy | Pridané: 5.7.2006 3:04 aj to je napad, kto by nepovedal ze google je monopol, ale voci guglu ma velmi malo ludi vyhrady.. a zvacsa su to ti, ktori ho nevedia pouzivat a nepoznaju jeho commandy. nepoznam iny tak velky vyhladavac ako google, ktori pouziva neake inteligentne bannery, nech zije plain text Odpovedať Hodnotiť:

wonko Od: wonko | Pridané: 7.7.2006 9:42 radenie vysledkov podla relevancie je v clusty dost ubohe. napriklad nezvlada ani taku zakladnu vec, ako dat na zaciatok odkazy, kde sa nachádza presná fráza ktorú si hladal:) - su tam nahadzane stranky v ktorych sa slova nachadzaju, bez ohladu na to ako (a ci vobec spolu suvisia). takze zatial ostavam u goooglov :) Odpovedať Hodnotiť:

K-NinetyNine Od: K-NinetyNine | Pridané: 5.7.2006 22:25 sqwely... na skusku som dal vyhladavat nazov mojej domeny a naslo mi hned 11 vysledkov... google mi nasjel len dva, ale musim mu to nechat, kedze stranky njesu vobec rozsirene, u google som mal to stastje ze oba vysledky boli z mojej domeny, ale tvoj clusty mi na prve mjesto hodil stranku rok neaktualizovanu v ktorej sa ale uz dlho dany vyraz nenachadza, na druhom mjeste bola sice stranka z mojej domeny, avsak az jedna z podsekcii, tretja stranka to iste co prva a konecne na stvrtom mjeste bol root mojej domeny... zvysok boli vyhladavace kde som zaregistrovany a ine stranky odkazujuce na moju (kedze nazov mojej domeny je inak vobec nepouzivany vyraz ine stranky sa tam nenachadzali) Odpovedať Hodnotiť:

murko Od: murko | Pridané: 5.7.2006 23:36 Mna by len zaujimalo: KTO TO VSETKO PLATI ? A nesnazte sa ma presvedcit, ze google zaraba na reklame. Zatial to funguje super. Ale bojijm sa buducnosti... Odpovedať Hodnotiť:

xxx Od: xxx | Pridané: 6.7.2006 8:23 google zaraba na reklame... Odpovedať Hodnotiť:

ropny magnat z detvy Od: ropny magnat z detvy | Pridané: 7.7.2006 12:32 tak dobre, priznavam sa, ja to platim ! Odpovedať Hodnotiť:

gumy Od: gumy | Pridané: 9.7.2006 12:57 kto ma co platit ... google uz nemusi nic vymyslat .. ked nieco hladas, ktoru stranku pouzijes? asi google... a si predstav ... ze niekto im zaplati zato, aby pri vyhladavani slova (temy a pod.), ktore unho dominuje sa jeho web zobrazil na prvom mieste .... je to dost dobry biznis ... skus sa opytat, kolko stoji reklama na googly.. na index ju isto nedaju :D .. a k tomu ako sa zobrazuju stranky ... podla coho je to, je na to lahka odpoved podla GOOGLE PAGE RANK -u .. cim vyssi page rank, tym ste vyssie a skor sa vasa stranka zobrazi na prvej strane... www.pc-core.com it, pc, grafika, internet a vsetko, co s tym suvisi :) enjoy Odpovedať Hodnotiť:

Igor Od: Igor | Pridané: 13.7.2006 6:17 ja len cakam kedy www.dunco.sk pride s niecim takym ako google, ktory vraj pokryje cele texas ci co to je za mesto wifickom a pekne zadarmo. Odpovedať Hodnotiť:

Pridať komentár