neprihlásený Pondelok, 25. novembra 2024, dnes má meniny Katarína
Google má viac ako 2 miliardy riadkov zdrojových kódov

Značky: programovanieGoogle

DSL.sk, 17.9.2015


Zdrojové kódy spoločnosti Google majú viac ako dve miliardy riadkov. Tento týždeň to na konferencii @Scale uviedla Rachel Potvinová z Google.

Potvinová v prezentácii popisovala spôsob vývoja, správy zdrojových kódov a systém riadenia verzií používaný v Google.

Spoločnosť používa vlastný systém pre správu zdrojových kódov označený Piper, pričom v jednom spoločnom monolitickom repozitári sa nachádza takmer všetok kód používaný na prevádzku webových služieb. V tomto repozitári boli k januáru dve miliardy riadkov zdrojových kódov a takmer všetci programátori spoločnosti majú prístup k takmer všetkému kódu.

Zdrojové kódy sú v 9 miliónoch súborov, pričom spolu s ďalšími súbormi, napríklad automaticky generovanými súbormi, dátovými súbormi, kópiami súborov pre jednotlivé verzie softvéru, sa v repozitári nachádza spolu až 1 miliarda súborov.

Denne sa do repozitára nahrá 45 tisíc updatov, z toho 15 tisíc nahrá 25 tisíc programátorov spoločnosti a 30 tisíc rozličné automatizované nástroje. Za celú históriu je v repozitári 35 miliónov updatov.

Repozitár má veľkosť 86 TB a samozrejme je prevádzkovaný distribuovane, v desiatich dátových centrách Google.


Prezentácia Rachel Potvinovej z Google na @Scale



Potvinovaná porovnávala veľkost repozitára Google s ďalšími projektami a napríklad linuxovým jadrom. Kým linuxové jadro má celkovo podľa jej metodiky počítania 15 miliónov riadkov kódu, v Google je takýto počet riadkov pridaný alebo zmenený každý týždeň.

V centrálnom repozitári ale nie je všetok kód Google. Nie je tu kód algoritmu pre vytváranie poradia stránok vo vyhľadávaní PageRank, ktorý je považovaný za veľmi citlivý. Zároveň tu nie je kód operačných systémov Android a Chrome OS a Google má tak spolu zrejme nezanedbateľne viac ako dve miliardy riadkov zdrojových kódov.


      Zdieľaj na Twitteri



Najnovšie články:

Japonci uviedli ethernetový kábel s magnetickým konektorom
Starship by mohla za najbližšie štyri roky uskutočniť až 400 štartov
Protimonopolný úrad začal prešetrovať, prečo v SR nie sú skutoční virtuálni mobilní operátori
Nový trailer filmu Minecraft
Linux v ďalšej verzii vyradí súborový systém Reiser
Odštartovaná výroba flash pamäte s 321 vrstvami
Apple má prvýkrát použiť vlastný 5G modem v iPhone v marci
Linux dostáva podporu veľkokapacitných pamäťových SDUC kariet
USA požadujú, aby Google predal Chrome a potenciálne aj Android
ISS zvýšila orbitu, aby sa vyhla troskám zo satelitu


Diskusia:
                               
 

hmm a ?
Odpovedať Známka: 1.4 Hodnotiť:
 

Teraz za to posleme guglu peniaze na utecencov
Odpovedať Známka: 7.5 Hodnotiť:
 

Čakáme, kedy si TO uvedomí samé seba rozošle atómky.
Odpovedať Známka: 8.5 Hodnotiť:
 

Uz zabudnite na to ze vedomie sa da reprezentovat binarnym kodom, neexistuje taka bijekcia takze smola chlapci a dievcata. Jedine co nam realne hrozi je urcita forma autonomneho rozhodovania kde nie je osetreny nejaky zavazny chybovy stav. Napriklad taky system odpalovania hlavic ktory vyhodnoti falosny utok na ktory musi do 10 sekund odpovedat protiutokom na preddefinovane ciele.. ale to nema s vedomim nic spolocne, je to stale len automat
Odpovedať Známka: 0.7 Hodnotiť:
 

Kto tvrdi o binarnom kode. AI moze byt neuronova siet. Akonahle takato inteligencia by mala dostupny interface do siete, nie je pre nu problem napisat si program a vyuzit niekoho, aby ho nainstaloval tam kam ma(Cez internet, vydieranie,...nasleduj bieleho kralika, Neo :) )
Odpovedať Známka: 5.0 Hodnotiť:
 

v digitalnom pocitaci je vsetko postupnost nul a jednotiek vratane aj akehokolvek modelu neuronovej siete napisanej v akomkolvek jazyku. a neuronova siet je matematicky model ktory sa pouziva na strojove ucenie, rozpoznavanie objektov v obraze apod, to nema s vedomim nic spolocne a verim ze existuje aj dokaz ze nic podobne sa v tom namodelovat ani hypoteticky neda;)
Odpovedať Známka: -6.0 Hodnotiť:
 

Preboha, ja viem ako dnes funguje AI. V mojom prispevku som to myslel tak, ze jedneho dna budeme vediet spravit AI mozok(nie, nemyslim sucastne algoritmy) a pre AI si samozrejme nebude problem mat nejaky interface...
Odpovedať Hodnotiť:
 

a cim myslis, ze je reprezentovane tvoje vedomie ?
Odpovedať Známka: 3.3 Hodnotiť:
 

urcite nie nulami a jednotkami:D teda ak mi rodicia nieco nezatajili a nevyrobili ma kdesi v tajnom kybernetickom laboratoriu tesla ceskoslovensko
Odpovedať Známka: -6.0 Hodnotiť:
 

0 a 1 nie, ty si este zastaralejsi, lebo fungujes na analog - impulzy prechadzajuce mozgovymi spojeniami, teda vsetko zalezi na tom, ako mas v hlavicke pospajane synapsy. Oproti dnesnym pocitacom je rozdiel ten, ze mozog sa viac podoba na kvantovy pocitac, ako na terajsiu architekturu PC.
Odpovedať Známka: 7.1 Hodnotiť:
 

Len zastaralejsi v tomto pripade neznamena trivialnejsi kedze aj mozog opice je neporovnatelne komplikovanejsia struktura nez akykolvek dnesny pocitac. A ano narazal som prave na kvantove pocitace resp potrebu uplne inej architektury nez je ta sucasna na modelovanie nejakej autentickej umelej inteligencie. Ale ani to nemusi stacit k vytvoreniu umeleho vedomia, kedze sucasna neuroveda ho stale ani celkom presne nevie zadefinovat a je to skor filozoficky koncept ktory vsak kazdy chapeme ze realne existuje akurat nikto ani nevie kde a ci vobec v nejakej casti mozgu je generovane.. vedomie totiz nie je inteligencia aj ked s nou koreluje, existuju aj scifi nazory ze vedomie nie je genrovane v mozgu ale ze struktura nervovych buniek a spojeni je vlastne prijimac ktory len zachytava "signal" z vonku, tym silnejsie cim je vyssia hustota neuronov;) ale kto vie, aj objavenie neviditelnej gravitacie alebo elektromagnetizmu trvalo tisicrocia;) a gravitacia je aj z pohladu modernej fyzika dodnes velmi zahadna velicina
Odpovedať Známka: 4.0 Hodnotiť:
 

Myslim si, ze to mas trosku pomylene a davas do rovnocennosti nejaky naprogramovany kus kodu s neuronovou sietou. Je rozdiel spustat nejaky naprogramovany kod, ktoreho vysledok vies predpovedat a neuronovu siet, ktoru ucis a dufas, ze si jej dal dobre vstupy na ucenie. Kludne mozes mat rozne druhy vedomia a neuronova siet sa kludne moze naucit zachovat samu seba a branit sa voci vypnutiu. Vsetko zalezi od ucenia, ako u cloveka. Normalny clovek ma pud sebazachovy, ale trebars terorista, ktoremu vymyvaju od malicka mozog, tak je najstastnejsi v momente, kedy sa vyhodi za allaha a so sebou zoberie co najviac neveriacich.

Takze nemusis tomu hovorit vedomia, ale kludne sa moze stat, ze sttoj s pristupom k zdrojom moze cielene napachat velke skody.
Odpovedať Známka: 6.0 Hodnotiť:
 

Pomylene to mas skor ty, ak si myslis ze vedomie sa da "naucit". Vedomie nie je schopnost a neda sa trenovat. A opakujem, ze stale neexistuje ani exaktna definicia vedomia
Odpovedať Známka: -10.0 Hodnotiť:
 

Každá definícia vedomia je exaktná, špecifická pre konkrétne vedomie, ktoré jej formulovaním zároveň samo špecifikuje limity svojich možností jej transformácie. Externe sa takáto definícia prejavuje spôsobom interakcie s okolím. Vedomie nie je iba jedno, aj keď je zaručene singleton.
Odpovedať Známka: 10.0 Hodnotiť:
 

Presne tak, nemusi to byt vedomie ako u cloveka, ale v inej forme.Treba sa pozriet aj dalej ako po spicku nosa a clovek zisti, ze svet nie je ciernobiely a dookola pdrhavat, ze vedomie ma iba clovek a vsetko ostatne ho mat nemoze aj ked este nevieme, co to vedomie vlastne je... Uvedomenie si seba sameho, chut zit/prezit....?
Odpovedať Známka: 10.0 Hodnotiť:
 

Joskove chtml kody maju viac
Odpovedať Známka: 9.4 Hodnotiť:
 

Je to opensource, ktokoľvek si to môže skontrolovať na prítomnosť špiónov. :-D
Odpovedať Známka: 8.6 Hodnotiť:
 

Uz som to kontroloval. Nic tam nie je.
Odpovedať Známka: 8.9 Hodnotiť:
 

.. tak to je ako keby každý pracujúci človek na svete napísal jeden riadok kódu .. a keď si predstavím že u nás vo firme je problém manažovať zdrojáky bežného projektu tak nechápem, že niečo také dlhodobo funguje bez pádov a spomaľovania...
Odpovedať Známka: 10.0 Hodnotiť:
 

to google ma 25tisic programatorov ? :O
Odpovedať Známka: 10.0 Hodnotiť:
 

85TB na 2mld riadkov vychadza 43k na riadok... Coz je trochu moc. Zeby tolko zaberali resourcy? Alebo sa do toho rata aj replikacia za ucelom distribucie?
Odpovedať Známka: 6.7 Hodnotiť:
 

jasne, ze je v tom zaratana aj replikacia za ucelom distribucie...
Odpovedať Známka: 10.0 Hodnotiť:
 

podľa mňa aj distribúcia za účelom replikácie
Odpovedať Známka: 10.0 Hodnotiť:
 

Predpokladám, že to číslo zahrňa len aktuálne revízie projektov. Kdežto v celom repozitári je x revízií každého projektu. Preto tých 85TB.
Odpovedať Hodnotiť:
 

vidis, tot pravda
Odpovedať Hodnotiť:
 

to ten jeden input, nadpis a 2 button maju 2 miliardy riadkov? :D
Odpovedať Známka: 8.8 Hodnotiť:
 

Erm, google nie je len search engine a nie je len front end a nie je len index. Ale tak, ináč v pohode poznámka.
Odpovedať Známka: 0.0 Hodnotiť:
 

Čítaj poriadne, v článku je jasne napísané, že "spoločnosť" a nie vyhľadávač má toľko riadkov, oni si proste celú firmu naprogramovali a ručne kontrolujú iba stav účtu v banke.
Odpovedať Známka: -4.1 Hodnotiť:
 

ty necitaj vsetko doslova... nech zbadas aj sem tam nejaky ten sarkazmus
Odpovedať Známka: 8.3 Hodnotiť:
 

made my day :D
Odpovedať Známka: 10.0 Hodnotiť:
 

Niekto by im mal povedať, že dnes sa už v assembleri všetko písať nemusí ;-)
Odpovedať Známka: 10.0 Hodnotiť:
 

A ja mám vo vankúši a perine viac ako 2 miliardy odumretých buniek z povrchu môjho tela. Takže som kápo?
Odpovedať Známka: 6.9 Hodnotiť:
 

a ja mam vo vankusi, perine, plachte, matraci a inde 2 miliardy vyschnutych "buniek" z vnutra mojho tela...
Odpovedať Známka: 5.2 Hodnotiť:
 

Ty si riadny humusák...
Odpovedať Známka: 10.0 Hodnotiť:
 

Ty si riadny mizera!
Nechať toľké deti uschnúť na perinách...
Odpovedať Známka: 10.0 Hodnotiť:
 

A mozno tam rata aj kurca z vcerajsieho obeda...
Odpovedať Hodnotiť:
 

pre porovnanie mohli autori uviest kolko riadkov kodu ma dsl.sk.
Odpovedať Známka: 10.0 Hodnotiť:
 

kúsok menej
Odpovedať Známka: 10.0 Hodnotiť:
 

a pocet updatov spocitas na prstoch jednej ruky
Odpovedať Známka: 10.0 Hodnotiť:
 

to je sice pkene cislo no nikdy sa nepriblizi poctu komentarov na dsl.sk
Odpovedať Známka: 10.0 Hodnotiť:
 

Potvinovaná porovnávala... žeby na tom mene niečo bolo?
Odpovedať Hodnotiť:
 

Chcel som zistiť koľko riadkov má wikipédia, ale gúgoľ mi vyhadzuje linky len ňu.
Odpovedať Hodnotiť:

Pridať komentár