Veľký utorňajší výpadok internetových služieb spôsobil chybne zadaný príkaz

Značky: ITzaujímavosti

DSL.sk, 3.3.2017

Utorňajší viachodinový výpadok služby Amazon S3, Simple Storage Service, ktorý bol príčinou problémov viacerých populárnych internetových služieb, spôsobil podľa analýzy zverejnenej spoločnosťou chybne zadaný vstup príkazu administrátorom.

Cloudová úložná služba S3 je využívaná mnohými internetovými službami, ktoré využívajú pre poskytovanie svojich služieb cloudovú infraštruktúru Amazonu AWS vrátane virtuálnych serverov EC2.

K problémom so službou S3 a náväzne ďalších Amazon služieb prišlo v dátovom centre pre východný región USA v Severnej Virgínii, problém sa tak zrejme dotkol najmä amerických užívateľov internetových služieb. Ak ale konkrétne služby nemajú nezávislú infraštruktúru pre Európu, rovnako sa dotkol aj európskych užívateľov.

O 18:37 stredoeurópskeho času chcel pracovník príkazom vypnúť malú časť serverov zabezpečujúcich účtovací systém pre S3. Jeden zo vstupov príkazu bol ale zadaný podľa spoločnosti nesprávne a príkaz tak vypol väčší počet serverov vrátane serverov, ktoré zabezpečovali subsystém indexovania metadát v S3 a subsystém vytvárania nových úložísk v S3.

V týchto subsystémoch v dôsledku toho zostal malý počet server a subsystémy bolo potrebné reštartovať. Keďže tieto subsystémy neboli reštartované roky, nábeh indexovacieho systému kvôli potrebnej kontrole integrity metadát trval dlhšie ako sa očakávalo. Subsystém začal fungovať až o 21:26 a plne obnovený bol o 22:18.

Subsystém pre vytváranie nových úložísk bol následne naštartovaný do 22:54.

Až potom sa začali obnovovať ostatné naviazané služby, pričom do plnej obnovy ubehol ďalší nespresnený čas.

Podľa amerických médií medzi postihnutými službami boli okrem iného Netflix, Reddit, služby Adobe a Imgur.

V reakcii na incident Amazon mení nástroj pre svojich administrátorov, ktorý už nedovolí naraz odobrať tak rýchlo také veľké množstvo serverov. Zároveň zníži čas potrebný na reštart v prípade viacerých subsystémov, ich rozdelením do viacerých častí.




Najnovšie články:



Diskusia:

Cloud... Od: risototh | Pridané: 3.3.2017 10:20 No, dalsi dokaz, ze cloudove sluzby su presny opak povodnej myslienky decentralizovanej siete a sluzieb... Chyba v cloud managemente a pol internetu v haji... Odpovedať Známka: 7.1 Hodnotiť:

Re: Cloud... Od: bvcbcv | Pridané: 3.3.2017 10:31 vola sa to hub a je to prirodzenou sucastou uplne kazdej otvorenej a decentralizovanej oblasti vo svete, od IT (internet), cez ekonomiku (kapitalizmus zhromazduje vsetok majetok centralizovane) az po socialne prepojenia na facebooku (zopar ludi ma brutalne vela connections oproti priemeru - co je tak 100 friendov). http://dopice.sk/jee kazdy neregulovany system tomuto emerguje, proste je to znamka, ze bol naozaj nastaveny decentralizovane. je to vseobecne platna paradigma, ktorej nezabranis. Odpovedať Známka: 0.0 Hodnotiť:

Re: Cloud... Od: bt4w | Pridané: 3.3.2017 13:36 no a to mi vysvetlite ako moze toto vysvetlenie niekto zaminuskovat Odpovedať Známka: -4.2 Hodnotiť:

Re: Cloud... Od: Problem | Pridané: 3.3.2017 15:06 Lebo to vysvetlenie ma viac znakov, ako je schopny mozog priemerneho usera prijat a zanalyzovat. Priemerny user je uz iba schopny prijat kratku obrazovu informaciu a posunutim ukazovaka pravej ruky smerom nadol dostat novu informaciu. Rovnako, ako ked sliepke hadzete zrniecko po zrniecku. Odpovedať Známka: -0.5 Hodnotiť:

Re: Cloud... Od: burrtio | Pridané: 3.3.2017 15:48 P2P For Ever Odpovedať Známka: 6.0 Hodnotiť:

Re: Cloud... Od: tmp | Pridané: 3.3.2017 10:32 tak ono nato co vsetko sa tam premelie su taketo obcasne minoritne vypadky este v pohode, aj ked maju samozrejme majoritny dopad najma co sa tyka negativneho marketingoveho vyznamu Odpovedať Známka: 2.0 Hodnotiť:

Re: Cloud... Od: syntaxterrorXXX | Pridané: 3.3.2017 11:44 Zverejnenim analyzy spolocnostou v subehu so zmenou nastroja pre administrátorov bez zmeny na za vnutornu bezpecnostnu politiku, a vsetky nadvazujuce riadiace posty, zodpovedajucich poziciach vsak znemoznenim nasledovania "Avoid Repeating Your Mistakes" predmetneho zamestnanca dochadza k situacii, riesenie ktorej je interne v kompetencii HR, pricom, samozrejme, o majoritny dopad priekazne nemoze ist. Odpovedať Známka: -7.3 Hodnotiť:

Re: Cloud... Od reg.: Jaa 1 | Pridané: 3.3.2017 10:32 Lenze ako inak spehovat a ovladat svet, ludi, buducnost... Odpovedať Známka: 6.0 Hodnotiť:

Re: Cloud... Od: ayyyyyyyyyyyyy | Pridané: 3.3.2017 10:40 There is no cloud, it's just someone else's computer. Odpovedať Známka: 7.8 Hodnotiť:

Re: Cloud... Od: nl12345 | Pridané: 3.3.2017 13:25 Sila je, ze jeden clovek dokaze vypnut pol internetu :) Odpovedať Známka: 10.0 Hodnotiť:

Re: Cloud... Od: aasdfdddd | Pridané: 3.3.2017 18:00 Decentralizovany byt nestaci, este treba byt peer-to-peer. Odpovedať Hodnotiť:

shutdown Od: koumak | Pridané: 3.3.2017 10:38 Admin omylom zadal prikaz miesto lokalnej konzoly PC pri jeho vypinani na konci sichty, na lognutej vzdialenej dom0: shutdown -h now a nasledne odisiel domov, pricom problem odhalil az kolega, ktory nema pravo spustenia virtualov a kedze ten co to sposobil este viazol v zacpe z BA do Samorina, tak museli cakat.... Odpovedať Známka: 7.5 Hodnotiť:

chybicka jse vloudila Od: jadro | Pridané: 3.3.2017 10:38 tak vsade sa setri, co na tom ze technik povie, ze to tak nema byt a lolo nad nim to chce tak, aby co najviac usetril a prd tomu rozumie. Odpovedať Známka: 6.4 Hodnotiť:

Veľký utorňajší výpadok internetových služieb Od reg.: chill | Pridané: 3.3.2017 10:50 MR. ROBOT Odpovedať Známka: 6.0 Hodnotiť:

Tutilok ti titulok Od: MaloSaKradne | Pridané: 3.3.2017 10:57 chcelo by to p2p cloud :) kazdy si kupime 20TB priestoru a gigabitovu linku a spojime sily aby sme mohli co najviac fotiek a videii Janky H. dostat do cloudu :D Odpovedať Známka: 8.8 Hodnotiť:

Re: Tutilok ti titulok Od: syntaxterrorXXX | Pridané: 3.3.2017 13:14 Z "co najviac" je sice rozlisenie specifikovane jednoznacne, ale aky format a kontainer? Odpovedať Známka: -4.3 Hodnotiť:

Re: Tutilok ti titulok Od: HW guru | Pridané: 3.3.2017 13:28 kontajner moze byt aj plastovy a format kludne A0 ... :o) Odpovedať Známka: 10.0 Hodnotiť:

Re: Tutilok ti titulok Od: syntaxterrorXXX | Pridané: 3.3.2017 14:09 Lenze vo Windows ma skutocny format format formatu format c: Odpovedať Známka: 3.3 Hodnotiť:

Cloud vyriesi vsetky problemy !!! Od: SW guru oriešky | Pridané: 3.3.2017 10:58 Uz vidim toho admina ako stlacil enter a pol serverovni piplo na znak restartu ako pokrcil plecami a isiel na veceru ... :-) Odpovedať Známka: 10.0 Hodnotiť:

Re: Cloud vyriesi vsetky problemy !!! Od: tojejednozas | Pridané: 3.3.2017 11:32 Not my job Odpovedať Známka: 10.0 Hodnotiť:

Re: Cloud vyriesi vsetky problemy !!! Od: Donald Duck | Pridané: 3.3.2017 13:29 Skor ked uz: Not my f*cking problem :D Odpovedať Známka: 10.0 Hodnotiť:

Re: Cloud vyriesi vsetky problemy !!! Od: tojejednozas | Pridané: 3.3.2017 14:26 ¯\_(ツ)_/¯ Odpovedať Známka: -5.0 Hodnotiť:

Re: Cloud vyriesi vsetky problemy !!! Od: MaloSaKradne | Pridané: 3.3.2017 15:53 ¯\_(ツ)_/¯ Odpovedať Známka: -5.0 Hodnotiť:

samozre Od: lolo lop | Pridané: 3.3.2017 11:40 Samozrejme ze to tak dopadne pretoze to bolo uplne napicu a kedze sa věci zmenili iba zvláštním sposobom nemoze to ist inak jako by sme chceli pretoze to je celkom jasne ze to jasne bolo uz uplne na zaciatku a kde sa to cele nepretocilo tak sme tocili salamu celkom inak jako by sme mali lebo tocnie malého mnozstva vody nebolo v plane na urade narodnej nemoralnej nemohucnosti a kedze giganticky mikroskop bol pripojeny na baterku internetovym sposobom mohlo byt docela obsluzny malému poctu rolnikov ktori robili papáju na medenom drote zatocenom doprava a automaticky pumpovali gel najlepsieho providera mikro sluzieb a tieto boli predane nadnarodnym okupaciam německého charakteru a potom uz len sme cakali na dodacie pripinaciky malého mnozstva velkého dopravcu ktory slubil zaslanie etikety postovym spolocnostiam a tieto samozrejme nemali na vyber a museli zacat konzumovat napichane hrusky maloobchodnym olejom a dopékat vlastne halusky pretoze boli celkom dobře. Odpovedať Známka: -4.0 Hodnotiť:

..... Od reg.: pocitujlasku | Pridané: 3.3.2017 12:40 zaujimave, nikto sa tu este nepozastavil nad tym, ze tie servre neboli restartovane roky. Odpovedať Známka: 8.3 Hodnotiť:

Re: ..... Od: syntaxterrorXXX | Pridané: 3.3.2017 13:16 Pretoze priekazne su vsetci pozastaveni. Odpovedať Známka: -2.5 Hodnotiť:

Re: ..... Od reg.: poldinko | Pridané: 3.3.2017 13:27 pretoze to je uplne bezne ze servre maju uptime roky práve ulohou serverou je byt online 24/7 moj domaci server má baterkovu zalohu aby sa nevypol pri vypade prudu a má uptime viac ako rok - pre big data spoločnosť ako amazon, google, ... je to úplne bežné Odpovedať Známka: 1.7 Hodnotiť:

Re: ..... Od: Klon M5 | Pridané: 3.3.2017 13:37 A to je Ti načo?? Odpovedať Známka: -1.7 Hodnotiť:

Re: ..... Od: Klávesnice | Pridané: 4.3.2017 0:12 NAS? Torrent klient? SFTP? Streaming? Server pre čokoľvek čo je treba online? A ďalších 100 služieb a fun-vecí... Odpovedať Hodnotiť:

Re: ..... Od: SW guru oriešky | Pridané: 3.3.2017 16:36 a bezpecnostne zaplaty ? ci to mydlia na istotu a idu bez zaplat ? :D Odpovedať Známka: -3.3 Hodnotiť:

Re: ..... Od reg.: pocitujlasku | Pridané: 3.3.2017 17:15 v linuxe dokazes aktualizovat system aj bez restartu (viem, pre windowsakov je to cista utopia). Odpovedať Známka: 6.9 Hodnotiť:

Re: ..... Od: Kapitan Granko | Pridané: 3.3.2017 17:25 oni tam maju linux ? ako si na to prisiel ? Odpovedať Známka: -8.0 Hodnotiť:

Re: ..... Od reg.: KillerM | Pridané: 3.3.2017 20:23 pretoze nerestartovali roky... Odpovedať Známka: 8.6 Hodnotiť:

Re: ..... Od: MaloSaKradne | Pridané: 4.3.2017 0:16 aj kernel sa da takto bez restartu NA PRODUKCNYCH STROJOCH aktualizovat, vsak ? Odpovedať Hodnotiť:

Re: ..... Od: dds | Pridané: 4.3.2017 7:57 ano, od nejakej verzie spred cca 2 rokov vies aktualizovat aj kernel bez restartu, dostalo to nativnu podporu. predtym si to musel vymachrovat. kazdopadne, oni nemaju servery postavene na ubuntu, aby ich kazdho pol roka reinstalovali. ja tipujem, ze tam maju nejake vlastne distro odvodene z povedzme debianu a nemaju potrebu aktualizovat kernel Odpovedať Hodnotiť:

Re: ..... Od: Koumak | Pridané: 3.3.2017 13:59 Ten moj ma uptime 1490 dni a co je na tom divne? Servery niesu PCcka, aby sa vypinali, alebo barskedy restartovali (pokial na nich teda nebezi Windows:)) Odpovedať Známka: 3.8 Hodnotiť:

Re: ..... Od: SW guru oriešky | Pridané: 3.3.2017 16:39 a bezpecnostne updaty ? Odpovedať Známka: -5.0 Hodnotiť:

Re: ..... Od reg.: pocitujlasku | Pridané: 3.3.2017 17:17 mne na tom nie je nic divne, praveze som istu dobu spravoval servre, a uptime v rokoch bol normalny. Teda linuxove. Windows sa pocital na max. mesiace, lebo aktualizacie. Len mi akosi chybalo, ze to tu nikto nespomenul :) Odpovedať Známka: 2.0 Hodnotiť:

Re: ..... Od: a278617 | Pridané: 3.3.2017 22:01 ja mam na svojich win xp (resp maval som), tiez roky uptime, kaslal som na aktualizacie, a zijem, nemam AIDS, a ani som neutrpel nic s tym neaktualnym win xp. ale dnes je celkom v mode, ze PC si povie, ze za 10 minut sa nieco restartuje ci co.. inak teraz tiez pisem z XP. kazdopadne, na Win7 mam tiez dlhe uptime... uptimy? aktualizacie a antivirus nemam rad.. naco.. inak, nemam rad ani restart, lebo HW sa rad kazi prave pri restarte.. je to ako V3Ska, ked je nastartovana, tak ide.. Odpovedať Známka: -3.3 Hodnotiť:

Stava sa Od reg.: lamka1 | Pridané: 3.3.2017 12:54 shit happens Odpovedať Hodnotiť:

odobrať tak rýchlo také veľké množstvo serverov. Od: 403 Forbidden | Pridané: 3.3.2017 13:45 "odobrať tak rýchlo také veľké množstvo serverov." odkedy odobrať znamená vypnúť ??? hmmm Odpovedať Známka: 3.3 Hodnotiť:

Re: odobrať tak rýchlo také veľké množstvo serverov. Od: Problem | Pridané: 3.3.2017 15:16 Preloz si to sam: The tool that was responsible for causing the outage has been modified to take down servers more slowly and to block operations that will take capacity below safety check levels. Odpovedať Hodnotiť:

tatelik Od: Jefer | Pridané: 3.3.2017 14:50 z toho clanku som nepochopil nic. vypli teda zelezo na ktorom bezal zdielany program ? mozno ak by presli na Raspberry Pi a nechali na nom bezat mezi zariadeniami jeden spolocne zdielany program pisany v phytone, s pristupom na nevypinane raid 5 ? otazka je ako sa takto da rozdelit jedna sietova linka s jedndou adresou ? takto by mohli virtualne na intel postavene stroje poslat do prec a vsetko by bol stary dobry hw, co stroj to jednotka. Odpovedať Známka: -2.0 Hodnotiť:

Re: tatelik Od: asdqw | Pridané: 6.3.2017 8:45 Keby si videl ceny ake maju tieto firmy za servre tak by si plakal, ono sa to kupuje na kila, nie na kusy pri takom odbere ako maju oni. A po dalsie, rpi nam po 3 mesiacoch 24/7 majnenia dat odchadzali takze sa vobec neoplatili. Odpovedať Hodnotiť:

Pridať komentár