neprihlásený Piatok, 20. apríla 2018, dnes má meniny Marcel   DonaskaKvetov.sk - donáška kvetov v SR a zahraničí Pošli kvety
Programátor oscreenshotoval celý slovenský Internet, spravil z neho jednorožca

Slovenský programátor zrealizoval v uplynulých týždňoch zaujímavý projekt, keď motivovaný snahou zistiť prevažujúce farby používané na slovenskom webe oscreenshotoval hlavné stránky všetkých slovenských webov a vytvoril z nich jeden veľký zoomovateľný megaobrázok. Okrem toho zo screenshotov vytvoril podľa predlohy tiež efektnú zoomovateľnú mozaiku jednorožca, obe prístupné verejnosti.

Značky: zaujímavostiSlovenskoweb

DSL.sk, 29.3.2018


Slovenský programátor Vladimír Strýček v uplynulých týždňoch zrealizoval minimálne na realizáciu zaujímavý projekt, keď v snahe analyzovať aké farby používajú slovenské weby pomocou vytvoreného nástroja vytvoril screenshoty hlavných stránok všetkých slovenských domén a vytvoril z nich jeden gigantický obrázok.

Ten v podobe zoomovateľného obrázku sprístupnil verejnosti. Zároveň zo screenshotov vytvoril mozaiku jednorožca, rovnako zoomovateľnú.

Strýček, ktorého povolaním je Linux Cloud Engineer, samozrejme programovo urobil screenshoty z hlavných stránok všetkých slovenských domén. Konkrétne v čase ich vytvárania v uplynulých týždňoch boli načítateľné weby pre 366 598 slovenských domén.

Robil tak pomocou Python skriptu ovládajúceho headless Chrome vďaka riešeniu Selenium. Skript po otvorení stránky doména.sk pre jednotlivé domény okrem iného automaticky odklikával pop-upy, ktoré sa na niektorých stránkach zvyknú objavovať hneď po otvorení. Následne skript uložil screenshot stránky rozmerov 1920 x 1080 v komprimovanom JPG formáte.


Mozaika zložená zo screenshotov slovenského webu, kliknite pre zväčšenie (obrázok: pony.reverz.sk)



Tento proces trval 4 až 5 dní a obrázky mali spolu 56 GB. Medzi nimi je možné nájsť podobné aj rovnaké obrázky, ak sú pre rozličné domény poskytované rovnaké stránky alebo prichádza k presmerovaniu.

Ďalší Python skript v každom obrázku pomocou NumPy a PIL identifikoval desať najpoužívanejších farieb, tento proces trval 30 hodín. Informácie spracoval aj do jednoduchej štatistiky, jasne najpoužívanejšou primárnou fabou je podľa očakávaní biela pred rozličnými odtieňmi šedej, čiernou, tmavomodrou.

Ďalší Python skript zoradil screenshoty podľa identifikovaných farieb a vyrábal jednotlivé vertikálne pásiky plánovaného výsledného obrázku vo formáte PNG o veľkosti 854 x 289 920 pixelov, takýchto pásikov bolo 607. Za týmto účelom boli pôvodné screenshoty zmenšené na 854 x 480.

Spojením pásikov vznikol finálny obrázok vo formáte TIFF o veľkosti 518 378 x 289 920 pixelov a 81 GB.

Následne za účelom jeho zoomovateľného zobrazenia pomocou OpenSeadragon ho skonvertoval pomocou knižnice pyvips do tzv. DeepZoom formátu s dlaždicami pre všetky možné priblíženia s celkovo 2.5 miliónmi súborov.

Efektnejší obrázok zo screenshotov v podobe mozaiky reálneho obrázku vytvoril pomocou softvéru AndreaMosaic podľa predlohy upraveného obrázku jednorožca z hry Fortnite. Ten použil zo screenshotov cca 200 tisíc, bez opakovania, a proces trval viac ako 400 hodín. Obrázok bol opäť skonvertovaný do DeepZoom.

Celý proces trval do štyroch týždňov, realizovaný bol na osobnom počítači s Intel Core i7-5930K, 16 GB RAM, 500 GB Samsung SSD 840 Pro, Windows 10 a Pythonom 3 cez pripojenie s rýchlosťou 25 Mbps.

Zoomovateľný výsledok si je možné pozrieť na deepzoom.reverz.sk, mozaiku na pony.reverz.sk.


      Zdieľaj na Twitteri



Najnovšie články:

Optika od Orange v ďalšom meste, štandardne už s IPv6
Po dva a pol rokoch nová verzia MySQL 8.0
V Európe sa začína predávať 8K TV, za cenu auta
Krajina, kde vznikli elektrárne a priemyselná revolúcia, dva dni bez uhoľnej elektrárne
Druhá generácia AMD Ryzenov zaujímavo zvýšila výkon
Slovensko.sk má opäť problémy. Už to ani vtipné nie je
Nová satelitná flotila ponúkne komukoľvek živé video akejkoľvek lokality
Uvedený 14 TB disk s klasickým záznamom aj tretím výrobcom
Teleskop, ktorý má objaviť desaťtisíce planét, bol úspešne vypustený
Európe sa minul posledný /8 blok IPv4 adries, zostávajúce zásoby sú na 2 roky


Diskusia:
                               
 

taka somarina
Odpovedať Známka: 2.4 Hodnotiť:
 

vidno ze typek je fanusik fortnitu :)
Odpovedať Známka: 5.4 Hodnotiť:
 

vo fortnite sa to vola Lama ten jednorozec, hmmmm.
Odpovedať Známka: -4.0 Hodnotiť:
 

som len nahodou nazoomoval na toto :)
http://deepzoom.reverz.sk/ #zoom=447.5791208791209& x=0.7093297678662419& y=0.23746667097636562
Odpovedať Známka: 3.3 Hodnotiť:
 

Obchod s riflami čo je na tom?
Odpovedať Známka: 2.0 Hodnotiť:
 

No ja ako chlap som si všimol v prvom rade tú ženskú čo tam leží a až potom že tá stránka je nejaký obchod s riflami. No a pre teba mám asi zlú správu, ale to o sebe asi už vieš.
Odpovedať Známka: 6.7 Hodnotiť:
 

Ja mám pre teba dobrú správu, keď budeš mať 29 rokov ženu a deti začneš používať tie časti mozgu, ktoré sa používajú na vyššie mozgové funkcie, nie len mozoček čo riadi pudy.
Odpovedať Hodnotiť:
 

Ja mam tiez zenu a deti a po skatulach sa pozeram stale... To vies, my s tym vymakanym malym mozockom to mame tazke...
Odpovedať Hodnotiť:
 

Waifu sa nepočíta ako žena.
Odpovedať Hodnotiť:
 

To čo si popísal znie ako starecká erektálna disfunkcia.

Odpovedať Známka: 3.3 Hodnotiť:
 

https://www.youtube.com/watch?v=JBVWkvMuh_k
Odpovedať Známka: 2.0 Hodnotiť:
 

podla mna to urobil autor preto, lebo chcel najst uplatnenie pre kliknite pre zväčšenie
Odpovedať Známka: 8.8 Hodnotiť:
 

kazdeho urcite napadlo toto
youtu.be/JBVWkvMuh_k
Odpovedať Známka: 7.9 Hodnotiť:
 

presne tak :-D
Odpovedať Známka: 7.0 Hodnotiť:
 

Fascinujúce.
Škoda že.sk nieje naša národná doména, ale vlastnia ju angličania.
Odpovedať Známka: 3.3 Hodnotiť:
 

Kto nájde dsl.sk v tej mape vyhráva víkendový pobyt s Jankou H. v Tatrách :}

Alebo bezpečnostné konzultácie s Ondrejom M. D: D: D:
Odpovedať Známka: 9.7 Hodnotiť:
 

"Elon Musk je výskumník ktorý vyrába lety do vesmíru" Ondrej M.
Odpovedať Známka: 9.5 Hodnotiť:
 

Lety do vesmiru v ktorom sa ani neda chytit markiza.. v podstate zbytocny projekt
Odpovedať Známka: 9.5 Hodnotiť:
 

Ze "sa ani neda chytit markiza" moze vedecky priekazne potvrdit odbornik iba jeden.
Odpovedať Známka: 0.0 Hodnotiť:
 

Som nasiel. vlavo dole, devet z vrchu prava hore smerom na kraj stredu
Dufam ze je Janka sikovna s cementom a miesackou..
Odpovedať Známka: 7.9 Hodnotiť:
 

Ale neopovazte sa hladat toho zeleneho skriekajuceho kkta!
Odpovedať Známka: 6.8 Hodnotiť:
 

Ale Matovič nechodí v zelenom.
Odpovedať Známka: -0.6 Hodnotiť:
 

vtip je nezvestny uz takmer 1 hodinu
Odpovedať Známka: 3.3 Hodnotiť:
 

De Facto mas pravdu nakolko Matovic je zeleny skriatok a skrieka a pritom same klamstva ktore sa ukazu byt nepravda.... a Mainstream Sorosovsky to prezentuju ako fakt a ked sa zisti ze to je loz tak ziadne neospravedlnenie...
Odpovedať Známka: -3.8 Hodnotiť:
 

Toho netreba hľadať, ten si nájde nás...

http://dopice.sk/zeleny
Odpovedať Známka: 6.7 Hodnotiť:
 

Našiel som len dopice.sk :(
Odpovedať Známka: 8.5 Hodnotiť:
 

kokso, tolko energie vynalozenej, a taka neuzitocna blbost z toho vylezie :)
Odpovedať Známka: 6.3 Hodnotiť:
 

Tak niekto vynakladá energiu na ťaženie kryptomeny a niekto na toto.
Čo je pre jedného somarina môže byť pre druhého dobre strávený čas a dobre minutá energia.
Odpovedať Známka: 6.5 Hodnotiť:
 

Presne tak. Bitcoiny sice nema, ale zato priekazne moze celý slovenský Internet vytlacit cez wifi.
Odpovedať Známka: 7.2 Hodnotiť:
 

No joo..., ale aky velky kancel bude potrebovat na taky velky papier... ;-)
Odpovedať Známka: 10.0 Hodnotiť:
 

posielam forpsi (a kvety)
Odpovedať Známka: 7.8 Hodnotiť:
 

Jednorožec? Nebola by lepšia pelegrímova busta?
Odpovedať Známka: -2.8 Hodnotiť:
 

Trpi Pellegrini na kult osobnosti, alebo Fico s Dankom?
Odpovedať Známka: -4.3 Hodnotiť:
 

Čo ja viem. Predaj Sk-Nic ti nič nevraví?
Odpovedať Známka: 7.8 Hodnotiť:
 

To, ze nas toho zbavil, neznamena, ze je az taky chory, ako Fico s Dankom. Ale mozno za 10 rokov v politike bude.
Odpovedať Známka: -3.3 Hodnotiť:
 

Teda to muselo dát příšernou práci... Přitom taková blbos co..
Odpovedať Známka: 6.5 Hodnotiť:
 

https://youtu.be/JBVWkvMuh_k
Odpovedať Známka: 6.0 Hodnotiť:
 

Plha se hlásí
Odpovedať Známka: -3.3 Hodnotiť:
 

Pekne zadanie na nejake OSka alebo paralelne systemy :)
Odpovedať Známka: 8.8 Hodnotiť:
 

Presne skoro tak. Len na nejake OSka alebo paralelne systemy by bolo pocitanie farebneho spektra in memory z vystupov grafiky bez screenshotov.
Odpovedať Známka: -6.0 Hodnotiť:
 

Je tam aj hovno.sk?
Odpovedať Známka: 7.8 Hodnotiť:
 

dopice.sk tam je
Odpovedať Známka: 6.7 Hodnotiť:
 

Tiez si tak zoomujem a hned prve co sa mi zobrazile bolo dopice.sk
Odpovedať Známka: 8.5 Hodnotiť:
 

To malo byt pre vystiznost sk webov v strede namiesto jednorozca
Odpovedať Známka: 4.0 Hodnotiť:
 

Zaujímavé, aký veľký podiel majú defaultné stránky od websupportu s textom "K tejto doméne zatiaľ neexistuje žiadny webhosting"
Odpovedať Známka: 9.2 Hodnotiť:
 

Je to jasne najoblubenejsia stranka SK internetu :-)
Odpovedať Známka: 10.0 Hodnotiť:
 

Na obrazku je jednorozec ale stranka s obrazkom sa vola pony :) .
Odpovedať Známka: 8.3 Hodnotiť:
 

Je to postava zo serialu My Little Pony. To vie kazdy
Odpovedať Známka: -1.7 Hodnotiť:
 

Kazdy nie, kedze ja to neviem.
Odpovedať Známka: 7.5 Hodnotiť:
 

Nie. Nie je :P
Odpovedať Známka: 10.0 Hodnotiť:
 

Nasleduje postup do dalsieho levelu s nazvom .eu :D
Odpovedať Známka: 8.3 Hodnotiť:
 

Všetci netrpezlivo očakávajú výsledok z .XXX domén
Odpovedať Známka: 8.5 Hodnotiť:
 

Kdo si hraje nezlobí
Odpovedať Známka: 6.7 Hodnotiť:
 

A hraje sa vo Windows ...
Odpovedať Známka: 3.7 Hodnotiť:
 

nespadne mi internet, ked na to kliknem ?
Odpovedať Známka: 4.3 Hodnotiť:
 

Spadne, ale nezohybaj sa po neho pred tym jednorozcom.
Odpovedať Známka: 8.2 Hodnotiť:
 

Posuvam si obrazok hore, dole, dolava, doprava a zistujem:
vyse 99% webstranok je nezaujimavych. :(
Vlastne je zbytocny cely net. :)
Odpovedať Známka: 8.2 Hodnotiť:
 

https://imgur.com/9XtwmSV
Co mu to ale padlo do oka ojojoj
Odpovedať Známka: 3.3 Hodnotiť:
 

Do oka pristane chrenová omáčka
Odpovedať Známka: 6.7 Hodnotiť:
 

Zislo by sa upozornenie ze obrazoj je NSFW
Odpovedať Známka: 10.0 Hodnotiť:
 

Teda, čo všetko máme vďaka Strýčkovi :-) Tak diky Strýco! Ale ten obrázok toho koníka sa mi naozaj páči, je veľmi pozitívny. Na mňa teda pôsobí milo a pozitívne ten obrázok, chcel by som vidieť, kto ho vytvoril, nemáte niekto fotku toho Strýčka?
Odpovedať Známka: -2.0 Hodnotiť:
 

mohol to uz dotiahnut do dokonalosti a ku kazdemu obr pribalit uz aj odkaz. BFU by uz len priblizil a klikol ak by ho nieco zaujalo.. tak ako mna :D No nebolo by to ppc? Cely SKnet na jednej stranke :D
Odpovedať Známka: 8.0 Hodnotiť:
 

To nieje take jednoduche, pre ten hlavny obrazok by sa to teoreticky dalo lebo sa da pozriet v akom poradi boli generovane obrazky a vyriahnut nazvy, prolbem je ze len textak s menami domen by mal 15MB. Takze treba dako vymysliet aby OpenSeadragon spravil klikaci neviditelny overlay na suradniciach v urcitom zoome iba, chcem sa na to pozriet, ale neviem ci to bude mozne....
Odpovedať Známka: 8.9 Hodnotiť:
 

Ako pise nizsie "citatel piatok", je to super, len to treba dorobit. Kazdy pohlad by mal mat svoj hashtag automaticky generovany, ved ked mi chce niekto poslat napr https://imgur.com/9XtwmSV uvedene vyssie, nemusi predsa robit dalsi screen, cize matriosku. A ja budem hned vediet, kde to je. A kto si zaplati aj odkaz, tak sa moze odkliknut na svoju stranku. A za tento napad monetizacie by som si prosil poslat wifi tlaciaren. Alebo aj nie, radsej si chcem mozno pokliakat na kazdu divnu stranku. Ked vie google maps a ine maps poslat odkaz presne na tu istu cast mapy, dokaze to aj tato mapka dufam, co nevidiet. ;) Len to treba dat do indexovanej DB a nie do 15MB suboru. Dakujem a tesim sa na update.
Odpovedať Známka: 10.0 Hodnotiť:
 

Hotovo, pridal som tam funkciu, ze automaticky dava koordinaty do URL, cize ked niekto postne full url tak druheho cloveka tam zoberie na to iste miesto ked pouzije to URL... aby sa dalo klikat na jednotlive casti, na tom sa musi este popracovat :)
Odpovedať Známka: 8.6 Hodnotiť:
 

A dalo vela prace zohnat suhlas so sirenim pozmeneneho diela od vsetkych vlastnikov autorskych prav ku strankam?
Odpovedať Známka: 6.0 Hodnotiť:
 

To by platilo pokial by som urobil screenshot stranky a dal ju samostatne, takto je nekomercny, vyskumny a naucny "Art Projket" a tym padom sa jedna o transformativne dielo = fair use... aj ked skusal niekto zastavit, alebo dat zrusit okopirovanu fake stranku ? Riesil sme nieco podobne ked nam okopirovali stranku (1:1 len vymenili cislo ) a nikto to nevie, nechce vyriesit, policia, hosting a sk-nic...
Odpovedať Známka: 8.0 Hodnotiť:
 

Este si prosime vyhladavanie podla domeny a rovno zoom na screen. :)
Odpovedať Známka: 6.0 Hodnotiť:
 

A ja si prosim aj blikanie najdenej stranky v konkretnej casti, kde mam zoomovat. Cize layer nad obrazkom a tam blikajuca hviezdicka, alebo co ja viem čo. Lebo ked sa zazoomuejs, nemas presne prehlad, kde si. Aaalebo k tomu zoomu polohu v ramci mapky. Proste tolik prace pro takovou kravinu.
Odpovedať Známka: 4.3 Hodnotiť:
 

Priekazne nemas pravdu, ze v tomto pripade treba hladat suhlas.
Odpovedať Známka: 2.0 Hodnotiť:
 

milliondollarhomepage.com
Odpovedať Známka: 3.3 Hodnotiť:
 

To to su take rizikove zabavky. Dufam, ze sa chalan pred zverejnenim uistil, ze tam nie je ziadne decke Pcko, lebo skonci v base, ani nevie ako. :-D
Odpovedať Známka: 3.8 Hodnotiť:
 

programator okolo Linux-u a frci na win 10
Odpovedať Známka: 8.7 Hodnotiť:
 

Nenašiel pre win lepšie použitie
Odpovedať Známka: 7.9 Hodnotiť:
 

Uplne super,
este doplnit odkazy na zdroje a skusit automaticky generovat nejake tagy ku kazdej stranke a mame super katalog.

Samozrejme permanentna aktualizacia a moznost zapojenia sa majitelov stranky do projektu (doplnenie tagov, kategorii, informacii o update, ...) by tomu dalo iny rozmer.

Dobry napad a realizacia!
Odpovedať Známka: 3.3 Hodnotiť:
 

Śtatisticky prevažuje biela a čierna miestečko na dúhu sa ale nájde vždy. Dostal ten geniálny programátor na toho jednorožca aj dotáciu z EU?? :D)
Odpovedať Známka: 2.4 Hodnotiť:
 

Najako veľa má to forpsi zainvestované do sk domén
Odpovedať Známka: 6.0 Hodnotiť:
 

A kde je Slovenské porno? Hovorí sa predsa, že bez porna by sa celý internet vošiel na jedno dvd.
Odpovedať Známka: 10.0 Hodnotiť:
 

Internet ano, ale nie jeho printscreeny.
Odpovedať Známka: 10.0 Hodnotiť:
 

Našli ste už stránku dsl.sk?
Odpovedať Známka: 10.0 Hodnotiť:
 

da sa to niekde objednat v tlacenej verzii?
Odpovedať Známka: 10.0 Hodnotiť:
 

Bude v zelenom páse.
Odpovedať Hodnotiť:
 

Kto tam už našiel dsl.sk?
Odpovedať Známka: 3.3 Hodnotiť:
 

Skvelý spôsob ako zviditeľniť svoju primárne poskytovanú službu :)
Odpovedať Hodnotiť:

Pridať komentár