Odpočúvať je možné len z videa predmetov bez zvuku, vďaka vibráciám

Značky: veda a výskumzaujímavosti

DSL.sk, 5.8.2014

Výskumný tím z Massachusettského technologického inštitútu, MIT, a spoločností Microsoft a Adobe v pondelok prezentoval inovatívnu a pozoruhodnú technológiu odpočúvania zvuku s prekvapivo kvalitnými výsledkami, ktorá mení verejne známy stav technológií odpočúvania a ochrany proti odpočúvaniu.

Tím totiž dokáže rekonštruovať zvuk len analýzou nahratého videa zachytávajúceho bez zvuku predmet v blízkosti zdroja zvuku.

Analýza funguje na princípe detekcie mikroskopických vibrácií predmetov spôsobovaných zvukovými vlnami, výskumníci prezentovali rekonštrukciu zvuku z nahratého videa izbovej rastliny, balíka čipsov, hladiny vody v pohári.

Pre kvalitnejšiu rekonštrukciu je potrebné video so snímkovou frekvenciou aspoň na úrovni frekvencie rekonštruovaných zvukov, vedci preto používali video z kamier schopných natáčať videá s 2000 až 6000 snímkami za sekundu.

Vibrácie spôsobované zvukom sú veľmi malé a aj pri veľkom priblížení pri dnešných rozlíšeniach sa predmety pri týchto vibráciách hýbu o maximálne päť tisícin pixelu. Tieto vibrácie nie sú tak priamo viditeľne na videu zachytené, je ich ale možné detekovať na hranách dvoch plôch s rozličnou farbou.

Pixel zachytávajúci takúto hranu totiž zachytáva farbu zmiešanú z farieb oboch plôch. Aj pri posune o tisíciny pixelu sa zmení pomer miešaných farieb a mierne sa tým zmení aj výsledná farba zachytávaná pixelom, pričom analýzou týchto zmien v celom obraze je možné detekovať vibráciu spôsobenú zvukom s dostatočnou presnosťou.

Ukážka výsledkov technológie odpočúvania analýzou videa (video: MIT)

Modifikovaná technika umožňuje zvuk rekonštruovať aj z videa nahratého pomocou väčšiny klasických kvalitnejších kamier a zrkadloviek, tím prezentuje ukážku rekonštrukcie zo 60 fps videa nahratého zrkadlovkou. V tomto prípade informácie s vyššou frekvenciou poskytuje typický spôsob fungovania senzorov, ktoré získavajú informácie z jednotlivých riadkov pixelov postupne a s časovým posunom. Analyzovanými informáciami v tomto prípade nie je zmena farby toho istého pixelu ale subpixelový posun rozličných pixelov jednotlivých hrán.

Tím demonštruje rekonštrukciu zvuku pozostávajúceho z jednoduchých čistých tónov aj rekonštrukciu reči a spievania, v jednej ukážke demonštruje rekonštruovanú reč z nahratého videa vysokofrekvenčnou kamerou zo vzdialenosti cca 4.5 metra spoza zvukotesného skla. Prirodzenou aplikáciou výskumu je vývoj technológie pre odpočúvanie podozrivých orgánmi činnými v trestnom konaní, či má technológia napríklad v kombinácii s filtrovaním rekonštruovaného zvuku už dostatočné parametre pre reálne nasadenie alebo aké zlepšenia bude vyžadovať napríklad pre schopnosť odpočúvať na vzdialenosť desiatok metrov výskumníci neinformujú.

Ďalšou aplikáciou má byť technológia ktorá naopak dokáže pri známom zvuku z videa zistiť mechanicko-materiálové parametre predmetov.

Informácie o projekte a ďalšie ukážky rekonštruovaného zvuku je možné nájsť na stránke výskumného projektu.




Najnovšie články:



Diskusia:

ano, ja viem....ale, Od: trololoman | Pridané: 5.8.2014 13:03 tesim sa na ozvuceneho Charlieho Chaplina :D Odpovedať Známka: 9.5 Hodnotiť:

Re: ano, ja viem....ale, Od: MisoMM | Pridané: 5.8.2014 13:09 Super napad, paci sa mi tvoj pristup :) Odpovedať Známka: 9.7 Hodnotiť:

Re: ano, ja viem....ale, Od: telfon nikoa | Pridané: 5.8.2014 14:00 az na to ze čarliho natacali tak 18 fps a na toto potrebujes 2000-6000 fps Odpovedať Známka: 2.4 Hodnotiť:

Re: ano, ja viem....ale, Od: m1Chi | Pridané: 5.8.2014 14:03 aj tvoj pristup sa mi paci :) Odpovedať Známka: 9.6 Hodnotiť:

Re: ano, ja viem....ale, Od: nmkju | Pridané: 5.8.2014 14:05 No tak si ho pustia rychlejsie. ;-) Ale napad s Charliem a inymi klasikmi nemeho filmu je dobry, mas naozaj super napad. Odpovedať Známka: 8.9 Hodnotiť:

Re: ano, ja viem....ale, Od reg.: Janko Kajsmentke | Pridané: 6.8.2014 1:28 Paci sa mi tvoj pristup. To by mohlo fungovat. Odpovedať Známka: -5.0 Hodnotiť:

Re: ano, ja viem....ale, Od: kekeket | Pridané: 5.8.2014 14:47 a navyse to je ciernobiele, tie pixle musia byt farebne odlisene, odtiene ciernej sa tazko spracuju Odpovedať Známka: -4.8 Hodnotiť:

Re: ano, ja viem....ale, Od: Babrák O´Bama | Pridané: 5.8.2014 13:10 Bolo by to super, ale asi treba veľmi kvalitné video :D Odpovedať Známka: 10.0 Hodnotiť:

Re: ano, ja viem....ale, Od: Rado2 | Pridané: 5.8.2014 13:54 Neteš sa, toho točili na film, kde sa všetky "pixely" snímajú naraz, aj to len nejakých max. 24 FPS. Možno nejaké 10 Hz zvuky by z toho vytiahli, takže budeš vedieť len kedy niekto prdol :) Odpovedať Známka: -0.6 Hodnotiť:

Re: ano, ja viem....ale, Od: trololoman | Pridané: 5.8.2014 17:27 To nevadí, aspoň sa svet konečne dozvie ako prdí Charlie Chaplin :D Odpovedať Známka: 10.0 Hodnotiť:

Re: ano, ja viem....ale, Od reg.: Uhlik | Pridané: 5.8.2014 17:37 asi ta sklamem, ale Chaplina zaznamenávali cez "rolling shutter", takze je mozne aplikovat techniku ako pri dnesnych CMOS snimacoch, avsak iba v zaberoch so statickou kamerou ;) ... Odpovedať Známka: 10.0 Hodnotiť:

Re: ano, ja viem....ale, Od: horteezka | Pridané: 5.8.2014 18:06 pan za vyzna Odpovedať Známka: 6.7 Hodnotiť:

bfbfgbfgb Od: fgbfbffb | Pridané: 5.8.2014 13:22 amateri, Horatio Caine to dokaze aj z fotky Odpovedať Známka: 10.0 Hodnotiť:

Re: bfbfgbfgb Od: 66666666666 | Pridané: 5.8.2014 13:31 ten ti zisti aj farbu slipov z fotky v pase :-) Odpovedať Známka: 10.0 Hodnotiť:

Re: bfbfgbfgb Od: 5ony | Pridané: 5.8.2014 13:54 čiernobielej Odpovedať Známka: 10.0 Hodnotiť:

Re: bfbfgbfgb Od: hmm. | Pridané: 5.8.2014 15:44 Pokial ide o ciernobiely obraz, ak vies aka bola povodna farba, mozes pouzit ciernobiely odtien na urcenie odtiena povodnej farby a nasledne tak nahradit ciernobielu farbu daneho povrchu povodnou farbou, je to trosku komplikovanejsie nez to znie ale zhruba takto je mozne nafarbit ciernobielu fotografiu, za predpokladu ze poznas povodne farby. Odpovedať Známka: 5.6 Hodnotiť:

Re: bfbfgbfgb Od: maximus grafikus | Pridané: 5.8.2014 20:05 nemozes, odtien sedej sa vypocitava rovnicou x*hodnota cervenej + y*hodnota modrej + z * hodnota zelenej x+y+z = 1, vsetky tri nezaporne, presne hodnoty ti povie wiki Odpovedať Známka: 7.8 Hodnotiť:

Tupolev Od: Haniak. | Pridané: 5.8.2014 22:58 Počítač pozná len 256 odtieňov šedej, to je 8 bitov. Poznáme však 24 bitové farby v počítadle + 8 bitov pre priehľadnosť, aby to robilo dátové slovo 32 bitov. Oko rozozná možno ak 444 odtieňov šedej. Takže z čiernobieleho obrazu nie je možné zostaviť reálny pôvodný farebný obraz. Nie je tam o tom prakticky žiadna informácia... Odpovedať Známka: 1.4 Hodnotiť:

Re: bfbfgbfgb Od: hmm. | Pridané: 5.8.2014 15:38 A co ked dotycny v skutocnosti nosi trencle? Odpovedať Známka: 7.5 Hodnotiť:

Re: bfbfgbfgb Od: NooN | Pridané: 5.8.2014 13:40 To je alias Norrisa? Odpovedať Známka: 1.4 Hodnotiť:

Re: bfbfgbfgb Od: ccccccccccccc | Pridané: 5.8.2014 14:31 nie. horatio to dokaze len vo filme. Chuck Norris naozaj. :-) Odpovedať Známka: 9.0 Hodnotiť:

Re: bfbfgbfgb Od: pravdach | Pridané: 6.8.2014 14:56 Chuck Norris zo zvuku spraví video Odpovedať Známka: 10.0 Hodnotiť:

Re: bfbfgbfgb Od: lol. | Pridané: 10.8.2014 18:05 To vedel uz aj Winamp s pomocou efektov. :P Odpovedať Známka: 10.0 Hodnotiť:

Nyquist–Shannon Od reg.: leader | Pridané: 5.8.2014 13:32 nie je mi jasne ako sa da dostat ten zvuk zo 60Hz videa Odpovedať Známka: 7.8 Hodnotiť:

Re: Nyquist–Shannon Od: stoneage | Pridané: 5.8.2014 14:13 kamera nezachytava 60x za sekundu staticky obrazok, ale ide povedzme zhora nadol po riadkoch. tzn pri 1080p x 60hz kamera zachyti 64800 riadkov pixelov. meranie posunu potom prebieha v tom mieste, kde sa obrazok obnovil. aspon tak to ja chapem :D skor by ma zaujimalo, ako si poradili so zvukmi v okoli tej kamery. Odpovedať Známka: 10.0 Hodnotiť:

Re: Nyquist–Shannon Od reg.: Born To Be Wild | Pridané: 5.8.2014 16:36 Kamera na film zaznamenáva po celých snímkach, políčkach, obraz naraz. Snímač po riadkoch ako vysvetľuje kolega vyššie. CRT obrazovka tak zasa zobrazuje obraz. Princíp je rovnaký. Riadok po riadku. Odpovedať Známka: 10.0 Hodnotiť:

Re: Nyquist–Shannon Od reg.: roob_ | Pridané: 7.8.2014 7:43 este by nezaskodilo sa dohodnut, ci sa jedna o nekomprimovane video alebo najake komprimovane, kde su zapisovane len zmeny a "niekolko" obrazakov je uplne ze rovnakych, a "cely novy" obrazok je len kazdy xty... z toho zistia tak bacov falus. Odpovedať Známka: 10.0 Hodnotiť:

Re: Nyquist–Shannon Od: Alt | Pridané: 5.8.2014 14:19 Tak ze to video ma sice 60 stranok za sekundu, ale jednotlivy obrazok sa nahrava urcity cas postupne po riadkoch a oni prave analyzuju rozdiel medzi dvomi riadkami ... Kazdopadne klobuk dole, necakal by som take vysledky. Odpovedať Známka: 7.1 Hodnotiť:

Re: Nyquist–Shannon Od reg.: Pjetro de | Pridané: 5.8.2014 15:22 Zaujimave zrekonstruovat zvuk do 300 Hz zo 60 Hz videa, alebo posun o 1/1000 pixelu :) Tiez vlnovou dlzkou okolo 100 nm (pri litografii a vyrobe cipov) sa dnes tvoria 20 nm struktury. Najstroj je vacsi ako vysledna struktura/vysledok. To je ako 3 kilovym velkym rylom opracovat a vytvorit 5 cm velku jemne vyrezevanu sosku :))) Odpovedať Známka: 6.9 Hodnotiť:

asdff Od: chuj | Pridané: 5.8.2014 13:40 je to sranda, ale musi to natacat len nejaky velmy lahky predmet, ako je ten kvet alebo sacik chipsov, pochybujem zeby to ziskali keby nahrali skrynu alebo podlahu alebo betonovu kocku :-D Odpovedať Známka: 6.7 Hodnotiť:

Re: asdff Od: Orfeľ | Pridané: 5.8.2014 14:29 Ty si sam ryadna skryna Odpovedať Známka: 9.2 Hodnotiť:

Re: asdff Od: chuj | Pridané: 5.8.2014 15:01 cely ty http://dopice.sk/a8i Odpovedať Známka: 5.6 Hodnotiť:

Re: asdff Od: trtwert | Pridané: 5.8.2014 15:37 "skryna" od "skryvat" Odpovedať Známka: 8.8 Hodnotiť:

riesenie Od: pusy | Pridané: 5.8.2014 13:44 zeby vibrator ako rusicka, pojde nadracku Odpovedať Známka: 10.0 Hodnotiť:

massmedialna potravinovy retazec Od: uchozucho | Pridané: 5.8.2014 13:48 a zajtra budu plne noviny toho ze seizmografy sa montuju nie na mitorovanie zemetrasenia ale na odpocuvanie spiklenci konspiracnych technologii cintesa Odpovedať Známka: 8.5 Hodnotiť:

Re: massmedialna potravinovy retazec Od: chuj | Pridané: 5.8.2014 15:02 aj WTC zhodili teroristi (arabi) ze, ty nekonspiracny teoretik ... ovecka Odpovedať Známka: -1.4 Hodnotiť:

Re: massmedialna potravinovy retazec Od: 23423432 | Pridané: 5.8.2014 15:15 ako ja verim tomu ze tam napalili teroristi ale verim aj tomu ze tomu dopomohli domaci pracovnici. Odpovedať Známka: -2.5 Hodnotiť:

Re: massmedialna potravinovy retazec Od: chuj | Pridané: 5.8.2014 23:22 samozejme ved to sme videli vsetci, live show, Lenze kto sai stisol tlacidlo pre riadedu demoliciu ? Odpovedať Známka: 0.0 Hodnotiť:

Re: massmedialna potravinovy retazec Od: tymasochistadusevny | Pridané: 5.8.2014 15:26 nie mimozemska koza si prdla a tak wtc dopadlo ty konspiracna atrapa submisivnej negacie Odpovedať Známka: 6.7 Hodnotiť:

hmmm. Od: hmm. | Pridané: 5.8.2014 14:32 "Vibrácie spôsobované zvukom sú veľmi malé a aj pri veľkom priblížení pri dnešných rozlíšeniach sa predmety pri týchto vibráciách hýbu o maximálne päť tisícin pixelu. Tieto vibrácie nie sú tak priamo viditeľne na videu zachytené, je ich ale možné detekovať na hranách dvoch plôch s rozličnou farbou." Som zvedavy ako potom odchytili zvuk z pohybu hladiny vody v pohari, asi tam mali pomarancovy dzus, cista voda je bezfarebna takze by to skreslovalo. :) Odpovedať Známka: -8.3 Hodnotiť:

Re: hmmm. Od: fg sdfgdfg | Pridané: 5.8.2014 15:41 dalsi lumen zo skolky, klobuk dolu Odpovedať Známka: 8.3 Hodnotiť:

Re: hmmm. Od: hmm. | Pridané: 5.8.2014 18:50 Hlavne že ty si najchytrejší z detí s Downovym syndrómom. Odpovedať Známka: -7.8 Hodnotiť:

Re: hmmm. Od: heeeeh | Pridané: 5.8.2014 17:34 A ja nie som zvedavy Odpovedať Známka: 5.0 Hodnotiť:

davam do pozornosti na hate debatu:) Od: SirChristian | Pridané: 5.8.2014 16:21 http://dopice.sk/a8m Odpovedať Známka: 10.0 Hodnotiť:

Re: davam do pozornosti na hate debatu:) Od: stoneage | Pridané: 5.8.2014 16:44 aku znamku dostal autor za tuto uvahu? Odpovedať Hodnotiť:

ŠTBák Od: mucha12 | Pridané: 5.8.2014 19:23 Nech odpočúva v pokoji . amen. Odpovedať Známka: 10.0 Hodnotiť:

Re: ŠTBák Od reg.: ujo horar | Pridané: 5.8.2014 20:19 armen Odpovedať Známka: 10.0 Hodnotiť:

nadpis Od: axzet | Pridané: 5.8.2014 21:27 po precitani titulky mi prve napadlo,ze inak sa neda odpocuvat,iba len z predmetov bez zvuku. Odpovedať Známka: 10.0 Hodnotiť:

Re: nadpis Od: čitateľ | Pridané: 6.8.2014 8:24 Čo je titulka? myslíš nadpis, názov? Môžete si podať ruky.. mne sa pri prečítaní nadpisu zatmelo v mysli :) niečo také človek len tak nenájde.. video predmetov, to je pojem hodný patentu Odpovedať Hodnotiť:

Favicon Od: TradeMark | Pridané: 5.8.2014 22:59 Ja viem, ze je to trosku offtopic ale nechcete si uz fakt implementovat favicon? Odpovedať Známka: 10.0 Hodnotiť:

Re: Favicon Od reg.: Lukáš Raynor Majer | Pridané: 5.8.2014 23:44 Momentálne nie, pracuje sa na update.dsl.sk a cely tím je zaneprázdnený Odpovedať Známka: 10.0 Hodnotiť:

Re: Favicon Od: F xuxxyxyxy | Pridané: 9.8.2014 3:08 Ale chlopy no, predsa keby tu bol favicon keby update dsl fungoval... To jak keby janku hospodarovu a tlacenie cez wifi vo velkom kancli zakazali... To by u z nebolo ono :-D Odpovedať Hodnotiť:

konecne Od: trololo | Pridané: 6.8.2014 22:21 konecne uz nebudem musiet odpocuvat cez mikrofon ale jednoducho cez 6000fps kameru Odpovedať Známka: 10.0 Hodnotiť:

Hhhyy Od: Uududu | Pridané: 9.8.2014 3:04 Dsl opat nesklamalo, posielam do redakcie kvety za nadpis Odpovedať Hodnotiť:

Pridať komentár