neprihlásený Utorok, 2. marca 2021, dnes má meniny Anežka
Odpočúvať je možné len z videa predmetov bez zvuku, vďaka vibráciám

Značky: veda a výskumzaujímavosti

DSL.sk, 5.8.2014


Výskumný tím z Massachusettského technologického inštitútu, MIT, a spoločností Microsoft a Adobe v pondelok prezentoval inovatívnu a pozoruhodnú technológiu odpočúvania zvuku s prekvapivo kvalitnými výsledkami, ktorá mení verejne známy stav technológií odpočúvania a ochrany proti odpočúvaniu.

Tím totiž dokáže rekonštruovať zvuk len analýzou nahratého videa zachytávajúceho bez zvuku predmet v blízkosti zdroja zvuku.

Analýza funguje na princípe detekcie mikroskopických vibrácií predmetov spôsobovaných zvukovými vlnami, výskumníci prezentovali rekonštrukciu zvuku z nahratého videa izbovej rastliny, balíka čipsov, hladiny vody v pohári.

Pre kvalitnejšiu rekonštrukciu je potrebné video so snímkovou frekvenciou aspoň na úrovni frekvencie rekonštruovaných zvukov, vedci preto používali video z kamier schopných natáčať videá s 2000 až 6000 snímkami za sekundu.

Vibrácie spôsobované zvukom sú veľmi malé a aj pri veľkom priblížení pri dnešných rozlíšeniach sa predmety pri týchto vibráciách hýbu o maximálne päť tisícin pixelu. Tieto vibrácie nie sú tak priamo viditeľne na videu zachytené, je ich ale možné detekovať na hranách dvoch plôch s rozličnou farbou.

Pixel zachytávajúci takúto hranu totiž zachytáva farbu zmiešanú z farieb oboch plôch. Aj pri posune o tisíciny pixelu sa zmení pomer miešaných farieb a mierne sa tým zmení aj výsledná farba zachytávaná pixelom, pričom analýzou týchto zmien v celom obraze je možné detekovať vibráciu spôsobenú zvukom s dostatočnou presnosťou.


Ukážka výsledkov technológie odpočúvania analýzou videa (video: MIT)



Modifikovaná technika umožňuje zvuk rekonštruovať aj z videa nahratého pomocou väčšiny klasických kvalitnejších kamier a zrkadloviek, tím prezentuje ukážku rekonštrukcie zo 60 fps videa nahratého zrkadlovkou. V tomto prípade informácie s vyššou frekvenciou poskytuje typický spôsob fungovania senzorov, ktoré získavajú informácie z jednotlivých riadkov pixelov postupne a s časovým posunom. Analyzovanými informáciami v tomto prípade nie je zmena farby toho istého pixelu ale subpixelový posun rozličných pixelov jednotlivých hrán.

Tím demonštruje rekonštrukciu zvuku pozostávajúceho z jednoduchých čistých tónov aj rekonštrukciu reči a spievania, v jednej ukážke demonštruje rekonštruovanú reč z nahratého videa vysokofrekvenčnou kamerou zo vzdialenosti cca 4.5 metra spoza zvukotesného skla. Prirodzenou aplikáciou výskumu je vývoj technológie pre odpočúvanie podozrivých orgánmi činnými v trestnom konaní, či má technológia napríklad v kombinácii s filtrovaním rekonštruovaného zvuku už dostatočné parametre pre reálne nasadenie alebo aké zlepšenia bude vyžadovať napríklad pre schopnosť odpočúvať na vzdialenosť desiatok metrov výskumníci neinformujú.

Ďalšou aplikáciou má byť technológia ktorá naopak dokáže pri známom zvuku z videa zistiť mechanicko-materiálové parametre predmetov.

Informácie o projekte a ďalšie ukážky rekonštruovaného zvuku je možné nájsť na stránke výskumného projektu.


      Zdieľaj na Twitteri



Najnovšie články:

Zverejnené údajné parametre nových Intel procesorov
Ceny Golden Globe ovládol Netflix
Ďalší iPhone má mať 1 TB flash pamäte
Satelitné TV vysielanie je v týchto dňoch rušené Slnkom
Ďalšie Starlink satelity má SpaceX vyniesť v noci na pondelok
Helikoptéra na Marse beží na Linuxe
NASA zverejnila detailnú panorámu okolia Perseverance na Marse
Google použil svoj podmorský kábel na detekciu zemetrasení
Posledná verzia Windows 10 dosiahla 20%
Ohlásená prvá SD Express karta


Diskusia:
                               
 

tesim sa na ozvuceneho Charlieho Chaplina :D
Odpovedať Známka: 9.5 Hodnotiť:
 

Super napad, paci sa mi tvoj pristup :)
Odpovedať Známka: 9.7 Hodnotiť:
 

az na to ze čarliho natacali tak 18 fps a na toto potrebujes 2000-6000 fps
Odpovedať Známka: 2.4 Hodnotiť:
 

aj tvoj pristup sa mi paci :)
Odpovedať Známka: 9.6 Hodnotiť:
 

No tak si ho pustia rychlejsie. ;-)

Ale napad s Charliem a inymi klasikmi nemeho filmu je dobry, mas naozaj super napad.

Odpovedať Známka: 8.9 Hodnotiť:
 

Paci sa mi tvoj pristup. To by mohlo fungovat.
Odpovedať Známka: -5.0 Hodnotiť:
 

a navyse to je ciernobiele, tie pixle musia byt farebne odlisene, odtiene ciernej sa tazko spracuju
Odpovedať Známka: -4.8 Hodnotiť:
 

Bolo by to super, ale asi treba veľmi kvalitné video :D
Odpovedať Známka: 10.0 Hodnotiť:
 

Neteš sa, toho točili na film, kde sa všetky "pixely" snímajú naraz, aj to len nejakých max. 24 FPS. Možno nejaké 10 Hz zvuky by z toho vytiahli, takže budeš vedieť len kedy niekto prdol :)
Odpovedať Známka: -0.6 Hodnotiť:
 

To nevadí, aspoň sa svet konečne dozvie ako prdí Charlie Chaplin :D
Odpovedať Známka: 10.0 Hodnotiť:
 

asi ta sklamem, ale Chaplina zaznamenávali cez "rolling shutter", takze je mozne aplikovat techniku ako pri dnesnych CMOS snimacoch, avsak iba v zaberoch so statickou kamerou ;) ...
Odpovedať Známka: 10.0 Hodnotiť:
 

pan za vyzna
Odpovedať Známka: 6.7 Hodnotiť:
 

amateri, Horatio Caine to dokaze aj z fotky
Odpovedať Známka: 10.0 Hodnotiť:
 

ten ti zisti aj farbu slipov z fotky v pase :-)
Odpovedať Známka: 10.0 Hodnotiť:
 

čiernobielej
Odpovedať Známka: 10.0 Hodnotiť:
 

Pokial ide o ciernobiely obraz, ak vies aka bola povodna farba, mozes pouzit ciernobiely odtien na urcenie odtiena povodnej farby a nasledne tak nahradit ciernobielu farbu daneho povrchu povodnou farbou, je to trosku komplikovanejsie nez to znie ale zhruba takto je mozne nafarbit ciernobielu fotografiu, za predpokladu ze poznas povodne farby.
Odpovedať Známka: 5.6 Hodnotiť:
 

nemozes, odtien sedej sa vypocitava rovnicou x*hodnota cervenej + y*hodnota modrej + z * hodnota zelenej
x+y+z = 1, vsetky tri nezaporne, presne hodnoty ti povie wiki
Odpovedať Známka: 7.8 Hodnotiť:
 

Počítač pozná len 256 odtieňov šedej, to je 8 bitov.
Poznáme však 24 bitové farby v počítadle + 8 bitov pre priehľadnosť, aby to robilo dátové slovo 32 bitov.
Oko rozozná možno ak 444 odtieňov šedej.
Takže z čiernobieleho obrazu nie je možné zostaviť reálny pôvodný farebný obraz. Nie je tam o tom prakticky žiadna informácia...

Odpovedať Známka: 1.4 Hodnotiť:
 

A co ked dotycny v skutocnosti nosi trencle?
Odpovedať Známka: 7.5 Hodnotiť:
 

To je alias Norrisa?
Odpovedať Známka: 1.4 Hodnotiť:
 

nie. horatio to dokaze len vo filme. Chuck Norris naozaj. :-)
Odpovedať Známka: 9.0 Hodnotiť:
 

Chuck Norris zo zvuku spraví video
Odpovedať Známka: 10.0 Hodnotiť:
 

To vedel uz aj Winamp s pomocou efektov. :P
Odpovedať Známka: 10.0 Hodnotiť:
 

nie je mi jasne ako sa da dostat ten zvuk zo 60Hz videa
Odpovedať Známka: 7.8 Hodnotiť:
 

kamera nezachytava 60x za sekundu staticky obrazok, ale ide povedzme zhora nadol po riadkoch. tzn pri 1080p x 60hz kamera zachyti 64800 riadkov pixelov. meranie posunu potom prebieha v tom mieste, kde sa obrazok obnovil. aspon tak to ja chapem :D

skor by ma zaujimalo, ako si poradili so zvukmi v okoli tej kamery.
Odpovedať Známka: 10.0 Hodnotiť:
 

Kamera na film zaznamenáva po celých snímkach, políčkach, obraz naraz. Snímač po riadkoch ako vysvetľuje kolega vyššie. CRT obrazovka tak zasa zobrazuje obraz. Princíp je rovnaký. Riadok po riadku.
Odpovedať Známka: 10.0 Hodnotiť:
 

este by nezaskodilo sa dohodnut, ci sa jedna o nekomprimovane video alebo najake komprimovane, kde su zapisovane len zmeny a "niekolko" obrazakov je uplne ze rovnakych, a "cely novy" obrazok je len kazdy xty... z toho zistia tak bacov falus.
Odpovedať Známka: 10.0 Hodnotiť:
 

Tak ze to video ma sice 60 stranok za sekundu, ale jednotlivy obrazok sa nahrava urcity cas postupne po riadkoch a oni prave analyzuju rozdiel medzi dvomi riadkami ...
Kazdopadne klobuk dole, necakal by som take vysledky.
Odpovedať Známka: 7.1 Hodnotiť:
 

Zaujimave zrekonstruovat zvuk do 300 Hz zo 60 Hz videa, alebo posun o 1/1000 pixelu :)

Tiez vlnovou dlzkou okolo 100 nm (pri litografii a vyrobe cipov) sa dnes tvoria 20 nm struktury.

Najstroj je vacsi ako vysledna struktura/vysledok. To je ako 3 kilovym velkym rylom opracovat a vytvorit 5 cm velku jemne vyrezevanu sosku :)))
Odpovedať Známka: 6.9 Hodnotiť:
 

je to sranda, ale musi to natacat len nejaky velmy lahky predmet, ako je ten kvet alebo sacik chipsov, pochybujem zeby to ziskali keby nahrali skrynu alebo podlahu alebo betonovu kocku :-D
Odpovedať Známka: 6.7 Hodnotiť:
 

Ty si sam ryadna skryna
Odpovedať Známka: 9.2 Hodnotiť:
 

cely ty http://dopice.sk/a8i
Odpovedať Známka: 5.6 Hodnotiť:
 

"skryna" od "skryvat"
Odpovedať Známka: 8.8 Hodnotiť:
 

zeby vibrator ako rusicka, pojde nadracku
Odpovedať Známka: 10.0 Hodnotiť:
 

a zajtra budu plne noviny toho ze seizmografy sa montuju nie na mitorovanie zemetrasenia ale na odpocuvanie
spiklenci konspiracnych technologii cintesa
Odpovedať Známka: 8.5 Hodnotiť:
 

aj WTC zhodili teroristi (arabi) ze, ty nekonspiracny teoretik ... ovecka
Odpovedať Známka: -1.4 Hodnotiť:
 

ako ja verim tomu ze tam napalili teroristi ale verim aj tomu ze tomu dopomohli domaci pracovnici.
Odpovedať Známka: -2.5 Hodnotiť:
 

samozejme ved to sme videli vsetci, live show, Lenze kto sai stisol tlacidlo pre riadedu demoliciu ?
Odpovedať Známka: 0.0 Hodnotiť:
 

nie mimozemska koza si prdla a tak wtc dopadlo ty konspiracna atrapa submisivnej negacie

Odpovedať Známka: 6.7 Hodnotiť:
 

"Vibrácie spôsobované zvukom sú veľmi malé a aj pri veľkom priblížení pri dnešných rozlíšeniach sa predmety pri týchto vibráciách hýbu o maximálne päť tisícin pixelu. Tieto vibrácie nie sú tak priamo viditeľne na videu zachytené, je ich ale možné detekovať na hranách dvoch plôch s rozličnou farbou."

Som zvedavy ako potom odchytili zvuk z pohybu hladiny vody v pohari, asi tam mali pomarancovy dzus, cista voda je bezfarebna takze by to skreslovalo. :)
Odpovedať Známka: -8.3 Hodnotiť:
 

dalsi lumen zo skolky, klobuk dolu
Odpovedať Známka: 8.3 Hodnotiť:
 

Hlavne že ty si najchytrejší z detí s Downovym syndrómom.
Odpovedať Známka: -7.8 Hodnotiť:
 

A ja nie som zvedavy
Odpovedať Známka: 5.0 Hodnotiť:
 

http://dopice.sk/a8m
Odpovedať Známka: 10.0 Hodnotiť:
 

aku znamku dostal autor za tuto uvahu?
Odpovedať Hodnotiť:
 

Nech odpočúva v pokoji .
amen.

Odpovedať Známka: 10.0 Hodnotiť:
 

armen
Odpovedať Známka: 10.0 Hodnotiť:
 

po precitani titulky mi prve napadlo,ze inak sa neda odpocuvat,iba len z predmetov bez zvuku.
Odpovedať Známka: 10.0 Hodnotiť:
 

Čo je titulka? myslíš nadpis, názov?
Môžete si podať ruky.. mne sa pri prečítaní nadpisu zatmelo v mysli :) niečo také človek len tak nenájde..

video predmetov, to je pojem hodný patentu
Odpovedať Hodnotiť:
 

Ja viem, ze je to trosku offtopic ale nechcete si uz fakt implementovat favicon?
Odpovedať Známka: 10.0 Hodnotiť:
 

Momentálne nie, pracuje sa na update.dsl.sk a cely tím je zaneprázdnený
Odpovedať Známka: 10.0 Hodnotiť:
 

Ale chlopy no, predsa keby tu bol favicon keby update dsl fungoval... To jak keby janku hospodarovu a tlacenie cez wifi vo velkom kancli zakazali... To by u z nebolo ono :-D
Odpovedať Hodnotiť:
 

konecne uz nebudem musiet odpocuvat cez mikrofon ale jednoducho cez 6000fps kameru
Odpovedať Známka: 10.0 Hodnotiť:
 

Dsl opat nesklamalo, posielam do redakcie kvety za nadpis
Odpovedať Hodnotiť:

Pridať komentár