Ministerstvo prikleplo Slovanetu 2 milióny na vývoj antispamu 3 dni pred voľbami

DSL.sk, 27.2.2012

Ministerstvo školstva Slovenskej republiky rozhodlo o financovaní výskumného projektu spoločnosti Slovanet s hlavným cieľom návrhu nového protispamového algoritmu rozhodnutím z 9. júna 2010, teda tri dni pred voľbami do NR SR v roku 2010.

Vyplýva to z materiálu zverejneného ministerstvom.

Zmluvu stihlo ministerstvo, na čele ktorého stál v minulom volebnom období Jan Mikolaj zo SNS, uzatvoriť už nasledujúci deň 10. júna 2010, teda dva dni pred voľbami.

Ministerstvo plánuje dať na výskum Slovanetu celkom 1.98 milióna eur, doteraz mu malo podľa uzatvorených zmlúv poskytnúť už 1.1 milióna eur.

Zatiaľ prezentovanými výsledkami sú dve štúdie zhŕňajúce bežné poznatky o spame a protispamových riešeniach, ktoré zahŕňajú aj test účinnosti niekoľkých existujúcich protispamových riešení, štúdia z hlavnej fázy výskumu, ktorá navrhuje nový algoritmus na detekovanie spamu, a jej skrátená anglická verzia s dodatkom obsahujúcim popis testovacej implementácie v jazyku R.

Ako sme detailnejšie popisovali v tomto článku, hlavná časť výskumu priniesla zatiaľ len otázne výsledky. Autori totiž ako spracovávané signály testovaných emailov konkrétne navrhli a odskúšali len dva triviálne tzv. kvantitatívne profily, celkovú početnosť jednotlivých znakov v texte emailu a vektor dĺžok jednotlivých riadkov emailu.

V teste na relevantnom privátnom korpuse aj so slovenskými a českými emailami dosiahli testované triviálne profily horšie výsledky ako voľne dostupné nástroje SpamAssassin a Bogofilter, navyše zrejme neoptimalizovaný na slovenské a české texty s ohýbaním slov, a rádovo horšie výsledky ako komerčný FortiMail testovaný na podobnom korpuse.

Lepšie výsledky dosiahli testované profily na starších prevažne anglických korpusoch TREC07 a CEAS08, u ktorých bol ale zistený vážny problém.

V súvislosti s ním je tiež otázne, či v prípade slovenskej štúdie určenej pre slovenskú verejnosť financujúcu výskum boli dodržané všetky zásady zodpovedného vedeckého prístupu. Autori v slovenskej verzii totiž zamlčali dôležité zistenie o dôvodoch relatívne dobrých výsledkov, v porovnaní s Bogofilter a SpamAssassin, nimi testovaných profilov v prípade korpusov TREC07 a CEAS08.

V anglickej verzii vytvorenej časovo pred slovenskou, ktorú autori prezentovali aj vedeckej komunite, zistili a uviedli, že korpusy TREC07 a CEAS08 obsahujú spam odlíšiteľný dostatočne dobre už počtom riadkov v hlavičke emailu, ktoré mal spam štatisticky významne kratšiu. Ak nasadili svoje algoritmy iba na telo správ, tu dosahovali už o rád až dva rády horšie výsledky ako Bogofilter testovaný na celých emailoch. Bogofilter iba na telách správ netestovali.

Takýto ľahko odlíšiteľný spam nie je možné považovať v súčasnosti za kvalitný a odosielatelia spamu samozrejme nemajú problém simulovať plnohodnotné hlavičky neodlíšitelné parametrami ako počet riadkov a veľkosť od legitímnych emailov. Autori štúdie preto označili tieto korpusy za zavádzajúce. "Korpusy tak viedli k príliš optimistickým výsledkom spamových filtrov," konštatujú.

Nie je vylúčené, že výskum alebo aspoň zvolený spôsob prístupu môžu niekedy priniesť zaujímavé inovácie, výskum po skončení svojej hlavnej časti návrhu algoritmu zrejme ale nie je vo fáze, kedy by reálne použiteľné výsledky mala priniesť už len implementácia a otestovanie doteraz navrhnutého algoritmu.

Zatiaľ tiež nie je jasné, či Slovanet pri žiadosti o poskytnutie financovania už navrhoval konkrétny perspektívny smer vývoja protispamových filtrov alebo žiadal o dotáciu skrátka len na vývoj lepšieho protispamového filtru.

Nie je tiež jasné ako presne a s akým členením boli poskytnuté prostriedky vynaložené. Napríklad na rok 2011 počítal Slovanet podľa zmluvy s ministerstvom s 327.6 tisíc eurami na platy a ďalšími 115 tisíc eurami na odvody pre 19 výskumníkov a členov technického personálu, pod rozličnými doteraz zverejnenými výstupmi je podpísaných spolu päť ľudí a jednému ďalšiemu autori štúdií ďakovali za konzultácie a podporu.


Najnovšie články:



Diskusia:

MôjTitulok Od: MojeMeno | Pridané: 27.2.2012 9:22 MôjText ... zarobili si chlapci a je im dobre Odpovedať Známka: 8.5 Hodnotiť:

ryza je to Od reg.: mmxx_ | Pridané: 27.2.2012 9:30 TO je neprijemne ked sa v tom niekto vrta. Spravili by lepsie, keby radsej nic neprezentovali a potichu tie peniaze uliali na fiktivne konzultacie. Odpovedať Známka: 7.9 Hodnotiť:

Re: ryza je to Od: pal do pi | Pridané: 27.2.2012 10:00 Možno to niekto nebude chápať, ale tento projekt je čistý. Minimálne v tej miere ako všetky ostatné dotácie do poľnohospodárstva, školstva, zdravotníctva a rovnako čisté ako všetky granty v umeleckej a vedeckej sfére. Ono totiž všetky granty a dotácie sú nespravodlivé a niekoho poškodzujú a niekoho zvýhodňujú. Výsledky sa prezentovať musia, utajiť sa to nesmie a peniaze sa prelievať nemôžu nikam mimo projektu, takže spi pokojne. Odpovedať Známka: -2.0 Hodnotiť:

Re: ryza je to Od: ľuboš | Pridané: 27.2.2012 10:36 Povedz to takým školám, kde ešte dnes majú napr. suché WC..., ale aspoň vidno, ako ťažko museli "páni" makať pred voľbami.. Odpovedať Známka: 7.0 Hodnotiť:

Re: ryza je to Od: lamka1 | Pridané: 27.2.2012 10:44 Povedz to sudruhom na ministerstve, ktori prideluju peniaze... Odpovedať Známka: 6.7 Hodnotiť:

Re: ryza je to Od reg.: FreyR | Pridané: 27.2.2012 15:33 Skoly patria uz niekolko rokov pod obce a mesta, takze sa stazuj na prislusnom urade. Odpovedať Známka: -4.3 Hodnotiť:

Re: ryza je to Od: Jolan | Pridané: 27.2.2012 17:25 A obce si peniaze vyrábajú, že? Dostávajú to rovnako od štátu (resp. vlastne skôr nedostávajú) ako to bolo predtým. Len sa štát zbavil zodpovednosti... Keď školám chýbajú peniaze, proste povedia, že obec musí lepšie hospodáriť a majú pokoj... Odpovedať Známka: 6.7 Hodnotiť:

Re: ryza je to Od: pal do pic | Pridané: 27.2.2012 16:46 Mozno to bude tym, ze ludia sa nezaujimaju, kam idu ich peniaze, ktore sa vyberu na daniach. Namiesto toho, aby sa postavil napriklad novy kostol, alebo dom smutku, mohli tej skole spravit poriadny hajzel :) Odpovedať Známka: 3.3 Hodnotiť:

Re: ryza je to Od: poprask | Pridané: 27.2.2012 14:05 lahko sa prerozdeluje z nakradnutych penazi, na ktore ti makali slovensky otroci a ty ich teraz pekne zdanis. hlavne ze mas znameho v slovanete, ktory ta stedro odmeni, ked ho nechas vyhrat tender. aj o tom je demokracia. hlavne ze treba zvysovat dane, lebo podla statnej mafie ide do rozpoctu stale malo penazi, pritom uz teraz platime skoro 70%. Odpovedať Známka: 5.0 Hodnotiť:

fnuqqq Od: Miskooo | Pridané: 27.2.2012 9:44 Najvyšší čas to stopnúť a zachrániť aspoň tých 800 tis. Odpovedať Známka: 6.7 Hodnotiť:

Re: fnuqqq Od: cpt. obvious | Pridané: 27.2.2012 9:55 tych 800k ma uz davno niekto vo vrecku Odpovedať Známka: 7.9 Hodnotiť:

a co s tym? Od: ToSomJA123 | Pridané: 27.2.2012 9:53 treba dat vediet nejakemu dalsiemu mediu, nech sa o tom pise! vsak to im nemoze len tak prejst. Odpovedať Známka: 9.0 Hodnotiť:

to vazne? Od: vkr | Pridané: 27.2.2012 9:53 Rozumiem to dobre? horsie vysledky ako freeware (volne dostupne) riesenia a radovo horsie ako komercne riesenie??? Neuveritelneee... Odpovedať Známka: 8.3 Hodnotiť:

Re: to vazne? Od: dfeze | Pridané: 27.2.2012 17:23 a co si cakal??? Odpovedať Známka: 5.0 Hodnotiť:

Nič nové Od: Jaro-kk | Pridané: 27.2.2012 9:54 Co si myslíte že z čoho žijú firmy ako Slovanet, Swan a pod. ? Len z toho že zarábajú na takýchto "zákazkách"... Ťažko by sa inak uživili... Odpovedať Známka: -0.8 Hodnotiť:

Re: Nič nové Od: cpt. obvious | Pridané: 27.2.2012 9:58 mojko ty mas velmi detsky pohlad, taketo zakazky su nic oproti tomu ako ryzuju na sluzbach (ziadne speci zakazky) pre ine velke firmy. 3 rocna viazanost s navratnostou 4 mesiace a zvysok sa sype po desattisicoch mesacne a to len za jednu firmu Odpovedať Známka: 7.5 Hodnotiť:

Re: Nič nové Od: Jaro-kk | Pridané: 27.2.2012 10:22 Je mi jasné že toto nie je všetko, predražené služby hlavne pre firmy a štátne podniky nie sú zanedbateľné.. Odpovedať Známka: 3.3 Hodnotiť:

Re: Nič nové Od: ľuboš | Pridané: 27.2.2012 10:38 a preto pre štát nemôžu-nesmú robiť súkromné spoločnosti. najvyšší čas zaviesť definitívu pre št. úradníkov a korupcia by spadla aj o 90%. Odpovedať Známka: 0.0 Hodnotiť:

wtf??? Od: hehehe | Pridané: 27.2.2012 10:41 ...na rok 2011 počítal Slovanet podľa zmluvy s ministerstvom s 327.6 tisíc eurami na platy a ďalšími 115 tisíc eurami na odvody pre 19 výskumníkov a členov technického personálu... cize ked si to zratam, tak mi vychadza nasledovne: 327,6k + 115k = 442,6k 442,6k / 12 ~= 36,9k mesacne 36,9k / 19 ~= 1941eur mesacne na osobu neviem, ale mam taky blby pocit, ze by to chcelo kontrolu zo strany socialnej poistovne, nech sa ukazu realne vyplatene mzdy a odvody Odpovedať Známka: 6.5 Hodnotiť:

Pošli kvety Od: reg. vietor | Pridané: 27.2.2012 10:55 Sudit z vlastizrady. Odpovedať Známka: 5.4 Hodnotiť:

Rád si pozriem výsledok za tých mojich 40 centov. Od: ivan+ | Pridané: 27.2.2012 11:08 Odpovedať Známka: 6.7 Hodnotiť:

uzasne Od: mareksn | Pridané: 27.2.2012 12:35 je zjavne ze v nasej spolocnosti nehrozi nejaky moralny posun zo strany vladnych a parlamentnych cinitelov. Tento cin sa slovami ani opisat neda . V Japonsku vyvijaju opticke pamate a u nas v roku 2012 sa vyvija spamovy filter .... Inac chcel by som vediet ako danovy poplatnik , aky ten produkt vo svojej finalnej podobe bude za tych 2M. A hlavne aky uzitok prinesie. Odpovedať Známka: 6.9 Hodnotiť:

Re: uzasne Od reg.: ccccc | Pridané: 27.2.2012 13:03 tu mas produkt vo svojej finalnej podobe, dizajn, gui aj funkcnost ostane rovnaka http://goo.gl/ea7VZ Odpovedať Známka: 6.9 Hodnotiť:

Re: uzasne Od: mareksn | Pridané: 27.2.2012 13:41 fakt vyzera super to graphical user interface Odpovedať Známka: 6.7 Hodnotiť:

Re: uzasne Od: SlovaNetista | Pridané: 27.2.2012 16:40 No neviem... mňa skôr trápi, že sa kvôli debilnému spam filtru v gmaily nedozviem, kde je najlacnejšia viagra, než to či má moja optika nejakú pamäť alebo čo... Preto mne sa toto celkom pozdáva a dúfam, že Slovanet prinesie poriadny filter, ktorý mi prepustí veci, ktoré ma zaujímajú(najlacnejšia viagra, ako si zväčšiť penis,...) a zablokuje iné zbytočnosti! Odpovedať Známka: 8.2 Hodnotiť:

Re: uzasne Od reg.: Propediotika | Pridané: 27.2.2012 22:59 Myslim si, ze o to sa bat nemusis. Odpovedať Známka: 3.3 Hodnotiť:

no kur*a Od: fljgdljglkfgldjlkgd | Pridané: 27.2.2012 13:25 robil som ako technik/domove a firemne instalacie/ pre slovanet za jebnutych 400 euro mesacne a pani si takto nadžgali vačky no do prdele, BANANOVA REPUBLIKA Odpovedať Známka: 2.0 Hodnotiť:

tunel Od: MartinH | Pridané: 27.2.2012 13:27 Riadny tunel, gratulujem! Odpovedať Známka: 5.0 Hodnotiť:

titulok Od: presto2211 | Pridané: 27.2.2012 16:04 Mali vypnúť net a nemuseli vyhadzovať prachy. Odpovedať Známka: 0.0 Hodnotiť:

HNUS! Od: Vlado_12 | Pridané: 27.2.2012 19:26 ja uz neviem co ine k tomu napisat. Ale dobre nam tak, rozhodla o tom vlada, ktoru sme si demokraticky zvolili. Skonci to tak ako to uz bolo uz velakrat prezentovane "KTO BUDE POSLEDNY OPUSTAT REPUBLIKU, NECH ZHASNE ..." Odpovedať Známka: 3.3 Hodnotiť:

Re: HNUS! Od: Share-all-shake | Pridané: 27.2.2012 19:37 Vidíme sa v Kazachstane... Zatiaľ ahoj! Odpovedať Známka: 6.0 Hodnotiť:

zodpovedny Od: Skrecok | Pridané: 27.2.2012 23:10 Takze schvalilo to ministerstvo skolstva http://www.minedu.sk/index.php?lang=sk&rootId=6522 Zodpovedny: Jurzyca a Ivanco obaja SDKU Ja to fakt nechapem ta strana ide do pice uz 2 mesiace za tu ich korupciu a oni priklepnu 2 mega len tak...zjavne to pre nich nie su ziadne velke peniaze inac by radsej nic nepodpisali. Aha vlastne vsak to zaplatime my. Odpovedať Známka: -6.0 Hodnotiť:

Re: zodpovedny Od: sansver | Pridané: 28.2.2012 0:36 Vidis len to zle. Pozri si ine oblasti , kde sa SDKU v IT oblasti nieco vynimocne podarilo. Napriklad novy kvalitny software na danovom urade. Aha. Tak nic sry. Odpovedať Známka: 8.0 Hodnotiť:

Re: zodpovedny Od: fikovnik | Pridané: 28.2.2012 1:37 hej ficovoliči, článok ste čítali? "Zmluvu stihlo ministerstvo, na čele ktorého stál v minulom volebnom období Jan Mikolaj zo SNS, uzatvoriť už nasledujúci deň 10. júna 2010, teda dva dni pred voľbami." Odpovedať Známka: 7.5 Hodnotiť:

Re: zodpovedny Od reg.: uname -a | Pridané: 28.2.2012 3:57 Zlaty moj, pochop ze je uplne jedno v akej si strane, bud budes kradnut s nami a nechas kradnut nas,alebo ta odvolame, podhodime mienkotvornym mediam a ak nebude stacit posleme Prca s Bananom, a daju ti nazrat, s pozdravom, Tvoja hlava Rodiny Odpovedať Známka: 7.8 Hodnotiť:

Re: zodpovedny Od: darth vader | Pridané: 28.2.2012 19:07 nauc sa citat ty retard Odpovedať Hodnotiť:

No jo.. Od: VladoPortos | Pridané: 28.2.2012 10:44 nic nove na Slovesnku, jednak gratulujem ze im to preslo ( a nerobte si moc iluzie bo za tyzden si to uz nikto z Slovakov pamatat nebude ) SpamFilter je naozaj dolezita vec to sme tu vsetci potrebovali a cakali na to jak na spasenie ( by ma zaujimalo jak to aplikuju do gmail ked som im na to prispel ) Ale zas co by aplikovali, ked je to horsie ako opensource :-/ No nic idem sa aj ja poohliadnut po nejakom grande na vyskum rychlosti porno stranok na SVK intenete... V>. Odpovedať Známka: 7.1 Hodnotiť:

condornet Od reg.: Spiro | Pridané: 28.2.2012 11:54 Mne sa ISP nedovolí napojiť na SMTP priamo, musím cez ich zasrané loginy, vraj pre kontrolu spamu. Ani 2 melka im netreba, spiny i jední i druhí Odpovedať Hodnotiť:

Pridať komentár