Nový softvér má blokovať hlúpe komentáre v diskusiách

DSL.sk, 8.11.2007

Zaujímavý open-source softvér s názvom StupidFilter pripravuje na ešte tohtoročné uvedenie dvojica programátorov Gabriel Ortiz a Paul Starr.

Úlohou softvéru bude spoľahlivo detekovať komentáre pridávané do internetových diskusií, ktoré je objektívne možné označiť za hlúpe, a efektívne im pri použití na webových serveroch zabraňovať.

Zverejnené informácie zatiaľ naznačujú, že kontext textu, ku ktorému je napríklad u článkov daná diskusia vedená, nebude braný do úvahy a komentáre mimo kontextu článku tak detekované nebudú.

Softvér využíva ako základ pre detekciu hlúpych komentárov techniku štatistických bayesiánskych filtrov, ktoré sú úspešne používané na detekciu rozličných typov textov a masovo začali byť používané ako efektívny nástroj proti spamu.

Štatistickú analýzu natrénovanú na veľkej vzorke komentárov z YouTube budú dopĺňať pevné pravidlá, ktoré budú vplývať na celkové skóre klasifikácie komentára za hlúpy od jedna do päť.

Podľa vyjadrení autorov na stránkach projektu je vážnym problémom zatiaľ kategória ironických komentárov, ktoré majú štatistické filtre problém odlišovať od hlúpych. V prvej zverejnenej verzii by mal byť tento problém odstránený a softvér by mal vedieť rozlíšiť, samozrejme do objektívne posúditeľnej miery, či je komentár hlúpy alebo len ironický.

Prvá verzia softvéru bude k dispozícii v decembri, pevné pravidlá budú k dispozícii len pre anglický jazyk. Zatiaľ nie je známe, či bude softvér možné s dostatočnou efektivitou a nízkou mierou nesprávnych pozitívnych identifikácií natrénovať na iný jazyk komentárov ako anglický.

Hoci sa nedá predpokladať, že softvér bude v detekcii hlúpych komentárov stopercentný, ak bude dostatočne úspešný, v kombinácii s inými metódami by mohol prispieť k zníženiu miery takéhoto typu komentárov.

Množstvo hlúpych a neprimeraných komentárov je vážnym problémom mnohých populárnych stránok, najmä v prípadoch, že sú pridávané úmyselne. Nezriedka sú takéto komentáre aj prostriedkom konkurenčného boja. Viac informácií o pripravovanom softvéri je možné nájsť na jeho stránke.


Najnovšie články:



Diskusia:

m.es Od: m.es | Pridané: 8.11.2007 11:45 dufam,ze to date na dsl.sk Odpovedať Hodnotiť:

froggie Od: froggie | Pridané: 8.11.2007 11:47 co je to dsl.sk? Odpovedať Hodnotiť:

Noo Od: Noo | Pridané: 8.11.2007 20:38 tu je to viac ako potrebne!) problem bude len so slovenskou lokalizaciou, resp. dobou kym sa k nam dostane... Odpovedať Hodnotiť:

emor Od: emor | Pridané: 9.11.2007 7:44 vyhrnies rukavy a ked sa do tej lokalizacie pustis bude to cobydup:-P Odpovedať Hodnotiť:

trish Od: trish | Pridané: 8.11.2007 12:17 tu by to odfiltrovalo 90% komentarov Odpovedať Hodnotiť:

mmm Od: mmm | Pridané: 8.11.2007 13:12 tento by bol prvy Odpovedať Hodnotiť:

rad Od: rad | Pridané: 8.11.2007 15:13 no mozno aj viac ako 90 % :D Odpovedať Hodnotiť:

Wigo Od: Wigo | Pridané: 9.11.2007 12:22 No len to by odbúralo asi 80% mojích úsmevov v práci :DD Odpovedať Hodnotiť:

Bozz Od: Bozz | Pridané: 9.11.2007 19:57 Opatrne , keď ťa nachytá šéf , dá ti facku Odpovedať Hodnotiť:

Odee Od: Odee | Pridané: 8.11.2007 12:59 boli ma zub :) Odpovedať Hodnotiť:

rsx Od: rsx | Pridané: 8.11.2007 14:48 vela komentarov by tu neostalo Odpovedať Hodnotiť:

mirec10 Od: mirec10 | Pridané: 9.11.2007 11:20 dsl.sk je takmer idealny na otestovanie toho filtra :D Odpovedať Hodnotiť:

Stiff Od: Stiff | Pridané: 12.11.2007 17:39 Ale v takom pripade by sa 9/10 ludi co sem pisu mohli ist realizovat akurat tak na pokec a ine "inteligentne" servery. Odpovedať Hodnotiť:

RuLEEZZZZ!!!! Od: RuLEEZZZZ!!!! | Pridané: 8.11.2007 11:50 ...blocked by StupidFilter... Odpovedať Hodnotiť:

Matko Od: Matko | Pridané: 8.11.2007 11:52 To by sa tu hodilo. Odpovedať Hodnotiť:

Karol Od: Karol | Pridané: 8.11.2007 12:02 Jasne ze hodi, teraz by tu v tejto diskusii nebol ziaden komentar :-) Odpovedať Hodnotiť:

mystyq Od: mystyq | Pridané: 8.11.2007 12:12 Ani ten tvoj :) Odpovedať Hodnotiť:

corleone Od: corleone | Pridané: 10.11.2007 12:26 ani tvoj Odpovedať Hodnotiť:

rad Od: rad | Pridané: 10.11.2007 17:13 ale moj hej Odpovedať Hodnotiť:

jkl Od: jkl | Pridané: 8.11.2007 12:01 takze aj ironia je neziaduca? ake ironicke :P Dalsie verzie tohto programu budu filtrovat vsetky vyrazy ktore nebudu v newspeaku :( . Odpovedať Hodnotiť:

Pete Od: Pete | Pridané: 8.11.2007 12:04 Asi si to nepochopil, praveze je ich problem odlisit od hlupych, teda samozrejme ich nechcu filtrovat... Odpovedať Hodnotiť:

ropman Od: ropman | Pridané: 11.11.2007 12:02 www.vesmirni-lide.cz - web pre teba Odpovedať Hodnotiť:

Uhlik Od: Uhlik | Pridané: 8.11.2007 12:03 Príspevok bol zmazaný pre hlúpy obsah. Odpovedať Hodnotiť:

trish Od: trish | Pridané: 8.11.2007 12:18 Opera *cenzurovane* Odpovedať Hodnotiť:

Bozz Od: Bozz | Pridané: 8.11.2007 12:22 pokial si Patrik aplikuje na server DSL asi som tuna na dobro skoncil pre potesenie vsetkych pomazanych hlav Odpovedať Hodnotiť:

kalambur Od: kalambur | Pridané: 8.11.2007 13:42 keby to aplikovali, tak by som nemal dovod navstevovat to tu. koli comu sem chodim? hadam nie koli clankom? Odpovedať Hodnotiť:

rsx Od: rsx | Pridané: 8.11.2007 14:50 tvoj komentar bude odstraneny v dalsej verzii Odpovedať Hodnotiť:

Kumbulumbu Od: Kumbulumbu | Pridané: 9.11.2007 17:03 Ty si sliacansky kalambur? Odpovedať Hodnotiť:

1337 Od: 1337 | Pridané: 8.11.2007 12:28 Nad lidskou blbostí se taky nedá zvítězit. Ale nikdy se nesmí přestat proti ní bojovat. Nejhorší srážka v životě, je srážka s blbcem. Blbce nikdy neusvědčíte z blbství. Z takové srážky, vyjdete vždycky jako největší blbec pod sluncem. Pakliže člověk zvítězí nad vlastní blbostí, je vítězem nebo poraženým? V každém případě je to dobré. Jan Werich Odpovedať Hodnotiť:

3lefant Od: 3lefant | Pridané: 8.11.2007 12:45 suhlas: nikdy sa nehadaj s blbcom, zvedie ta na svoju uroven a tam ta porazi svojimi skusenostami Odpovedať Hodnotiť:

sam_doma Od: sam_doma | Pridané: 8.11.2007 12:29 Radsej keby vymyslelli software, ktory by blokoval hlupe clanky na dsl.sk Odpovedať Hodnotiť:

kuli Od: kuli | Pridané: 8.11.2007 12:57 velka skoda, ze slovensko musi trpiet takych ludi ako ste vy. Odpovedať Hodnotiť:

sam_doma Od: sam_doma | Pridané: 8.11.2007 12:35 Minule som sa strasne kosil na tom clanku "hladame novych autorov pre dsl.sk" a hlavne vete "zapojte sa do kolektivu ludi" LOL Ved dsl.sk ma akurat tak majitela a nikto tu nechce pisat clanky, lebo to tu stoji za velke ..... Odpovedať Hodnotiť:

forcer Od: forcer | Pridané: 8.11.2007 12:46 tak si chod citat itnews a neotravuj tu ludi, ktorych to zaujima. Odpovedať Hodnotiť:

Propediotika Od: Propediotika | Pridané: 8.11.2007 13:07 Podla mna su dvaja. Odpovedať Hodnotiť:

sam_doma Od: sam_doma | Pridané: 8.11.2007 16:33 hh :) Ja osobne proti dsl.sk nic extra nemam, spravy citam, len vidim, ze sa ma co vylepsovat a berte to dobre, pretoze vam prajem. Ale podla struktur viet sa mi zda, ze clanky pise jeden clovek a este k tomu pouzivane preddefinovane frazy/slova. Diskusia uroven nema, pretoze nikdy sa tu nerozobera nic k clanku, a to by mohla vyriesit prave registracia. Odpovedať Hodnotiť:

McBaran Od: McBaran | Pridané: 8.11.2007 13:06 nemyslím si že je to na niečo prospešné lepšie je zaviesť registrácie a mať pár moderatov čo sa o to bude starať Odpovedať Hodnotiť:

Odee Od: Odee | Pridané: 8.11.2007 23:58 Ano suhlasim! A ja by som chcel aby bol moderatorom Bozz. Kto je za? :) Odpovedať Hodnotiť:

Bozz Od: Bozz | Pridané: 9.11.2007 17:05 Ja! Odpovedať Hodnotiť:

WiFi Od: WiFi | Pridané: 8.11.2007 13:20 aj hlupi komentar(pokym nieje vulgarny) je sloboda prejavu!! ..takto nejak sme sa dostali aj do totality.. zacnelo sa niekomu po starych casoch.hmm!? ps. je tento koment prijatelny alebo stoji za blok??? Odpovedať Hodnotiť:

1337 Od: 1337 | Pridané: 8.11.2007 13:27 Co je hlupejsie? Napisat hlupost, alebo o nej napisat, ze je to hlupost ? :D Odpovedať Hodnotiť:

Kazekage Od: Kazekage | Pridané: 8.11.2007 13:47 Akoze ked napisem debil a podobne tak to zablokuje moj komentar, ale ked napisem d_ebi1 tak nie tak naco to potom je. Odpovedať Hodnotiť:

Bertold Od: Bertold | Pridané: 8.11.2007 14:10 A kto bude posudzovat co je hlupe a co nie? J e to cenzura,a ked niekto chce prejavit svoju hlupost,tak nech ju prejaví...I Ti največši géniovia boli v niektorých pripadoch svojho prejavu posudzovaní ako hlupaci...Takze o com je tento software? Odpovedať Hodnotiť:

Ereddideodone Od: Ereddideodone | Pridané: 8.11.2007 14:19 I want to share this tip: Stop paying to download http://prisonbreakseason.tv/ - Prison Breaks and your favorite TV shows! Download them From http://prisonbreakseason.tv/ - Prison Break Now. http://limewire.all-downloads-now.com - LimeWire is still going strong! Thanks, http://prisonbreakseason.tv Odpovedať Hodnotiť:

BigLama Od: BigLama | Pridané: 8.11.2007 14:39 Konecne komentar k veci :P Odpovedať Hodnotiť:

Accuphose Od: Accuphose | Pridané: 8.11.2007 15:34 Neznám lepší web než je DSL v daném segmentu. Kvalita je vysoká, vyzkoušeno spamboty :-P Tak a teď si bude robot lámat hlavu co je ironie :-D Odpovedať Hodnotiť:

GRL Od: GRL | Pridané: 8.11.2007 15:34 ...same pioviny tu trepete! Viete ze zdrazel karelab? Odpovedať Hodnotiť:

intonsina Od: intonsina | Pridané: 8.11.2007 15:36 http://Xstile.narod.ru/cameron-diaz.html - they Must Be Crazy uhahah no comment )) Odpovedať Hodnotiť:

opec Od: opec | Pridané: 8.11.2007 15:56 no, definujte spojenie hlupy komentar... ? v skutocnosti moze clovek hovorit prenesene. a sloboda prejavu, filtrujte SPAM. a nahodou niektore "hluoe" komentare dokazu pobavit... a velmi Odpovedať Hodnotiť:

1337 Od: 1337 | Pridané: 8.11.2007 16:34 define: hlupy_komentar type string define: hlupost type boolean // if opec == true *censor function needed // hlupy_komentar = '' // endif // hlupost = censor(hlupy_komentar) *deleted 11.9. hlupost = true Odpovedať Hodnotiť:

opec Od: opec | Pridané: 8.11.2007 20:47 close ; Odpovedať Hodnotiť:

Odee Od: Odee | Pridané: 9.11.2007 0:01 Boha a ty co furt zdrazujes tu ropu Odpovedať Hodnotiť:

Snake Od: Snake | Pridané: 9.11.2007 19:41 while (!asleep()) sheep++; Odpovedať Hodnotiť:

marmare Od: marmare | Pridané: 8.11.2007 19:16 kebyze to filtruje vsetky hlupe spravy, tak co ostane na nete?? take 2Tb textu, zvysnych nepocetne vela Tb by sa vyparilo.... Odpovedať Hodnotiť:

Sherpa Od: Sherpa | Pridané: 9.11.2007 14:00 zabudol si na porno Odpovedať Hodnotiť:

Dolores Od: Dolores | Pridané: 8.11.2007 19:21 Takže skúška, či nám to odfiltruje: Vážený obchodný papier, Bohužiaľ Vám musíme upozorniť na nedoeržanie splatnosti fraktúr, soplu ste nám ostali dlžní toľko peňazí, že by sme si za to kúpili aj jeden trkator, Kvôli Vašej pltobnej neschopnosti dokonca nemáme ani na úhradu prddavkovej dane a minulý mesiac sme potúpili aj lízing. Vieme, že sa smažíte ako viete, ale to aj tak nestačí. Naši zamestnanci si kvôli Vám nemôžu dovoliť viac ako 10 treskov deky denne. Žiadame Vás, aby ste úhradu neposierali po čiastkach, pretože platíme vysoké polopatky TATAR BABKE, čo nám trhá krčmové žily. V prípade, že neuhrdíte faktúry do 10 dní, vec postupujeme na ďalšie onanie Okresnému údu. Ubezpečujeme Vás, že tam máme známu sukyňu, ktorá sa prevzťahovala k mamažérovi našej frmy a hráva s ním ruskú roletu. Odpovedať Hodnotiť:

Dolores Od: Dolores | Pridané: 8.11.2007 19:21 Taktiež odber topvaru máte až do ďalšej daňovej pivonnosti v našej firme zakázaný, pretože svojimi sľubmi o platbách privádzate našich pracovníkov do rozparkov. Rovnako Vás prosíme o zasranie tohoto listu aj ekonomickému riediteľovi, ktorého sme prednedávnom videli, ako sa prepychoval v ubytovom hoteli a našim prcovníkov, ktorí boli ubytovaní v tom istom hotgeli, ponúkal na predaj zlosovateľné stierače a komunistické mrdaile. Vrchol všetkého bolo to, že mal na krku drahý perlový náprdelník. Za naše peniaze! Telíme sa na naše strtnutie a dúfame, že uhradíte svoje ohľodávky a nám spadne amen zo srdca. Ahnojte! PS:zlosovateľnéstierače=stierateľné losy Odpovedať Hodnotiť:

igor Od: igor | Pridané: 8.11.2007 23:41 Vážená stavebná spoločnost Ná základe Vašej spotrebnej dane sme vypočítali priemerný platobný úplatok Grónskeho medveda ktorý sa už dlhšie nachádza na ondrejskom cintoríne vo vagóne číslo osem pod označením drevený kinofilm. Nakolko ste neobdržali splatnú kompenzáciu právnej náuky sme nútený absolvovať preventívne vyšetrenie proti rádioaktívnej kostnej drene Vašej babky. Akonáhle nám pošlete Vaše rentgénové snímky poštou vám pošleme prenosný gastrolístok. Ak nabudete na túto žiadosť reagovať anglický torpédobored Blue remington vypáli dve svietivé diody na antarktický oceán. Dakujem s pozdravom tým reštaurácie MCdonalds Odpovedať Hodnotiť:

Bozz Od: Bozz | Pridané: 8.11.2007 19:47 Zda sa mi to alebo mi chcete tymto clankom nieco naznacit? Aj tak to je len pre anglictinu takze mate smolu! CHA!!!!!! Odpovedať Hodnotiť:

Bozz rulez Od: Bozz rulez | Pridané: 8.11.2007 21:19 ste prykratky namna, moje komentare tu budu vzdi lebo som trapni bozz. Ynac v pohode soft, len bude fyltrovat aj to co asi nema :D Odpovedať Hodnotiť:

Bözz Od: Bözz | Pridané: 8.11.2007 21:56 Never Argue With An Idiot. They'll Lower You To Their Level And Then Beat You With Experience! Odpovedať Hodnotiť:

Sherpa Od: Sherpa | Pridané: 9.11.2007 14:01 uz to tu bolo o par riadkov vyssie akurat v slovencine... Odpovedať Hodnotiť:

??? Od: ??? | Pridané: 8.11.2007 22:07 BYj MAjZAUJIMALOjjAKOjjCHCUjjODFILTROVATjj TAKYTOjjTEXT a kombinacii sa najde nekonecne vela, teda kto chce napisat sprostost, tak ju tam dostane, aj keby sa neviem aky filter spravil-alebo to bude taky filter, ze pusti 1-z 10 normalnych prispevkov a bude filtrovat skoro vsetky normalne------- Odpovedať Hodnotiť:

Momo Od: Momo | Pridané: 9.11.2007 9:00 Blbec si vzdy najde sposob ako sem napisat svoju tzv mudru vetu-a keby tuto diskusiu na DSL zrusili tak by sme o nic neprisli Odpovedať Hodnotiť:

morpheus-sk Od: morpheus-sk | Pridané: 8.11.2007 22:52 bola by skoda prist o tieto zmysluplne diskusie vzdy k teme :D vzdy da tu dobre zabavim ked citam diskusiu :D Odpovedať Hodnotiť:

citatel Od: citatel | Pridané: 8.11.2007 23:27 nepiste take dlhe komentare ludia nechce sa mi to potom citat - radsej viacej kratsich Odpovedať Hodnotiť:

Odee Od: Odee | Pridané: 9.11.2007 17:40 Som spadol zo stolicky ked som si toto precital :DDD Odpovedať Hodnotiť:

Bozz Od: Bozz | Pridané: 9.11.2007 19:59 Kup si stoličku s operadlom Odpovedať Hodnotiť:

DSL = LSD Od: DSL = LSD | Pridané: 11.11.2007 9:56 Gadzovia sa ocitnu byt diskriminovany hlupym softverom muhahahaha. Ze by mi tento prispevok ten hlupak neprefiltroval, este by ma ohodnotil na 5 hviezdiciek do plusu. Bwhahahaha. Odpovedať Hodnotiť:

GadžoBozz Od: GadžoBozz | Pridané: 12.11.2007 18:48 Daj si facku Odpovedať Hodnotiť:

Pridať komentár