neprihlásený Pondelok, 25. novembra 2024, dnes má meniny Katarína
Umelá inteligencia Google sa naučila za 4 hodiny sama hrať šach lepšie ako najlepší ľudia a softvér

Značky: umelá inteligenciaGoogle

DSL.sk, 6.12.2017


Spoločnosť DeepMind zaoberajúca sa vývojom umelej inteligencie a patriaca do skupiny Google vylepšila a spravila výrazne univerzálnejším svoj softvér AlphaGo, ktorý ako prvý porazil najlepších ľudských hráčov v Go.

Jeho nová verzia AlphaZero sa následne len na základe znalostí pravidiel hier šach, japonský šach a Go naučila sama hrať hraním so sebou všetky tieto tri hry lepšie ako najlepší ľudia a softvér a to dokonca len za niekoľko hodín.

Výskumníci z DeepMind o výsledkoch informujú v tejto práci.

Z trojice týchto hier je pre počítače najjednoduchší šach, v ktorom najlepšie počítačové programy dokázali prvýkrát poraziť človeka až v roku 1997 v známom súboji Deep Blue a Garyho Kasparova. Najkomplikovanejšia vzhľadom na počet možných stavov a vývojov je Go, v ktorom prvý program práve v podobe AlphaGo dokázal poraziť najlepších ľudských hráčov až v uplynulých dvoch rokoch.

AlphaGo je postavený na metódach umelej inteligencie a strojového učenia, konkrétne samozrejme na dnes bežne používaných neurónových sieťach s inteligentným prehľadávaním stromu možností. Softvér bol naprogramovaný špecificky pre Go, podobne iné softvéry pre hranie šachu majú v sebe zakomponované konkrétne šachové znalosti najlepších ľudských hráčov.

Algoritmy zvládajúce tieto hry lepšie ako človek sú samozrejme špecificky zamerané na mechanické prehľadávanie a hodnotenie množstva stavov hier a od významu slova inteligencia v zmysle ľudskej inteligencie majú ďaleko a priamo nevedia riešiť iné problémy.


Ilustračné foto, superpočítač Google s celkom 64 TPU druhej generácie, kliknite pre zväčšenie (foto: Google)



Tzv. neurónové siete sú spôsobom analýzy dát, pri ktorom sa vstup pretransformováva na výstup spracovaním sieťou uzlov komunikujúcich rovnakým spôsobom ako neuróny v mozgu človeka. Programátor pri nich neprogramuje deterministický algoritmus, siete sa učia generovať požadované výstupy trénovaním na vzorke dát.

Už v staršej vylepšenej verzii AlphaGo, AlphaGo Zero, sa softvér efektívnejšie učil na základe hrania samého so sebou.

Nová verzia AlphaZero je ešte univerzálnejšia, potrebuje poznať len pravidlá doskovej hry typu šachu a dokáže sa postupným hraním samej so sebou výrazne zlepšovať postupným trénovaním svojej neurónovej siete.

DeepMind softvér trénovala 700 tisíc opakovaniami trénovania, pričom simulačné hranie softvéru so sebou prebiehalo na 5000 hardvérových akcelerátoroch umelej inteligencie TPU prvej generácie s výkonom 92 teraops / s vyvinutých Google a trénovanie siete na 64 TPU druhej výrazne výkonnejšej generácie s výkonom 180 teraflopov / s.

AlphaZero bol lepším hráčom šachu ako najlepší program Stockfish, ktorý v 2016 získal titul, po 300 tisíc krokoch trénovania respektíve štyroch hodinách začínajúc úplne od nuly iba s pravidlami šachu. V prípade japonského šachu bol lepší ako najlepší program Elmo po dvoch hodinách a v prípade Go bol lepší ako verzia AlphaGo, ktorá porazila prvého špičkového hráča Lee Sedola, po ôsmich hodinách trénovania.

Po plnom natrénovaní hral AlphaZero s týmito programami sto zápasov. V šachu so Stockfish zaznamenal 28 víťazstiev, 72 remíz a žiadnu prehru, v japonskom šachu mal bilanciu 90 výhier, 2 remízy a 8 prehier a v Go proti verzii AlphaGo Zero bilanciu 60 výhier a 40 porážok.


      Zdieľaj na Twitteri



Najnovšie články:

O2 zvyšuje ceny programov Radosť
Raspberry Pi má nový model, Raspberry Pi Pico 2 W
Japonci uviedli ethernetový kábel s magnetickým konektorom
Starship by mohla za najbližšie štyri roky uskutočniť až 400 štartov
Protimonopolný úrad začal prešetrovať, prečo v SR nie sú skutoční virtuálni mobilní operátori
Nový trailer filmu Minecraft
Linux v ďalšej verzii vyradí súborový systém Reiser
Odštartovaná výroba flash pamäte s 321 vrstvami
Apple má prvýkrát použiť vlastný 5G modem v iPhone v marci
Linux dostáva podporu veľkokapacitných pamäťových SDUC kariet


Diskusia:
                               
 

And then they became self-aware....
Odpovedať Známka: 7.0 Hodnotiť:
 

Takze google dokaze vytvorit super umelu inteligenciu pravidlam sachu, ale cely google sa nevie prisposibit tak jednoduchym pravidlam ako rozdiely medzi pohlaviami :). Tomu hovorim korporatna demencia :).
Odpovedať Známka: 2.1 Hodnotiť:
 

Ale to by mohlo byt aj tym, ze rozdiely, ked sa tvrdi prisposobit a mysli podriadit, je mozne rozoznat i bez pravidiel.
Odpovedať Známka: 0.0 Hodnotiť:
 

Ja som sa tiež hral sám so sebou, dosahol som ciel-vrchol, ale nikdy z toho nič nebolo.
Odpovedať Známka: 6.5 Hodnotiť:
 

a tiez si to skusal 300k krat za 4 hodiny?
Odpovedať Známka: 8.2 Hodnotiť:
 

1ml obsahuje 50 000 000 spermií
A stihnem to za 2-3 hodiny.
Odpovedať Známka: 5.6 Hodnotiť:
 

Prosim ta, nepchaj do sachu gender ideologiu.
Odpovedať Známka: 3.3 Hodnotiť:
 

Chcel si napísať gender demagógiu.
Ináč mne je tiež jedno či na mňa maká on ona alebo to, hlavne že maká a nerozmnožuje sa.
Odpovedať Známka: -1.6 Hodnotiť:
 

Najlepší zamestnanec je bezdetná slobodná žena ideálne keď je trochu škaredá a je pri tele, aby toho viac uniesla a mohla makať 12hodin 7x do týždňa.
Odpovedať Známka: 8.3 Hodnotiť:
 

Trúd stačí v úli jeden.
Odpovedať Známka: 6.7 Hodnotiť:
 

Ženy dokážu preletieť až 60 km za hodinu. V lete vyletujú už o štvrtej ráno a denne pracujú až sedemnásť hodín.
Toto nevyužiť ...
Odpovedať Známka: 6.0 Hodnotiť:
 

Včelár?
Odpovedať Známka: 10.0 Hodnotiť:
 

Či sa ti to páči alebo nie, ona tam už je (ako v každom športe). Máš mužské ("otvorené") turnaje, kde môžu hrať aj ženy, a máš ženské turnaje, kde si muž nezahrá. V minulosti bývali aj ženské šachovnice (v tímovej súťaži).
Týmito vecami sa zaoberajú i top hráči, resp. hráčky. Napr. v posledných rokoch pamätám minimálne dva "škandály", kde sa najsilnejšia hráčka na open turnaji sťažovala, že väčšinu súperiek mala ženy (v jednom na protest vzdala partiu, v druhom zasa jedno kolo vynechala).
Odpovedať Hodnotiť:
 

A ja som si myslel, že v šachu sa hrá proti pozícii a nie proti súperovi :)
Odpovedať Známka: 3.3 Hodnotiť:
 

Sach je rasisticka hra pre xenofobnych extremistov ktori su proti multi kulti. Bieli bojuju proti ciernim. #BlackLivesMatter
Odpovedať Známka: 4.3 Hodnotiť:
 

Work and travel USA
Odpovedať Známka: 6.7 Hodnotiť:
 

Umela inteligencia je rasisticka ked suhlasila s tym aby hrala sach!
To znamena ze kto je vysoko inteligentny je rasisticky.
Odpovedať Známka: 4.0 Hodnotiť:
 

Jasné že je rasistická :D
http://dopice.sk/kGi
Odpovedať Známka: 5.0 Hodnotiť:
 

Najjednoduchšia fóra života.
Odpovedať Hodnotiť:
 

Ale zas život je ako šach, nie každý môže byť biely.
Odpovedať Známka: 7.8 Hodnotiť:
 

Biely ide prvy - white privilege
Odpovedať Známka: 6.7 Hodnotiť:
 

a nakonec budeme vsetci sedet so zalozenima rukama lebo nezostane nic co by sa dalo robit vsetko bude robit Ai.
toto chcete?!

zacina to presne takto nenapko ze sachy a neskodne picovinky
skonci to jebanim do riti strojmi!

treba to vykantrit v zarodku kym sa este da!!!!!!!!!










Odpovedať Známka: -2.5 Hodnotiť:
 

... uz sa neda!
Odpovedať Známka: 8.9 Hodnotiť:
 

rule34, strojmi do riti už dávno na internete nájdeš
Odpovedať Známka: 7.5 Hodnotiť:
 

Mozno konecne stihnem pozriet vsetky serialy do konca
Odpovedať Známka: 7.3 Hodnotiť:
 

Presne tak. AI sa stačí trebať začať báť až keď síce nevyhrá, ale nájde pre to objektívne príčiny.
Odpovedať Známka: 0.0 Hodnotiť:
 

teplí zlatokopkáči nebudú mať čo žrať! Žiaľ, Freddieho Mercuryho to už nezachráni, predstav si že by za neho trtkal DeepMind a on by sa mohol v kľude venovať hudbe, dnes by ešte žil, ak by sa nezabil v autonómnom vozidle od Applu.
Odpovedať Známka: 7.5 Hodnotiť:
 

Na konci príspevku sa ti zasekol Enter.
Odpovedať Hodnotiť:
 

.. --> prekročenie (limitu) nadkritického množstva, resp., líp povedané, (nad)kritickej hustoty, /kvality? ? - kedy? ?

Ray Kurtzweill: Accelerating Intelligence - Singularity aend Transcend
Odpovedať Známka: -0.9 Hodnotiť:
 

btw.to hranie "samej so sebou" - ked tá neuronová sít (nazvime ju, pracovne, Dívka v Modrém :p
(abo Alice ;)

trénuje sama seba, hrá sama so sebou, -

aké by to bolo, aké by tam boli rozdiely, kebyže nechajú hrát proti sebe normálne (alespon) 2 (a, prípadne aj, víc) takíchto superpočítačov, s týmto prísplušným softwérom.. - nebol by ten vývoj AI ešte lepší, hlbší, rychlejší? ??! ??

nj, btw. to hranie sama so sebou, (jako ..vzta, koncept - jako asi vyzerá jeho definícia, grafy, vztahy, štruktúry, matematický p.opis - vo "Formálních Jazykoch a Automatoch, /Gramatikách? ?
(abo, hoc aj v tej Matike..

a tiež, - to isté pre hru (alespon) 2+, a víc hráčov, (medzi sebou..)

nj, kus to pripomína FoJaKy, hodne..
Odpovedať Známka: -6.0 Hodnotiť:
 

Co?
Odpovedať Známka: 5.0 Hodnotiť:
 

Z některých příspěvků mám pocit, že si tu Google testuje svého AlphaDSL AI bota.
Odpovedať Známka: 8.9 Hodnotiť:
 

Toto mohol napísať len človek človeku. Umelá inteligencia by musela simulovať mentálnu retardáciu. Na toto však nadôvažok aj tvorivého ducha.
Odpovedať Známka: 8.7 Hodnotiť:
 

Presne tak. Hodnotenie vysledkov cinnosti inych je priekazne vrcholom dusevnej tvorivosti.
Odpovedať Známka: 2.0 Hodnotiť:
 

Dal som + za FoJaKy. Pán Rovan ešte prednáša? Výborný profesor.
Odpovedať Hodnotiť:
 

tu sachista s fide elom 2000+ a absolvent machine learning kurzu profesora Tonyho Ng

k tvojej otazke ci by bol trening lepsi s 2 alebo viacerymi superpocitacmi: Nebol. neuronova siet nema pamat v zmysle ze by si pamatala aky tah urobila predtym ale hodnoti kazdu poziciu samostatne. cize po tom ako urobi tah jej mozes otocit sachovnicu a AlphaZero zacne analyzovat novu poziciu od zaciatku. trening s viacerymi superpocitacmi by asi trval dlhsie a viedol k inym vysledkom. mozno k lepsiemu a mozno k horsiemu natrenovaniu. natrenovanie zavisi aj od inicializacie neuronov kde sa obycane pouziva nejake nahodne cislo
Odpovedať Známka: 10.0 Hodnotiť:
 

Ja som otázku pochopil inak. A teda že ak by dva rôzne UI superpočítače (napr. s inou metódou učenia či inými parametrami) hrali proti sebe, či by to bol prínos (napr. vďaka tomu, že by produkovali pozície, ktoré by tomu druhému neprišli na um). Aj ľudia sa najlepšie naučia vtedy, keď hrajú proti druhým.
Odpovedať Hodnotiť:
 

na to nepotrebujes dva superpocitace. fyzicky dve masiny. hodnoty neuronov mozes odlozit a natiahnut inu verziu. takto mozu proti sebe mozu hrat dve verzie na jednom stroji. trenovanie neuronky vedie suboptimalnemu rieseniu a len metodou pokus-omyl mozno urcit ktore natrenovanie je lepsie. cize stale nevidim v tom prinos.

clovek je trochu iny. jednak nase neurony sa neprenastavuju tak rychlo a po druhe nas mozog uz ma natrenovanych vela vzorov od narodenia ktore sa daju znovupouzit. alphazero zacina ako tabula rasa
Odpovedať Hodnotiť:
 

@leader8080 -

- a vlastne myslel so ten dotaz, tú ideu, či by nebolo lepšie nechat "hrát, /trénovat 2 fyzické superpočítače, v oboch zmysloch, v oboch 2verziách - nj,
nj, či by nebolo lepšie, mat na tej ..vývoj, /trénovanie AI, :

a)
2 (a príp.víac) fyzických superpočítačov,

a /aalebo,

v oboch z nich, (abo, kdyžtak, jen v 1, fyzickom,

mat 2 rozne verzie, /2 odlišné architektúry tej ArtificialIntelig., -toho operačného programu, op.systému..

.. -==> kdovie, buhvie, v ktorej z tích daních, vyplývajúcich, asi 4, verzií, by sa tie AI, Umelá Inteligencia, (abo víac) vytrénovali najrýchlejšie, resp.najkvalitnejšie ("najsilnejšie".. )
Odpovedať Hodnotiť:
 

btw.vĎaka za odpoved, aobjasneníe
Odpovedať Hodnotiť:
 

welcome to skynet
Odpovedať Známka: 1.4 Hodnotiť:
 

Veru, az moc mi to zacina pripominat Terminatora...
Len nech jej dovolia ucit sa a ona sa nauci aky sme primitivni a ako nas vyhladit... :-D
Odpovedať Známka: 7.1 Hodnotiť:
 

a ja jej fandim. ked sa nezaujate pozries na ludstvo tak je jasne ze nemame pravo na existenciu
Odpovedať Známka: -3.3 Hodnotiť:
 

A posielam rastlinné kvety.
Odpovedať Známka: 3.3 Hodnotiť:
 

??
Odpovedať Známka: -5.0 Hodnotiť:
 

Uz zacala doba idiotov, uz nie sme schopni ani len sformulovat vetu zlozenu z pismenok. Toto zatial este pocitac nedokaze!

Predpokladám, že to bola narážka na kybernetické kvety. I lajk it. Ja si poprosím jednu ethereovú mačičku.
Odpovedať Hodnotiť:
 

2005, sláva začal věk kokotů
Odpovedať Známka: -5.0 Hodnotiť:
 

Ja tiez ked hram sam so sebou sach tak vzdy vyhram.
Odpovedať Známka: 9.2 Hodnotiť:
 

Radsej keby sa naucil ten stroj frflat pod clankami na internete. Uz to takmer nestihame :-D
Odpovedať Známka: 10.0 Hodnotiť:
 

A teraz je na rade Človeče nehnevaj sa.
Odpovedať Známka: 10.0 Hodnotiť:
 

ked ja som hral sach sam so sebou, stale som vyhral, podobne ako umela inteligencia, vlastne tak isto
Odpovedať Známka: 7.5 Hodnotiť:
 

Umely mozno si ale inteligencia ti chyba.
Odpovedať Známka: -3.3 Hodnotiť:
 

tak potom mi to nevadi, Dik
Odpovedať Hodnotiť:
 

Akurát by ma zaujímalo, či aj Stockfish bežal na porovnateľnom superpočítači (výpočtovom výkone). Inak to porovnanie nemá zmysel (asi hociktorý terajší program bežiaci na takom HW by porazil každý súčasný program bežiaci na výrazne slabšom HW).
Odpovedať Známka: 0.0 Hodnotiť:
 

Ak to ten Stockfish stihal vypocitavat, potom nema zmysel aby bezal na vykonnejsom hardveri.
Odpovedať Známka: 2.0 Hodnotiť:
 

Si robíš srandu? I keď je tam kopa optimalizácií, všetky silné klasické šachové programy sú postavené na hrubej sile. Ak dokáže rátať hoc len o jeden ťah ďalej, tak aj slabší program obvykle porazí silnejší.
Odpovedať Hodnotiť:
 

Tvoja odpoved plynuie z principialneho nepochopenia. Ak to ten Stockfish stihal vypocitavat a to dokonca na "obycajnom" primitivnom deterministickom ARM, x86, SPARC, POWER hardveri nejakej architektury, naco by sme sa potom ondili s nejakou AI a algoritmami strojoveho ucenia na specialnom type prisposobeneho mono-funkcneho hardveru typu TPU?

To aj potom BTC mozem tazit na CPU a nepotrebujem ani GPU a dokonca ani ASIS (specialny typ prisposobeneho mono-funkcneho hardveru na tazene BTC).
Odpovedať Hodnotiť:
 

ASIC
Odpovedať Hodnotiť:
 

Presne tak. Z urovne okolitych reakcii je eventualita principialneho pochopenia overitelne priamo vyplyvajuca.
Odpovedať Známka: 3.3 Hodnotiť:
 

Tvoje namietky plynu z principialneho nepochopenia. Gúúúgeľovský alroritmus AI AlphaZero nie je program co si stiahnes zo stranky, bezi na primitivnom deterministickom x86 CPU (je jedno ci i4004 alebo Ci7 8700K). To je koncept (algoritmus) beziaci na specifickom hardveri (TPU, tensor procesing unit specialne vyrobeneho pre AI a strojove ucenie). Rovnako na tom googelovkom hardveri asi nerozchodis TotalCommander, ten nerozchodis ani na GPU, rovnako ako OS.

Otazka iba ostava na ako vykonnom hardveri sa podarilo rozbehat program Stockfish (engine na https://stockfishchess.org/download). Ci na 80486 100 MHz DX4, ci ARM Samsung Galaxy S3 z roku 2013, alebo na x86 AMD TR 1950X, alebo na superpocitaci v Top500 s GPGPU akceleratormi. Otazka straca zmysel ak nebol casovy limit na hladanie nasledujuceho tahu a islo o to najst tah a dohrat partiu v rozumnom case (t.j. nie dni).

Odpovedať Hodnotiť:
 

Už to podrobne nesledujem, pôvodné AplhaGo malo dve neurónky - jedna navrhovala ťahy, druhá hodnotila pozíciu. Celé to zastrešovalo Monte Carlo a práve tu bol kľúčový hrubý výkon (koľko simulácií stíhal).

AplhaGoZero už funguje inak, ale neviem presne ako (je to už čistá neurónka pozícia->ťah bez MC? Koľko pamäte/elektrickej energie potrebuje?). Ak to už nerobí žiadne ďalšie prepočty, tak by ma tento výsledok na porovnateľnom HW vcelku prekvapil. Pretože presný prepočet je v šachu veľmi dôležitý a nie som si istý ako efektívne sa dá reprezentovať v malej neurónke.

Odpovedať Hodnotiť:
 

mozno tiez 2:
...prebiehalo na 5000 hardvérových akcelerátoroch umelej inteligencie TPU prvej generácie s výkonom 92 teraops / s vyvinutých Google a trénovanie siete na 64 TPU druhej výrazne výkonnejšej generácie s výkonom 180 teraflopov / s.
Odpovedať Hodnotiť:
 

ta nie, ten druhy len trenoval ;)
Odpovedať Hodnotiť:
 

Neviem ale presne toto som naznacoval vyssie a na to som dostal odpoved ze som nepochopil. Praveze program stockfish je deterministicky a ked bezi tak by mu vyssi vykon nepomohol, lebo je robeny na priblizne taky vykon na akom sa pouziva. Ci myslis ze stockfish program obmedzili aby radsej pocital menej vysledkov aby to netrvalo dni???
Odpovedať Hodnotiť:
 

single netw:
In AlphaGo Zero, self-play games were generated by the best player from all previous iterations. After each iteration of training, the performance of the new player was measured against the best player; if it won by a margin of 55% then it replaced the best player and self-play games were subsequently generated by this new player. In contrast, AlphaZero simply maintains a single neural network that is updated continually, rather than waiting for an iteration to complete.
Odpovedať Hodnotiť:
 

pokracovanie pre alpha zero:
Self-play games are generated by using the latest parameters for this neural network, omitting the evaluation step and the selection of best player
Odpovedať Hodnotiť:
 

nie dni - kazdy tah 1 minutu

Game White Black Win Draw Loss
Chess AlphaZero Stocksh 25 25 0
Stocksh AlphaZero 3 47 0

...as games won, drawn or lost from AlphaZero's perspective, in 100 game matches against Stocksh, Elmo, and the previously published AlphaGo Zero after 3 days of training.

Each program was given 1 minute of thinking time per move.
Odpovedať Hodnotiť:
 

https://arxiv.org/pdf/1712.01815
Odpovedať Hodnotiť:
 

Table S4: Evaluation speed (positions/second) of AlphaZero, Stocksh, and Elmo in chess, shogi and Go.

Program Chess
AlphaZero 80k
Stocksh 70,000k

Each program was given 1 minute of thinking time per move.
Odpovedať Hodnotiť:
 

no takto: 30 ciferne semiprvocislo ti dnesny primitivny deterministicky cpu rozlozi vhodnym programom na sucin tych dvoch prvocisel behom chvilky

nejaky 5- ci 50-quibitovy (plnohodnotny) kvantovy pocitac (v pravom slova zmysle nie jak tie "2000-quibitove" D-wave "ASIC" atrapy) to neurobi ani za den

preco? lebo je to len v zaciatkoch a treba viac quibitov
Odpovedať Hodnotiť:
 

Klasické programy sú deterministické a vyšší výkon im samozrejme pomáha (sú brute force).

Tento výsledok, hoc pôsobivý, asi nie je celkom kóšer. HW ťažko porovnať, Stockfish 64 CPU, Alpha len 4 TPU, ale výrazne výkonnejšie, celkovo asi mala navrch.
Hlavne ale, Stockfish hral bez knihy otvorení. Tu mala Alpha výrazne navrch, lebo znalosti otvorení, odopreté Stockfishu, získala počas učenia (napr. zo začiatku obľubovala Francúzsku obranu, či Caro-Can, neskôr ich úplne zavrhla a hrala s touto znalosťou). Stockfish mal tiež veľmi malú hash (1GB), čo ho výrazne oslabovalo. Asi nemal ani tabuľky koncoviek.
Zdá sa že stále používajú Monte Carlo, t.j. Alpha sa neučila všetko od piky, akurát nemala konkrétne šachové znalosti. Tak či onak hrá pôsobivo.
Odpovedať Hodnotiť:
 

na toto odpoved nema: Vg12!
Odpovedať Hodnotiť:
 

Veža g1 ťahá na g2. "1" si uviedol, lebo máš vežu aj na g3, tak musí byť jasné ktorá ťahá. Myslím že nejakú odpoveď vymyslí :-). Skús radšej Vg9!
Odpovedať Hodnotiť:

Pridať komentár