No Bransona “Super Sistēmas” līdz solvers un mākslīgā intelekta ērai: kā mainījusies pokera domāšana

Pirmsākumi: tīra radošuma un pokera “veco baušļu” laiks

Pokers vienmēr ir bijusi spēle, kur loģika saplūst ar intuīciju. Taču spēles aizsācēji pat nenojauta, ka tā kļūs par objektu tik rūpīgai un sistemātiskai analīzei. Līdz 1970. gadiem mācīšanās notika tikai, balstoties uz personīgo pieredzi, pretinieku “lasīšanu” un vērošanu. Taču viss mainījās, kad parādījās teoriju sistematizējošas grāmatas.

1978. gadā iznāca Deivida Sklanska grāmata “Pokera teorija”, kas pirmo reizi izskaidroja tādus pamatjēdzienus kā gaidāmā vērtība (EV), pusblefi un optimālā blefa frekvence, netiešās izredzes (implied odds) un apgrieztās netiešās izredzes (reverse implied odds), kā arī daudzus citus. Tieši Sklanska darbos pirmo reizi izskanēja termins “Sklanska dolāri”. Pateicoties šai koncepcijai kļuva skaidrs, ka savi rezultāti nav jāvērtē pēc tā, cik daudz naudas spēlētājs uzvar konkrētā izspēlē, bet gan pēc tā, cik daudz viņam vidēji vajadzēja uzvarēt pēc matemātiskās gaidāmās vērtības. Šīs idejas izveidoja analītiskas pieejas pamatus.

Gadu vēlāk, 1979. gadā, Doils Bransons publicēja savu “Super Sistēmu” – tā laika īsto pokera bībeli, kur profesionāļi atklāti dalījās stratēģijās par NL Hold’em, Draw un citām disciplīnām. Grāmata bija īsta revolūcija: pirmo reizi “profiņu noslēpumi” kļuva pieejami plašai publikai. Popularitāte bija tik milzīga, ka tā nonāca pat masu kultūrā: tieši tajā kultfilmas “Krāpnieki” galvenais varonis glabāja savus ietaupījumus. Vēlāk, 2004. gadā, grāmatai iznāca jaunā redakcija “Super/System 2”, papildināta ar jaunām sadaļām.

Vēl viena svarīga koncepcija – “Independent Chip Model” jeb “ICM” – 80. gadu beigās tika pielāgota pokera realitātēm, pateicoties Meisona Malmuta darbam. Šī metode kļuva par vienu no galvenajām turnīru pokera situāciju novērtēšanā. Bez tās mēs tagad nebūtu ieguvuši push-fold tabulas un citas zināšanas, kas nepieciešamas turnīru un SnG spēlei.

Pāreja uz digitālo laikmetu un online pokeru

1990. gadu beigās un 2000. gadu sākumā pokers nonāca jaunā fāzē. Interneta tehnoloģiju un sociālo tīklu attīstība atvēra pokeru plašām masām. Līdz ar to mainījās arī spēlētāju domāšana un analīzes pieeja. Pokers tika pētīts “zem mikroskopa”, idejas kļuva daudz dziļākas un “pelēkās zonas” pamazām izzuda – spēle tika digitalizēta un racionalizēta. Tas izpaudās divējādi.

Pirmkārt, pokera literatūra kļuva daudz detalizētāka: balstoties uz Sklanska un Bransona pamatiem, autori sāka analizēt dažādus formātus. 1995. gada pasaules čempions Dens Haringtons jaunajā tūkstošgadē izveidoja savas grāmatu sērijas “Hold’em by Harrington” un “Harrington on Cash Games”, kuras daudzi uzskatīja par labākajiem mācību materiāliem populārākajam formātam.

Apmēram tajā pašā laikā aktīvs kļuva jaunais matemātiķis Kolins Mošmans, kurš kļuva par vienu no vadošajiem Sit&Go spēļu teoretiķiem. Viņš bija viens no pirmajiem online ēras autoriem un pats aktīvi spēlēja internetā. Savā virsotnē viņš regulāri spēlēja SnG ar $200–$500 buy-in, iegūstot unikālu teorētisko un praktisko pieredzi.

Vēl viens spilgts teorētiķis bija Fils Galfonds. Viņš bija viens no pirmajiem, kas plašai publikai prezentēja jaunu domāšanas veidu – domāšanu ar diapazoniem. Vairs nebija svarīgi zināt tikai konkrētās rokas EV, kā Sklanska laikos, bet gan izvērtēt matemātisko izdevīgumu, ņemot vērā sava diapazona un pretinieka diapazona mijiedarbību.
Šī ideja attīstīja Sklanska koncepciju, jo reālajā pokerā pretinieka precīzu roku zinām reti, bet diapazonu var aptuveni noteikt. Tā EV jāvērtē diapazonu ietvaros. Tā Galfonds ieviesa daudzslāņu domāšanu pokerā un nosauca šo koncepciju par “Galfonda dolāriem”.

Otrkārt, līdz ar tādu online istabu kā PokerStars un PartyPoker uzplaukumu parādījās jauni analīzes rīki – HUD, datubāzes, roku vēstures, pokera trekeri. Tas pilnībā mainīja spēles pieeju: intuīciju aizstāja statistika un matemātika.

No šī brīža pokera spēlētāja tēls radikāli mainījās. Vairs ne līdz galam izgaismots kazino zāles džentlmenis, bet students šortos pie datora ar 12 atvērtiem galdiem un statistiku par katru pretinieku. “Oflainā” šis spēlētājs bieži parādījās ar kapuci, cepuri un matētām brillēm.

GTO un solveru ēra

Nākamais teorētiskais lēciens notika ar GTO (Game Theory Optimal) parādīšanos – stratēģiju, kurā spēlētājs izvēlas darbību kombināciju (raise, call, fold) tā, lai pretinieks nevarētu viņu konsekventi eksploitot.

GTO būtībā ir Neša līdzsvars pokera kontekstā. Atceraties filmu “Brīnišķais prāts”? Tajā attēlotais matemātiķis – tas ir Džons Nešs, kurš pokera teorijai sniedza vienu no fundamentālajiem konceptiem.

Mūsdienu pētījumi apliecina: pokers ir nepilnīgas informācijas spēle, kur GTO modeļi un solveri palīdz atrast optimālas varbūtību pamatotas stratēģijas. Līdz ar solveriem (PioSOLVER, GTO+, MonkerSolver) spēlētāji var modelēt optimālos diapazonus un līnijas katrai situācijai.

Rezultātā:
• lēmumi kļuva strukturēti,
• diapazoni – polarizēti,
• “eksploits” tagad ir instruments, nevis novirze.

Top spēlētāji mūsdienu turnīros izmanto balansētus diapazonus, blocker’us un līniju mikšus, padarot spēli par matemātisku mākslu.

Solveri kļuva par standartu – no mikrolimitiem līdz high roller līmeņiem. Kā rezultātā pokera domāšana gadu gaitā radikāli izmainījās. Intuīcija un “pretinieku lasīšana” joprojām ir svarīgi aspekti, taču par galvenajām prasmēm tagad ir kļuvušas: diapazonu izpratne, GTO pamatu veidošana un spēja izmantot pretinieku vājības. Lai progresētu, spēlētājam ir svarīgi analizēt savas sesijas, strādāt ar grafikiem, pētīt novirzes no solveru ieteiktajām līnijām un mācīties pielietot matemātiku elastīgi, nevis mehāniski.

Mākslīgais intelekts un jaunā mācīšanās ēra

2017. gadā mākslīgā intelekta sistēma Libratus, ko izveidojuši Carnegie Mellon zinātnieki, uzvarēja četrus top profesionāļus 120 000 izspēlēs heads-up NLHE. Tas bija pirmais gadījums, kad mašīna pierādīja pārākumu pār profesionāliem spēlētājiem nepilnīgas informācijas spēlē. 2019. gadā parādījās Pluribus, kas guva uzvaru jau 6-max NLHE – daudz sarežģītākajā daudzspēlētāju formātā.

Šī uzvara kļuva par vēsturisku robežšķirtni: mākslīgais intelekts ir iemācījies strādāt ar multiagenta dinamiku, ko iepriekš uzskatīja par “neatklātu uzdevumu” zinātnei. Mūsdienu spēlētāji aktīvi izmanto šos principus, adaptējot MI analītiku apmācībai. MI tehnoloģijas attīstās milzīgā ātrumā un kļūst arvien pieejamākas. Ja solveri ir pamatrīks visu GTO aspektu apgūšanai, tad MI rīki var kļūt par īstu izrāvienu eksploit stratēģiju pārdomāšanā un teorētizēšanā, jo pielāgošanās konkrētiem apstākļiem ir viena no MI stiprajām pusēm.

Tādējādi pusgadsimta laikā pokera domāšana ir pārgājusi no intuīcijas un “veselā saprāta” pielietošanas uz detalizētu analīzi, zinātnisku koncepciju izmantošanu un, nereti, pretintuitīviem lēmumiem. Pokera nākotne sola vēl skrupulozāku aprēķinu, tostarp ar MI rīku palīdzību. Ja pokera pilnības robeža pastāv, tad no zinātnes skatpunkta mēs tai strauji tuvojamies.

Avoti:

• Wikipedia – The Theory of Poker
• Wikipedia – Super/System
• 888poker – The Evolution of Poker Strategy
• TightPoker – The Evolution of Poker GTO Strategy
• arXiv – Game-theoretic approaches to imperfect information poker
• Science – Libratus AI beats top pros at poker
• Science – Pluribus Defeats Humans in 6-Max Poker
• arXiv – Beyond GTO: adaptive poker learning