Присоединяйтесь, чтобы читать еще больше
покерных новостей в социальных сетях!
Спасибо, я уже с вами!
Sign up

AI в покере. Минимизация наших потерь

30.10.2016  /   0

Минимизация наших потерь

 

Давайте представим игровую ситуацию. У вас разномастные АК на баттоне, $400 на столе и флоп 973 радугой. Ваш оппонент чекает, и ход за вами. Что вы выберите?

 

Ну, вы, конечно, можете чекнуть или поставить. Для каждого выбора вы можете играть оставшуюся часть рук против большого рандома разнообразных рук оппонента, что называется «в лобовую». Мы можем перемотать наперед все это действо. Поэтому думайте об этом варианте решения каждый раз, когда у вас на руках префлоп-карты и есть известные карты на столе, мы можем найти решение для идеальных ответов для обоих игроков, если будем играть оставшуюся часть руки. Конечно, ни один из игроков не знает, какие карты будут следующими, и оппонент не сможет отличить ситуации, в одной из которых у вас AK, а в остальных другие различные карты, но при условии, что беты и открытые карты в данных ситуациях одинаковы.

 

Вы могли бы подумать, что CFR алгоритм будет выбирать действие с наибольшим количеством очков против идеального оппонента, но именно в этом месте и приходит «сожаление». Что делает алгоритм – это рассматривает все стратегии, которые не включают в себя действия под вопросом, и учитывает то, насколько мы «сожалеем», исключив это действие из нашего арсенала. Сожалеем ли мы (спрашивает CFR), если наш оппонент знает, что мы никогда не будем чекать? И сожалеем ли мы, если наш оппонент знает, что мы никогда не бетим в данной ситуации и с данной рукой?

 

Иными словами, наша основная линия – бетить 50% случаев и столько же чекать, просто потому, что эти два действия позволены. Затем мы исследуем варианты того, что произойдет, если мы никогда не будем выполнять ни одно из этих действий. Скажем, мы никогда не бетим. Будем ли мы сожалеть? Насколько? И что произойдет, если мы никогда не будем чекать? Будем ли мы также сожалеть?

 

Думаю, что с нашими разномастными AK на флопе 973 радугой мы будем сожалеть, если не будем бетить, хотя если мы исключим чек, ситуация будет похожей. Что удивительно в алгоритмах CFR, это то, что мы можем брать каждое действие в пропорции к его совокупному сожалению (то есть сожаление от неиспользования определенного действия), и это соотношение приближает нас к равновесию Нэша.

poker

Оказывается, что нет необходимости решать каждую ситуацию в игре, доходя до ее конца. По мере того, как мы совершенствуем стратегию в каждой ситуации отдельной игры, рассчитывая сожаление и попытки его минимизировать, мы можем использовать текущую «лучшую стратегию» для игры оставшейся части руки, чтобы получить велью следующей ситуации в симулировании нашей руки, и это довольно неплохо. Поскольку каждая ситуация минимизации сожаления немного улучшает решение, а так как мы проходим цикл всех ситуаций игры, в итоге мы сходимся на хорошей средней стратегии.

Интересно? Поддержи развитие покера - расскажи друзьям.


^