Покер-румы
За последние два с половиной десятилетия искусственный интеллект преодолел путь от страниц научно-фантастических книг до самой что ни на есть реальной жизни. Уже сейчас существуют системы, которые с легкостью обыгрывают людей в шахматы и го. И это вполне нормально, так как информация в этих играх открыта для каждого, и тот, кто быстрее может ее обработать и проанализировать – получает преимущество.
До недавних пор было принято считать, что для такой игры, как покер, невозможно написать плюсового бота, так как в ней как минимум невозможно получить точную информацию касательно руки своего оппонента. Но, скорее всего, если искусственный интеллект продолжит развиваться семимильными шагами, то в ближайшем будущем ему удастся это нивелировать и начать показывать стабильный плюс против людей.
2017 год, в некотором смысле, стал поворотным с точки зрения развития покерного ИИ, так как тема ботов и ботоводов ни раз становилась серьезным инфоповодом, а вопросы “Есть ли в онлайн-покере боты?” и “Могут ли они убить онлайн-покер?”, которые берут свои истоки аж со дня создания этого самого онлайн-покера, очень горячо обсуждались в комьюнити.
Думаю, каждый со мной согласится, что двумя наиболее (да простит меня ГСЧ за это слово) хайповыми темами уходящего года, которые напрямую связанны с покерными ботами и ИИ, стал конкурс на создание покерного бота от самого “народного” банка во вселенной, который при переводе с карты на карту из двух регионов одной страны умудряется взимать дополнительную комиссию – Сбербанка и победа готового бота Либратуса в хэдз-ап матчах против довольно сильных регуляров этой дисциплины.
Хакатон от Сбербанка
В конце лета 2017 года Сбербанк провёл хакатон Sberbank Holdem Challenge для специалистов по машинному обучению и искусственному интеллекту с призовым фондом 600,000 рублей. Целью хакатона было создание успешного покерного бота, на основе которого можно создать нейронную сеть, чтобы помогать компании оценивать операционные риски.
Конечно, было бы глупо полагать, что разработчики действительно стоящих покерных ботов продадутся за столь ничтожную, в сравнении с потенциальной прибылью, сумму, однако несколько достойных программеров все же приняли участие в хакатоне. И пусть они написали довольно посредственных ботов, которые все же справились со своей основной задачей – оказаться выше в турнирах против таких же ботов.
Можно сделать вывод, что если кто-то захочет написать действительно лучшего покерного бота, то в принципе рано или поздно он это сделает.
Отдельное внимание я хотел бы уделить тому факту, что ребята, которые разработали калькуляторы Simple Nash и Simple Postflop, также принимали участие в хакатоне от Сбербанка и даже заняли там третье место. Естественно, у их бота была какая-то тактика, и он ее придерживался.
Если вкратце ее описывать, то для префлопа он использовал фиксированные диапазоны, которые были приближены к GTO и учитывали основные игровые тенденции. Для постфлопа бот рассчитывал эквити своей руки против 100% диапазона оппонента, а также учитывал количество оппонентов на постфлопе и выбирал разные действия в зависимости от разных пороговых значений эквити.
Почему я отдельно выделил именно бота от команды Simple Postflop, а не бота занявшего первое место в основном соревновании? Помимо того, что боты соревновались между собой (это и было основным соревнованием), отдельно проходила игра между ботами и людьми. И вот там алгоритму бота от Simple Postflop не было равных, и он занял первое место, победив в хэдз-апе турнира живого игрока.
Клаудико и Либратус
Впервые, покерный бот под названием Клаудико, который специализируется на хэдз-апах, сыграл против 4 сильных регуляров этой дисциплины в 2015 году. Тогда игроки сыграли против Либратуса дистанцию в 80,000 рук и оказались в плюсе на условные $732,713. Все бы ничего, но изначальный кап Клаудико находился на отметке $85,000,000, т.е. игроки отбили у него меньше половины одного процента банкролла.
И вот, в начале 2017 года “старший брат” Клаудико, доработанный бот Либратус встретился с 4 хэдз-ап регами, чтобы “отомстить” обидчикам меньшого. И ему это удалось. После сыгранной дистанции в 120,000 рук он оказался в плюсе на $1,766,250 (при аналогичных капах). Конечно, и Клаудико, и Либратус нужны конкретные условия (хэдз-ап и наличие глубоких стеков), чтобы эффективно противостоять человеку. Однако уже сам факт того, что при определенных условиях бот может победить человека в покер, очень настораживает.
Стратегия хэдз-ап ботов
Регуляры игравшие против Кладуико и Либратуса отмечали, что оба этих бота придерживались теории равновесия Нэша и делали это очень хорошо.
Однако если в случае с Клаудико реги пытались его эксплойтить с помощью разнообразного бетсайзинга, то в Либратусе этот лик устранили, и казалось, что он реально знает карты оппонентов.
Либратус показывал очень сбалансированную игру, чередуя блефы со ставками на вэлью, использовал различные размеры ставок, а также адаптировался под характер игры своих оппонентов с помощью обучающих алгоритмов нейтронной сети. Его диапазон вообще нельзя было прочитать. К тому же, он очень хорошо соблюдал основы GTO, постоянно использовал новые тактики и сделал эксплойт любого рода против себя невозможным. Можно сказать, что Либратус показывал А-игру, которой должен придерживаться любой игрок, который мечтает разрывать хэдз-ап формат.
Что нас ждет дальше?
Безусловно, покерные боты, как и ИИ в целом, будут развиваться, и, скорее всего, когда-нибудь их способности превзойдут способности отдельно взятого человека в миллионы раз. Но для того, чтобы бить всю игру, нужны более комплексные алгоритмы в сравнении с хэдз-ап дисциплиной, которую в принципе можно бить с помощью чартов Нэша.
Я считаю, что убийство онлайн-покера из-за ботов произойдет не раньше того момента, когда нейронные сети научатся быть полностью самостоятельными и смогут переобучаться за долю секунды. Потому что сейчас банальное изменение размеров стека может полностью убить даже лучшего покерного бота Либратуса и сделать его игру неэффективной.
Но к тому моменту, когда нейронные сети станут полностью самостоятельными, никого не будет волновать проблема ботоводства в онлайн-покере. Единственной проблемой человечества будет спасение сына Сары Коннор, потому что только он сможет привести нас к победе в войне человечества против машин.
