Сколько осталось онлайн-покеру? Насколько реальна угроза солверов, подсказчиков и искусственного интеллекта

Вы наверняка слышали, что GTO-солверы, подсказчики, высокий рейк и непобедимые боты разрушили игру. Но так ли это на самом деле, или в покере до сих пор есть большие возможности для заработка и адаптации? В этой статье авторы подкаста Red Chip Poker разобрали мифы и реалии, связанные с так называемым упадком покера. Они исследовали историю развития искусственного интеллекта в покере, начиная с поверхностного решения лимитного холдема и заканчивая поисками настоящего, глубокого решения безлимитного холдема. Также они разобрали вопрос, действительно ли современные GTO-инструменты делают поле сильнее, или они только запутывают игроков? После прочтения статьи вы будете глубже понимать реальные угрозы покеру, то, как адаптировать свой подход, и почему игра пока очень далека от решения.

С чего всё началось: миф о боте Cepheus

Забегая вперёд, я не считаю, что покер близок к своей смерти. Ниже мы разберём причины, почему покер, весьма вероятно, ждёт долгое будущее.

Вопрос о смерти покера часто поднимается в связи с тем, решена эта игра или ещё нет. Если математическое решение уже найдено, это значит, что в покере, особенно в его онлайн-версии, возможны идеальные игроки, которых невозможно обыграть. Если слишком многие игроки используют GTO-решения, это потенциально делает невозможным заработок покером.

Если развить этот вопрос дальше, то его самой распространённой вариацией будет следующая: «Подрывают ли RTA-подсказчики саму возможность получать стабильный доход от покера?» (Под RTA имеются в виду подсказчики в реальном времени — это либо боты, играющие по GTO, либо люди, нажимающие кнопки в соответствии с GTO-решением.)

Идея подсказчиков в реальном времени не нова, она предшествовала коммерческой доступности солверов. Даже до Чёрной пятницы 2011 года были игроки, утверждавшие, что покер мёртв, потому что все научились достаточно хорошо играть. Ну а после Чёрной пятницы, когда условия стали хуже, это фразу теперь можно услышать на каждом шагу, и ряд последующих событий утвердил у многих игроков мысль о том, что возможность зарабатывать покером подошла к концу.

Одним из таких событий была новость о том, что в 2015 году ИИ-бот Cepheus «решил» покер (правда, не весь, а только лимитный холдем хедс-ап). Игроки, которые к тому моменту уже сомневались в перспективах прибыльности покера, восприняли это как последний гвоздь в крышку его гроба: «Мы знали, что этот день наступит — покер наконец-то просчитан. Теперь больше нет никаких шансов на то, что можно будет зарабатывать деньги игрой».

На длинной дистанции у человека не было шансов обыграть Cepheus в лимитный холдем один на один. В лучшем случае, потратив огромное количество времени на изучение GTO, вы бы могли выйти против него в ноль, но в игре с рейком результат всё равно бы получился отрицательным. Таким образом, даже играя по идеальной стратегии, вы бы не смогли показать профит против этого бота. После таких новостей логично было предположить, что мы все обречены, и зарабатывать покером больше не получится.

Действительно ли появление Cepheus означало, что мы обречены? Этот бот был предназначен только для игры в лимитный холдем хедс-ап, но уже тогда мало кто играл в эту дисциплину. Да, в онлайн-покере было какое-то количество олдскульных гриндеров LHE, но даже среди них не все играли хедс-ап — в основном 9-макс или 6-макс.

Сильные и слабые решения в теории игр

Другой интересный факт о Cepheus заключается в том, что он на самом деле не полностью решил HU LHE. Это было так называемое слабое (обобщённое) решение. Вообще, в теории игр выделяют несколько уровней решения — ультраслабое, слабое и сильное, и среди них трудно провести грань между математически доказанным фактом и утверждением, требующим доказательства:

• Сильное (полное) решение — это алгоритм, который выдаёт идеальные ходы в любой момент игры, даже если один или оба игрока к тому моменту уже допустили ошибку;
• Слабое (обобщённое) решение содержит оптимальные ходы для обоих игроков, при условии, что до текущего момента никто из игроков не ошибался. Однако если на предыдущей улице кто-то из них сыграл не по GTO, то оптимальное решение не обязательно будет известно;
• Ультраслабое решение показывает, каким будет результат для одного из игроков (выигрыш, проигрыш или ничья), если они оба будут играть идеально с самого начала. По своей сложности ультраслабые решения варьируются от простого утверждения, что на длинной дистанции игрок в позиции будет в плюсе, до решений, которые учитывают множество переменных, но по-прежнему не дотягивают до слабого решения.

Стратегия Cepheus для лимитного холдема один на один была слабым решением. Бот знал, как играть в идеальный покер, но только в тех ситуациях, которые были частью GTO-дерева. Против оппонента, который играл очень плохо и допускал массу ошибок, Cepheus не обязательно знал лучшее решение (хотя у таких оппонентов он, как правило, всё равно выигрывал).

А теперь перенесёмся на территорию безлимитного холдема. У всех есть доступ не только к солверу, но и к предварительно просчитанным решениям. Если мы хотим узнать приблизительное GTO-решение для какого-либо спота, это можно сделать за пару секунд. Возникает вопрос: к какому типу относится такое решение? Очевидно, что решение солвера — не полное, а лежит где-то между сильным и ультраслабым.

Почему наличие солверов ещё не означает, что игра просчитана

Проведя анализ, можно прийти к выводу, что расчёт солвера относится к ультраслабым решениям. Расчёты современных солверов даже близко не стоят с тем, что сделал Cepheus в 2015 году. Решения Cepheus относились к слабым, а не ультраслабым, потому что учитывали любой возможный экшен как часть идеального GTO-дерева. Они включали в себя все возможные сайзинги ставок и рейзов, что в лимитном холдеме реализовать очень просто, поскольку в каждом споте возможен только один сайзинг.

Мы можем сказать, что дерево решений в HU LHE маленькое, но маленькое лишь относительно. Даже в этой дисциплине дерево занимает очень много места: есть множество сценариев разивития экшена, возможных флопов, тёрнов и риверов. Чтоб вы понимали, с точки зрения «железа» Cepheus был суперкомпьютером с 48 процессорами, и для решения лимитного холдема хедс-ап ему потребовалось «всего» 68 суток непрерывной работы.

Дерево в безлимитном холдеме на порядки сложнее. Технически, для полного решения оно должно содержать все возможные сайзинги от чека до олл-ина, все возможные глубины стеков и т.д. Даже если ограничить расчёт глубиной стека 100 ББ, то самый мощный из современных компьютеров может не управиться с ним за всю человеческую жизнь (и здесь мы говорим не о полном решении, а о слабом, которое повторило бы достижение Cepheus). А ведь есть ещё глубина 150 ББ, 200 ББ…

Если вы когда-нибудь работали в солвере, то знаете, что часть этой работы заключается в построении дерева. Мы сообщаем солверу, какие сайзинги он может использовать в каждой узловой точке, например, 50% и 100% банка на флопе. В некоторых точках у него даже нет выбора, например, когда он чекает флоп перед префлоп-рейзером или ставит всем диапазоном.

Как видите, до конца нашей жизни для безлимитного холдема 6-макс, скорее всего, не будет найдено даже слабого решения. С другой стороны, ультраслабое решение солвера — это всё же довольно мощная стратегия, которую не сможет побить большинство людей. Кроме того, GTO-решения уже довольно распространены среди игроков, поскольку, как уже говорилось, солверы или предварительно рассчитанные GTO-решения сегодня доступны каждому, включая читеров. Так может быть, чтобы онлайн-покер перестал быть прибыльным делом, его полного решения и не требуется? Вот несколько соображений на эту тему…

Действительно ли RTA-подсказчики выигрывают на дистанции?

Во-первых, использование RTA нарушает правила покер-румов, а у румов есть свои службы безопасности. Если только вы не очень изворотливый читер, вас рано или поздно забанят. Типичный игрок даже не знает, как избежать попадания на радар службы безопасности. Суть в том, что в руме может существовать лишь ограниченное количество мошенничества, прежде чем даже самая некомпетентная служба безопасности поймёт, что дело нечисто, и начнёт банить подозрительных игроков.

Есть два типа RTA — автоматический (солвер-бот) и ручной (человек нажимает кнопки, пользуясь подсказками солвера). Принцип действия ручного подсказчика выглядит очень незатейливым: просто копируй то, что говорит солвер. Однако на самом деле, даже если мы знаем решение для какого-то спота, оно часто бывает сложным и содержит массу смешанных стратегий, его трудно отслеживать и выполнять, если вы не очень-очень сильный игрок. Кроме того, реализация таких решений отнимает много времени, потому что каждый новый спот нужно вручную вводить в солвер, и это отрицательно сказывается на количестве разыгрываемых рук в час.

Другой момент состоит в том, что реализация ультраслабых решений солвера на практике далеко не так эффективна с точки зрения высоких винрейтов. Базы данных онлайн-игроков свидетельствуют о том, что самые высокие винрейты демонстрируют те, кто играет по эксплойту. Более того, ведутся споры о том, что в некоторых игровых средах ультраслабые решения могут даже не вывести вашу игру в плюс с учётом рейка. Вполне возможно, что в ряде игр GTO-стратегия принесёт вам лишь маргинальную прибыль.

Длительная игра в таком режиме означает сильную утомляемость из-за постоянных сверок с солвером, очень малый объём наигрыша и, как следствие, слишком маленький профит. Кто будет заниматься таким по 12 часов в день, рискуя баном от службы безопасности? По крайней мере, подавляющее большинство игроков на это явно не пойдёт. Проще устроиться на работу.

Автоматические подсказчики могут казаться лучше, но есть ли у вас навыки программирования, позволяющие создать RTA-бота? Знаете ли вы, как организовать передачу информации солверу, запущенному на втором компьютере? А как заставить компьютер автоматически нажимать кнопки в покерном клиенте?

Ирония в том, что игрок, достаточно скиловый для такой деятельности, скорее всего, достаточно умён и для того, чтобы честно выигрывать в онлайн-покере. Вероятно, он и так бьёт высокие лимиты без необходимости использовать подсказчик.

Хотя очень трудно обыграть того, кто умело использует RTA-подсказчик, такие читерские инструменты относительно легко обнаруживаются службой безопасности. Кроме того, высокий порог входа мешает этим программам широко распространяться — у среднестатистического человека нет таких технических навыков и вычислительных ресурсов. Таким образом, лишь небольшой процент игроков может мошенничать подобным образом.

Бороться с GTO-роботами по-прежнему можно с помощью гейм-селекта

В покере наличие игроков, играющих лучше нас, — не обязательно большая проблема. Даже без читерства и подсказчиков мы не сможем быть игроком номер один в мире. В одном пуле с нами обязательно будут более сильные игроки, но это не значит, что мы не сможем зарабатывать деньги. Гейм-селект всегда был неотъемлемой частью покера, поэтому если мы подозреваем кого-то в читерстве, лучше просто не играть против него. Мы должны выбирать оппонентов, над которыми у нас точно есть перевес в мастерстве. И пока мы придерживаемся этого принципа, для нас не сильно страшно, если небольшой процент поля мошенничает — мы по-прежнему сможем выигрывать деньги.

Безлимитный холдем — не единственная разновидность покера в онлайне. Если игроки нашли способ мошенничать в NLHE с помощью RTA-подсказчиков, то эти подсказчики работают исключительно в NLHE.

Даже в самом апокалипсическом сценарии, когда в безлимитном холдеме у каждого игрока будет доступ к достаточно сильному GTO-решению, мы сможем просто мигрировать в другую дисциплину, где просчитать идеальную стратегию будет гораздо сложнее.

Кстати, даже если мы играем против RTA-бота, использующего ультраслабое решение, технически мы можем его обыграть. Его решение — не идеальное, и если знать изъяны этого бота, можно показывать против него положительный винрейт.

Если развить эту мысль дальше, можно прийти к следующему вопросу: на самом ли деле избыток информации о GTO (включая предварительно просчитанные решения) делает игроков лучше? До сих пор кривая обучения шла по постепенной восходящей траектории, когда средний уровень онлайн-игроков медленно улучшался год за годом. Но при том избытке GTO-информации, который существует в современном покере, я больше не уверен, что это делает игроков лучше. Да, люди обсуждают между собой более продвинутые теоретические стратегии, чем раньше, но переносится ли это на качество игры? Возможно, среднестатистического игрока это скорее запутывает или даже заставляет играть хуже. Если раньше прогресс заключался в том, что люди узнавали достаточно простые эксплойтные стратегии, то сегодняшнее обучение — это сложный микс из солверных таблиц и частот, который не так-то просто освоить.

Выводы

Так мёртв ли современный покер? Нет, до этого ещё очень далеко. Если он и мёртв, то лишь в отдельных дисциплинах. Риски от читерства ниже, чем риск того, что крупные румы установят монополию на трафик в онлайн-покере и, к примеру, повысят рейк настолько, что игру будет невозможно побить наже на высоких лимитах.

Представьте себе, что они рассматривают покер не как конкурентную игру, а как игру казино вроде рулетки или блекджека. Их не волнует, есть ли у игроков возможность стабильно зарабатывать на длинной дистанции. Вот почему покеристам важно быть очень разборчивыми в том, в каких румах они играют, и не давать слишком много власти тем операторам, которые действуют исключительно в интересах собственной прибыли, игнорируя интересы покера.

Но если покерную индустрию не уничтожит большой и жадный оператор, то худший сценарий, с точки зрения читерства и использования подсказчиков, может включать в себя переход из безлимитного холдема в пот-лимитную омаху или другую дисциплину.