Покер-румы
За свою долгую покерную карьеру Фил Гальфонд наблюдал все стадии эволюции вспомогательного покерного софта. Когда он только начинал играть в 2004 году, эти программы были довольно примитивными, и так продолжалось до тех пор, пока в их основу не был положен искусственный интеллект (ИИ).
В этой статье Фил затронул популярную нынче тему ботов, солверов, подсказчиков и других подобных вещей. Он рассказал, что представляют собой эти инструменты, какое влияние они уже оказали на покер и как повлияют на него в будущем.
Если вы ещё не знакомы с темой ИИ в покере, то ликбез в начале статьи поможет вам понять её самые важные части, но даже если вы разбираетесь в теме, в этом материале вы найдёте много интересного для себя.
Определения
Для начала давайте разберёмся с определениями, чтобы вы понимали, о чём идёт речь.
Солверы
Начнём с главного: что такое солвер? Это программа, в которую вы вводите данные о структуре игры, размерах стеков, сайзингах оппонентов, а она запускает симуляции методом полного перебора (brute force), чтобы выработать оптимальную стратегию действия в данной ситуации.
Это не полноценная игра в покер, где каждый участник может делать ставки и рейзы любого размера, но эта модель приближена к реальной игре и служит целью подсказать, как нужно оптимально играть в данном споте с точки зрения теории игр.
Оптимальная игра (GTO)
Что такое «оптимальная игра» с точки зрения теории игр? Определение, которое мне кажется наиболее осмысленным, звучит так: это стратегия, которую нельзя превзойти, даже если ваш оппонент знает, в чём она заключается.
Представьте, что на ривере я вам говорю: «Я буду ставить столько-то с такой-то частью моего диапазона, столько-то — с другой его частью, чекать буду с таким-то диапазоном, а в ответ на твою ставку я буду коллировать с такими-то руками и выкидывать такие-то». И вы ничего не сможете с этим поделать — в лучшем случае, вы сыграете в ноль.
Самый наглядный пример использования оптимальной стратегии — это игра в «камень, ножницы, бумагу». Если я скажу вам, что в 1/3 случаев буду выбрасывать «камень», в 1/3 случаев — «ножницы» и в 1/3 случаев — «бумагу», вы не сможете побить мою стратегию. Результатом нашей игры будет ничья.
Однако в покере дело обстоит несколько иначе. Если я использую оптимальную стратегию, некоторые ваши отклонения от неё не будут стоить вам денег, но многие — будут: например, коллируя на флопе со слишком слабой рукой, вы будете проигрывать мне деньги. Таким образом, в покере оптимальная стратегия не просто остаётся непревзойдённой, но и бьёт почти любую неоптимальную.
Боты
Бот — это компьютерная программа, которая считывает весь экшен с покерного стола, принимает решения, следуя определённой стратегии, а затем нажимает кнопки на экране. По сути, бот играет в покер вместо человека.
Боты появились задолго до солверов. Раньше их программировали вручную, задавая алгоритмы розыгрыша конкретных стартовых рук, размеры ставок на флопе и тёрне в зависимости от действий соперника, диапазоны колла и т.д. Но если бота объединить с современными достижениями в области ИИ, он становится способен обыграть любого человека в любом виде покера.
Однако так было не всегда. В 2010 году меня познакомили с командами программистов, которые создавали покерных ботов для университетских соревнований. В США компьютерные факультеты университетов часто соревнуются между собой в том, кто напишет самого плюсового покерного бота для игры хедс-ап. На заре покера такие программы писали для лимитного холдема, а одна из тех команд пошла дальше и создала бота для NLHE. На тот момент он играл чуть хуже лучших покеристов мира, в основном потому, что не мог просчитывать все возможные сайзинги. Поиграв немного против этого бота, я заметил, что когда я делаю очень маленькую ставку, например, 10% банка, он расценивает это как ставку размером 40% банка и слишком часто выкидывает.
Думаю, не нужно объяснять, почему использование ботов в реальной игре на деньги против людей очень вредно для онлайн-покера.
Подсказчики в реальном времени
Подсказчик в реальном времени (RTA или Real Time Assistance) — это сочетание бота и человека, что-то вроде киборга. За компьютером сидит человек и играет в покер, но ему помогает бот, который считывает экшен за столом и выдаёт точное решение для каждой улицы. Игрок при этом сам нажимает на кнопки, двигает мышкой, переписывается в чате — словом, ведёт себя как обычный человек. А если он продвинутый покерист, он даже может игнорировать некоторые подсказки.
Существует ещё одна разновидность подсказчика, когда игрок вручную обращается к базе данных предварительно просчитанных решений и ищет там похожий спот. База может быть публично доступной, а может быть просчитана игроком самостоятельно в программах MonkerSolver или PioSOLVER. В этом случае компьютер не считывает информацию с экрана и не проводит вычислений на лету, в процессе участвуют только глаза, мозг и руки покериста.
Эволюция обучающих инструментов
Теперь, когда у нас есть все эти определения, поговорим о солверах и о том, почему они никак не вредят покеру. Многие боятся, что эти машины будут подсказывать людям правильные ходы, и игры станут слишком сложными, все будут играть слишком хорошо.
Без сомнения, солверы вывели игру на новый уровень и повысили средний скилл игроков. Однако компьютерные программы, помогающие улучшать вашу игру, — это вовсе не какое-то новое явление. В 2005 году я играл турниры Sit-n-Go и пользовался софтом SitNGo Wizard, который помогал определить, какое действие прибыльнее с конкретной рукой — пуш или фолд.
Я вводил в программу размер призовых, стеки всех активных игроков, и каждому из них присваивал диапазон, с которым он, по моему мнению, будет коллировать. После этого программа рассчитывала, выгодно ли пушить, и сколько больших блайндов принесёт такой пуш на дистанции.
Мне нравилось учиться с помощью этого софта, перебирая разные руки. Например, J8s — это пуш. А J6s? Нет, это уже фолд. А что, если я буду не на хайджеке, а на катоффе? Тогда это будет намного более прибыльный пуш. Преимущество такого подхода в том, что он помогает понять, какие факторы больше всего влияют на результат.
Это помогло мне прокачать понимание таких ситуаций за столом, особенно во время живых турниров WSOP, где многие уравнивают олл-ины с далеко не оптимальными диапазонами. Я мог очень быстро принять приблизительное решение, например: за мной два игрока, на большом блайнде сидит огромный нит, который не будет принимать пуш размером 10 ББ даже с A-10, поэтому я могу пушить с двумя любыми картами. Это был очень эффективный способ обучения, но если бы сегодня я играл турниры Sit-n-Go, я бы не использовал этот софт, потому что он очень-очень медленный.
Шли годы, обучающие инструменты совершенствовались. Трекеры — почти ровесники онлайн-покера: в эти программы можно импортировать сыгранные раздачи и увидеть свои статистические параметры, а также параметры оппонентов, например, как часто они чек-рейзят флоп.
Как видите, всегда были программы, помогавшие улучшить свою игру в покер, и они постоянно развивались. До того, как появились солверы, игроки пользовались улучшенными инструментами, которые просчитывали ICM (Independent Chip Model), пуш-фолд и ре-пуш. Было множество покерных калькуляторов, одним из самых популярных считался CardRunners EV.
По сути, это был солвер, в который нужно вручную вводить каждый узел. На этих скриншотах показан простой пример, где у каждого игрока всего одна точка принятия решения. Но для каждого игрока вы можете прописать варианты действий в каждой точке, и CardRunners EV рассчитает линию с максимальным EV.
Самое важное, что нужно знать о солверах и искусственном интеллекте: погубят ли они покер?
Солверы — это просто ещё один инструмент для улучшения игры. Люди используют их и становятся лучше, но вы должны понять одну очень важную вещь:
Экшен в покерной раздаче может развиваться множеством возможных способов: префлоп, флоп, тёрн, ривер… Добавьте к этому разные последовательности прихода карт, и вы поймёте, что просто невозможно изучить все эти сценарии. Их слишком много! Даже если бы это было возможно, держать в памяти выученные решения всё равно не получится, потому что эти стратегии очень сложны, особенно, если в расчётах вы используете пять разных сайзингов. Вы даже близко не сможете всё это охватить.
Солверы сделали нашу игру лучше, научив сайзингам, которые мы до этого не использовали, и теперь мы видим преимущества этих сайзингов. Но никто не играет близко к идеалу.
Так верно ли, что солверы и другие подобные инструменты на основе искусственного интеллекта разрушают покер? По-моему, это совершенно не так, и нет никакого риска, что они сделают людей непобедимыми, потому что люди слишком ограничены в своей способности обрабатывать и запоминать информацию.
Боты, подсказчики и их обнаружение
Теперь о ботах и подсказчиках. Никто не спорит с тем, что они вредны для покера, но боты представляют собой гораздо меньший риск, чем подсказчики. На первый взгляд, это может противоречить логике, ведь подсказчику нужен человек, который будет нажимать кнопки, а бота можно запустить на тысяче аккаунтов одновременно, и для этого не нужна большая вычислительная мощность. Отчасти это правда, но покерным сайтам гораздо проще отследить ботов по схожему поведению. Дело не только в естественности движений мышки, но и в таймингах, которые сопровождают конкретные игровые действия.
Ещё бóльшую роль здесь играет экономика. Команда разработчиков тратит столько времени на создание бота не для того, чтобы запустить его на одном-единственном аккаунте в кэш-игре на средних лимитах. Обычно мошенники создают целые сети ботов, которые рано или поздно разоблачают, и для этого есть несколько причин:
- Бот-сети — это множество игроков с почти одинаковыми статами, которые не меняются со временем.
- Каждому из ботов нужно придумать фальшивую личность: документы, банковские карты… Чаще всего ботов вычисляют именно по нестыковкам в платёжной информации.
Если сравнить регулируемые и нерегулируемые покер-румы, как вы думаете, кто из них ловит больше ботов и почему? Правильно, регулируемые комнаты обычно накрывают гораздо больше бот-сетей. Но большинство людей думает, что дело в стоящих над ними регулирующих органах, которые заставляют иметь службу безопасности и расследовать подозрительные случаи. Это не обязательно так.
Зачастую причина, по которой сайты работают как нерегулируемые, заключается в том, что это их бизнес-решение. Нерегулируемые сайты могут принимать депозиты, не спрашивая у игроков подтверждение личности. Вы можете завести там сразу несколько аккаунтов, а для депозита использовать биткойны или дюжину других рандомных способов.
В то же время, чтобы играть в регулируемом покер-руме, вы должны предоставить копию своего ID, счёт за коммунальные услуги, а также иметь банковский счёт или банковскую карту на своё настоящее имя. Как следствие, в регулируемых покер-румах ботоводы сталкиваются с гораздо большими трудностями: им не только приходится придумывать личности всем своим аккаунтам, но и доказывать легальное происхождение их банкроллов.
Операторы подсказчиков порой сталкиваются с теми же проблемами. Если вы создаёте мошенническое ПО такого типа и хотите продать его большому числу людей, то им тоже понадобятся реальные личности, и все они будут играть очень похоже друг на друга.
Причина, по которой подсказчик труднее обнаружить, заключается не столько в естественных движениях мышки или возможности переписываться в чате. Дело в том, что живые люди могут отклоняться от сценария. Например, подсказчик советует рейз на тёрне, но человек думает: «Я знаю этого игрока, и у него в этом споте почти всегда будет хорошая рука, поэтому я не буду рейзить тёрн». И если он поступает так достаточно часто, его статы настолько сильно отдаляются от оптимальных, что его становится не так легко вычислить.
Это подводит нас к одному из основных способов обнаружения ботов и подсказчиков — анализу игровой статистики. В прошлом такой анализ проводился вручную или полуавтоматически: служба безопасности покер-рума находила игроков с наиболее похожими статами и прогоняла их раздачи через солвер, чтобы посмотреть, как часто они играют оптимально.
Теперь такая полуавтоматическая проверка намного сильнее автоматизирована: софт сам помечает игроков с определёнными критериями, после чего специалисты приступают к подробному изучению таких аккаунтов. Критерии могут быть разными: например, какие-то аккаунты всегда играют за одним столом, в этом случае может иметь место сговор или обмен информацией о карманных картах, будь то боты или живые люди. Или же в конкретных спотах все помеченные аккаунты демонстрируют статистику, которую среднестатистическому игроку было бы очень трудно достичь без использования мошеннического софта.
Есть ещё один неочевидный факт, который помогает ловить читеров: большинство игроков в покер не выигрывает на дистанции. В зависимости от популярности покер-рума и доли любителей за столами, 75–90% аккаунтов играют в минус. На большой выборке нет нужды проверять минусовые аккаунты: даже если они мошенничают, у них это плохо получается, и они не вредят покерной экологии. Это немного сужает круг поисков: вы смотрите только на плюсовые аккаунты, сопоставляете их с другими и т.д.
Это самый общий взгляд на то, как вычисляются боты и подсказчики. Есть и другие способы: например, покер-клиенты некоторых румов делают скриншоты вашего экрана во время сессий, чтобы посмотреть, не пользуетесь ли вы программами-подсказчиками. Также румы могут проверять процессы, запущенные на вашем компьютере.
Мы обречены? Что нужно, чтобы искоренить мошенничество?
Если вы дочитали до этого места, вероятно, перспективы онлайн-покера кажутся вам довольно мрачными. Такое чувство разделяют многие рекреационные игроки, но на самом деле все эти боты, хотя они, конечно, существуют, не составляют большой процент игроков — их очень мало, и они довольно часто попадаются.
Есть большое заблуждение, что большинство ботов ловят благодаря другим игрокам, которые анализируют статистику и на основе этого анализа проводят разоблачения. В частности, именно бдительные покеристы в своё время разоблачили «суперпользователей» в комнатах UltimateBet и AbsolutePoker. И причина, по которой румы бездействуют, якобы заключается в том, что они сами стоят за всем этим.
Это правда, что покеристы сами вычисляют ботов с помощью анализа статистики, но правда и то, что у некоторых румов, например, PokerStars, есть отличная служба безопасности. Процент ботов, которые были вычислены по жалобам игроков, составляет всего 3–7% от общего числа. По моей оценке, их число меньше 5%, и румы обнаруживают их раньше самих игроков. Хотя неравнодушным игрокам, конечно, стоит сказать спасибо — они проделывают большую работу в этом направлении.
Хочу оговориться, что во всех покер-румах большинство плюсовых игроков выигрывает честно. Это само по себе говорит о том, что современные игры можно побить и боты не уничтожают онлайн-покер.
Нет сомнений, что боты — это плохо, но станут ли они ещё более опасными? По этому поводу у меня есть осторожный оптимизм.
В чём они ещё могут стать совершеннее, так это в том, чтобы лучше избегать обнаружения, но это сложная задача как для создателей ботов, так и для операторов подсказчиков. Для этого нужно достаточно часто отклоняться от стратегии, которую советует солвер, но тогда получится, что вы уже не применяете правильную стратегию. Оптимальную стратегию невозможно скрыть, она всегда будет выглядеть как оптимальная стратегия.
Искусственный интеллект будет обнаруживать ботов всё лучше и лучше, в то время как самим ботам уже особо некуда развиваться. Также я надеюсь, что онлайн покер-румы и операторы живого покера начнут вместе бороться с мошенниками. Недавно такой прецедент уже был: GGPoker забанили Али Имсировича, Джейка Шиндлера и ряд других покер-про, а вслед за этим бан поддержали офлайн-серии WSOP и PokerGo. В качестве сдерживающего фактора, нужно чтобы румы не только совместно ловили читеров, но и сурово наказывали провинившихся, чтобы отбить охоту у остальных.
Что ВЫ можете сделать, чтобы защитить себя?
На этот вопрос нет однозначного ответа. К сожалению, вы в некоторой степени зависите от покер-румов, в которых играете. Как я уже говорил, регулируемые румы, особенно крупные, как правило, безопаснее. И не только потому, что держат больше сотрудников в службе безопасности, а ещё и потому, что проверяют документы всех игроков. Чем проще вам сделать депозит, тем проще ботам играть на этом сайте.
В старые времена, когда вы длительно проигрывали не самым сильным соперникам, но у вас не было доказательств обмана, лучшим решением было просто спуститься на лимит ниже или сменить покер-рум. Но сегодня вы можете проанализировать игру соперника и понять, что он действительно играет плохо. Или вы обнаружите у себя недобор 50 БИ по EV — это значит, что вам просто не везло.
Проблема в том, что если в руме действует сеть ботов, они часто делятся друг с другом своими карманными картами. Или это может быть не бот-сеть, а сговор, и эти люди тоже сообщают друг другу свои карты, что даёт особенно большое преимущество в такой игре, как PLO (например, мошенники могут понять, что у вас всего 8 аутов вместо 13).
Почти всегда можно найти другую игру, которая будет так же хороша или даже лучше. Вы мало что потеряете, но иногда такой шаг будет означать, что вы покинули игру, где вас обманывали.
Более того, если игру возможно побить, но вы не можете понять, почему в ней проигрываете, это ударит по вам психологически. Вы будете играть с опаской, что отрицательно скажется на вашем винрейте. Вы будете сомневаться в себе, поэтому покинуть такую игру — беспроигрышный вариант, независимо от того, обманывают вас или нет. Не зацикливайтесь на обмане, — вы никогда не узнаете, был он или нет, — просто смените обстановку, и этим вы защитите себя.
