Развитие искусственного интеллекта в покере за 20 лет

Развитие искусственного интеллекта в покере процесс неминуемый. Все больше и больше покерных профессионалов говорят, что пользуются современными технологиями для совершенствования своей игры. Взять хотя бы недавнее заявление члена команды профессионалов PartyPoker Айзека Хэкстона, который видит будущее онлайн-покера тесно связанным с ИИ.

Вообще, тема искусственного интеллекта в покере очень любопытна. Вопрос – почему ей уделяют гораздо больше внимания, чем, к примеру, искусственному интеллекту в шахматах? Все дело в сложности. Гораздо проще решить игру, в которой информация является общедоступной. В шахматах вся информация лежит на поверхности: расположение фигур на доске, предыдущие и будущие возможные ходы игроков.

Почему покерный ИИ любопытен далеко за пределами покера

Тот кто лучше и быстрее может проанализировать всю эту информацию, тот и будет победителем. И тут у человека и его мозга просто нет шансов перед компьютером. Простой пример. Кто быстрее и лучше сможет проанализировать базу данных из тысячи рандомных 8-значных чисел на предмет наличия в каждом цифр 1 и 3? Правильно – компьютер.

Конечно, человек тоже справится с этим легким поручением, только на это уйдет гораздо больше времени.

В решении задач, где известны абсолютно все переменные, компьютер просто всухую громит человека. Но порядок дел сразу меняется, как только одна или несколько переменных становятся неизвестными. Помимо большого количества щедрых фишей, покер замечателен еще и тем, что является идеальной “задачей” с известными и неизвестными переменными.

Практический пример применения покерного ИИ

В одной из своих статей я рассказывал про хакатон от Сбербанка. Вкратце расскажу его суть. Сбербанк в прошлом году проводил конкурс на создание покерного бота. Если вы впервые слышите эту новость, то у вас может возникнуть резонный вопрос: “Какое дело Сбербанку до покерных ботов? Неужто Греф хочет начать в карты играть?”

Все дело в оптимизации процессов. Сбербанк (как и любой другой банк в мире) хочет зарабатывать больше денег. В один момент топ-менеджмент Сбербанка осознал, что добился почти максимального уровня дохода. Но “почти максимального” не значит “максимально возможного”.

Как гласит известная поговорка, “сэкономленный рубль – заработанный рубль”. И далее ход мыслей руководителей Сбербанка становится предельно понятным. Всем известно, что рядовые сотрудники любят пинать балду в рабочее время. Так почему бы нам не сократить штат сотрудников и не оптимизировать рабочий процесс таким образом, чтобы у оставшихся людей не было времени пинать эту самую балду, и они могли работать наиболее продуктивно?

Вот и решил Сбербанк с целью оптимизации рабочего процесса прибегнуть к помощи покерного ИИ.

К слову, пока дела с оптимизацией рабочего процесса у Сбербанка обстоят туго. Судить я могу по рассказам моей девушки, которая работает управляющим менеджером одного из операционных центров. В этом году им сверху пришел приказ о сокращении штата. Также в этом приказе было сказано, что норму всех оставшихся сотрудников необходимо поднять до 106%. Вот вам и чудеса оптимизации, сокращение людей и распределение их обязанностей между теми, кто остался.

Видимо, покерный бот, который одержал победу на хакатоне, не оправдал возложенных на него надежд (читай – полностью провалился). Что, в принципе, не мудрено, создать крутого покерного бота по силам только крутому покерному игроку. А какой крутой игрок продаст крутого покерного бота за 500,000 рублей? Настоящий замкнутый круг.

История развития покерного ИИ

Развитие можно рассматривать под двумя противоположными углами – “что было до” и “что будет после”. Второе, в большинстве случаев, сводится к банальному гаданию на кофейной гуще, так как реально оценить перспективы чего-либо редко у кого получается. Поэтому свой сегодняшний пост я хотел бы посвятить истории развития искусственного интеллекта в покере. Здесь мне не придется заниматься “угадайкой”, я лишь расскажу о том, как с течением времени менялся покерный ИИ и представление людей о нем.

1984 год – Майк Каро представляет зародыш покерного ИИ

Профессионального игрока в покер Майка Каро можно считать отцом покерного ИИ. Именно он первым написал компьютерную программу “Орак”, против которой играли несколько игроков на WSOP 1984. Майк работал над “Ораком” на протяжении двух лет.

Примечательно, что сама игра не проходила на компьютере, программа лишь сканировала доступные ей карманные карты и общие карты на доске, и на основе этих данных выдавала те или иные действия, которые должен был сделать живой игрок. В одном из таких матчей “Орак” одержал победу не над абы кем, а над самим крестным отцом покера, Дойлом Брансоном.

1991 год – начало работы над покерным ИИ

В этом году начинается разработка покерного ИИ группой ученых из Альбертского университета. На сегодняшний день группа ученых из этого университета является крупнейшими исследователями покерных ботов в мире.

1997 год – проигрыш Гарри Каспарова шахматному ИИ и появление покерного бота Локи

В 1997 году один из сильнейших шахматистов в истории Гарри Каспаров сошелся в поединке против шахматного бота “Deep Blue”. Этот поединок стал первым масштабным проигрышем в шахматы человека компьютеру.

В этом же году начинает возрастать интерес к покерным ботам, так как фактически стало ясно, что в игре с полной информацией компьютер может превзойти человека. Спустя несколько месяцев после победы “Deep Blue” над Каспаровым, ученые Альбертского университета представляют первого в мире покерного бота под названием “Локи”, который заточен под игру за 9-макс столом.

1999 год – Локи “мутирует” в Поки, появляется первая покерная видеоигра

Ученые Альбертского университета осознали, что создать бота под игру за 9-макс столом чрезвычайно сложная затея. Они апгрейдят Локи под хэдз-апы и переименовывают его в Поки. В этом же году выходит первая покерная видеоигра “Stacked” для Xbox. Рекламным лицом и главным персонажем этой игры стал Даниэль Негреану.

2002-2004 годы – сосредоточение на хэдз-апах и уход от модели шахматного бота

После создания Поки ученые из Альбертского университета решают сосредоточиться на разработке ботов для хэдз-ап игры. В 2002 году они выпускают два новых бота – PsOpti и Sparbot.

Без особого труда эти два бота, как и Поки, были повержены человеком, и в 2003 году команда ученых решает отойти от методологии, которую использовали разработчики шахматного бота “Deep Blue”. Это стало ключевым шагом в развитии покерного ИИ.

2005 год – новая команда разработчиков покерного ИИ

В этом году у ученых из Альбертского университета появились конкуренты. К разработке покерных ботов приступила команда из университета Карнеги-Меллона.

2006 год – соревнование ботов от разных разработчиков

На форуме ACM впервые между собой сразились покерные боты от разработчиков Альбертского университета и университета Карнеги-Меллона. Данный форум проводится до сих пор.

2007 год – Фил Лаак играет матч против покерного бота

В 2007 году состоялся первый официальный хэдз-ап матч между профессиональным игроком Филом Лааком и новым ботом “Polaris”, который разработали ученые из Альбертского университета. Несмотря на неплохую игру бота, Фил Лаак все одержал победу. Человечество – 1, покерные боты – 0.

2009 год – еще одна команда разработчиков покерного ИИ

У ученых из Альбертского университета и университета Карнеги-Меллона появляются коллеги из университета Окленда. В этом же году они представили своего первого покерного бота “Sartre”.

2011 год – появление покерных ботов в онлайн-покере

Этот год можно смело назвать самым провальным для онлайн-покера. Мало того, что весной случилась печально известная “Черная Пятница”, так еще было засвидетельствовано повальное количество ботов в румах PokerStars и Full Tilt Poker.

В этом же году начинается борьба с ботами в онлайне. Покер-румы начинают активно работать над ПО, которое может распознавать ботов и отличать их от реальных пользователей.

2015 год – лимитный холдем побит покерным ИИ, появление бота Клаудико

Настоящий прорыв в разработке покерного ИИ произошел в 2015 году. Именно тогда компьютер побил игру в хэдз-ап матчах в лимитном холдеме. Разработать такого серьезного бота смогли ученые из Альбертского университета. Небольшой спойлер: на момент написания этой статьи, середина марта 2018 года, хэдз-ап в лимитном холдеме является единственным форматом, где компьютер доминирует над человеком. Держитесь от игрой подальше.

В этом же году ученые из университета Карнеги-Меллона представляют покерного бота Клаудико. Клаудико сталкивают в хэдз-ап матче по безлимитному холдему против команды 4 профессиональных игроков, которую возглавляет Даг Полк. Отыграв 80,000 рук против Клаудико игроки смогли показать профит в $732,713.

2017 год – “старший брат” Клаудико, Либратус, отомстил игрокам

Разработчики Клаудико представляют нового покерного бота под названием Либратус. Либратус является доработанной версией Клаудико. В повторном матче против других четырех профессионалов Либратус на протяжении уже 120,000 рук смог показать профит $1,766,250 в хэдз-апах по безлимитному холдему.

После матча игроки отзывались о Либратусе как о настоящей GTO-машине. И хоть для плюсовой игры против человека Либратусу нужны довольно строгие условия (наличие очень глубокого стека определенного размера), можно предположить, что следующий шаг развития покерного ИИ уже не за горами.

Opt In Image

Азиатское поле игроков и 50% рейкбек

Получи от нас спец. сделку 50% рейкбек + море азиатской рыбы на LotosPoker!

0 Comments

Сохрани к себе на стену, что бы не потерять.