Фестиваль Unibet Deepstack Open будет организован усилиями двух покерных гигантов

Топ-3 лучших онлайн казино за 2020 год:
  • КазиноИкс
    КазиноИкс

    Надежное казино с ДжекПотом 50 млн рублей и бонусами!

  • ДжойКазино
    ДжойКазино

    Бонус за 1,2,3 и 4 депозит по 100 000 рублей за каждый!

  • Чемпион
    Чемпион

    Русское казино с большими бонусами за регистрацию и каждое пополнение счета!

Покерная программа DeepStack обыгрывает профессионалов один на один

Дерево решений программы DeepStack в хедс-апе (игре один на один) безлимитного холдема на префлопе и флопе

Пионер современной теории игр Джон фон Нейман говорил: «Реальная жизнь вся состоит из блефа, из маленьких приёмов обмана, из размышлений о том, каких действий ожидает от тебя другой человек. Вот что представляет игра в моей теории» (цитата из 13-й серии документального сериала «Возвышение человечества»).

Другими словами, Джон фон Нейман предвидел, что для создания сильного ИИ компьютер должен научиться играть в игры с неполной информацией, которые наиболее соответствуют человеческому поведению в реальной жизни. Такие игры как покер.

Настольные игры — традиционная область экспериментов в сфере искусственного интеллекта. С каждым годом ИИ обыгрывает человека в разные игры. Сначала сдались шашки, потом шахматы, затем видеоигры Atari, последней пала игра го. Но всё это игры с полной информацией, в которых все игроки имеют полную информацию о состоянии игры. Покер — совершенно другое дело.

Учёные давно пытаются разработать программу, которая бы могла обыгрывать человека в безлимитном Texas Holdem. В отличии от других применений слабого ИИ, здесь успешная разработка окупится мгновенно, потому что ежедневно в онлайновых покер-румах разыгрывают банки на миллиарды долларов.

Джон фон Нейман говорил, что покер восхищает его, и это совершенно неудивительно, учитывая уникальные особенности этой игры с неполной информацией. У каждого игрока есть только часть информации о состоянии игры — и он действует, исходя из этой частичной информации, а также оценивая действия других игроков.

Раньше ИИ добивался некоторого успеха только при игре в лимитный холдем, самый примитивный вариант игры с ограниченным шагом повышения ставок. В лимитном варианте у игрока есть всего лишь 10 14 вариантов развития. Для сравнения, в безлимитном холдеме таких вариантов уже 10 160 . Кстати, в игре го вариантов развития 10 170 , но там игра с полной информацией, то есть принципиально более простая задача.

Игры с неполной информацией требуют совершенно более сложного уровня рекурсивного мышления, чем игры с полной информацией. Здесь правильное действие ИИ зависит в том числе от информации, которую ИИ получил от действий оппонента. Но информация, которую выдал оппонент, в свою очередь, является производной функцией от предыдущих действий ИИ и той информации, которую ИИ своими действиями выдал оппоненту. Это и есть рекурсивное мышление, с которым имеет дело программа DeepStack. И справляется она очень неплохо, судя по результатам игр с профессионалами (см. таблицу).

Результаты программы в хедс-апах с профессиональными игроками

Архитектура программы DeepStack показана на иллюстрации. Программа переоценивает свои действия на каждом этапе, когда от неё требуется принятие решения. Для расчёта вэлью каждой ставки используется дерево предвидения (lookahead tree), значения для подветок которого вычисляются с использованием нейросети, заранее обученной на случайных игровых ситуациях.

Структура нейросети демонстрирует, что на входе подаётся размер банка, открытые карты и диапазоны игроков (возможные комбинации, с которыми игрок мог войти в игру таким образом, каким он в неё вошёл (колл, рейз, 3-бет и т.д.), вероятность каждой комбинации). Нейросеть состоит из семи полностью соединённых скрытых слоёв. Выходные значения затем обрабатываются другой нейросетью, которая проверяет, что действия удовлетворяют ограничению на нулевую сумму.

Особенностью программы является то, что она активно сопротивляется анализу своей стратегии со стороны оппонента. Другими словами, программа использует равновесие Нэша — ключевое понятие теории игр. Под равновесием Нэша подразумевается набор стратегий, котором ни один участник не может увеличить выигрыш, изменив свою стратегию, если другие участники своих стратегий не меняют. С точки зрения антагонистической игры в покер основной задачей DeepStack является поиск равновесия Нэша, то есть минимизация возможности эксплуатации своей стратегии другим игроком для получения им прибыли. Абсолютно все разработанные до сегодняшнего дня покерные программы легко эксплуатировались после прощупывания их стратегии с помощью техники LBR (local best-response) — см. недавний обзор самых современных ботов для покера.

Надежные казино на русском языке:
  • КазиноИкс
    КазиноИкс

    Надежное казино с ДжекПотом 50 млн рублей и бонусами!

  • ДжойКазино
    ДжойКазино

    Бонус за 1,2,3 и 4 депозит по 100 000 рублей за каждый!

  • Чемпион
    Чемпион

    Русское казино с большими бонусами за регистрацию и каждое пополнение счета!

Так вот, DeepStack совершенно не эксплуатируется с помощью LBR. Вкупе с реальными результатами, которые показал бот в игре с профессионалами, остаётся только один вопрос: зачем разработчики опубликовали информацию об этой архитектуре в открытом доступе?

Научная работа опубликована 6 января 2020 года на сайте arXiv.org, где выкладываются статьи до выхода в официальном журнале.

Группой разработчиков руководит профессор информатики Майкл Боулинг из Университета Альберты (США).

Группа разработчиков DeepStack

Кафедра покерных ботов в Университете Альберты (Computer Poker Research Group) создана ещё в 90-е годы, первым созданным здесь ботом был Loki в 1997 году. Потом были Poki (1999), PsOpti/Sparbot (2002), Vexbot (2003), Hyperborean (2006), Polaris (2007), Hyperborean No-Limit (2007), Hyperborean Ring (2009), Cepheus (2020) и, наконец, венец творения — DeepStack.

В ближайшее время программу DeepStack проверят в играх с более опытными профессионалами, которые гораздо выше уровнем, чем ребята из таблицы в начале статьи. Начиная с этих выходных программа будет играть на турнире в питтсбургском казино, куда ожидается приезд нескольких профессионалов мирового класса. За 20 дней DeepStack должна сыграть около 120 000 рук. Это достаточно много, чтобы довольно точно оценить качество программы.

На данный момент DeepStack сыграл 44 852 руки против профессионалов добровольцев, отобранных Международной федерацией покера. Игроки получали денежные призы за хорошую игру (первый приз $5000 CAD), так что люди играли в полную силу. Тем не менее, программа в хорошем плюсе.

Покерный бот DeepStack научился обыграть профессионалов

Пока игроки с любопытством наблюдает за результатами принципиальной схватки покерного бота Libratus с четверкой известных профессионалов с хайстейкс, которую человечество пока проигрывает, исследователи трех европейских университетов заявили, что создали бота, который успешно обыгрывает покерных профессионалов в игре один на один. И это заявление не пустой звук, ведь оно основывается на результатах недавно проведенного эксперимента, в рамках которого программа DeepStack сумела со значительным перевесом обыграть команду опытных игроков, специально нанятую Международной федерацией покера.

Против бота DeepStack было выставлено 33 игрока, где помимо Фила Лаака значилось и несколько профессионалов из России: Дмитрий Лесной (бывший президент Федерации Спортивного Покера России), Роман Шапошников (автор некоскольких покерных книг) Иван Шабалин (оффлайн регуляр), Сергей Инденок (регуляр, автор покерных подкастов) и некто Pol Dmit. В результате этого состязания боту удалось обыграть про-игроков с общим винрейтом 492 (milli-big-blinds per game). Ниже вы можете ознакомиться с полными результатами:

Над разработкой этого бота работают исследователи сразу трех университетов: Альбертского, Карлова и Чешского технического. Один из основателей проекта, Ноэм Браун, в прошлом году заявил, что “познать” все тонкости безлимитного холдема ИИ в ближайшем будущем не удастся, но промежуточные итоги их работы показывают, что бот DeepStack уже способен обыгрывать профессионалов. Но зачем вообще ученые взялись за создание покерных ботов?

Почему ученые разрабатывают покерных ботов?

Создать действительно развитый ИИ действительно трудная задача, ведь человеческое поведение очень многогранно. В реальной жизни люди обманывают, а также принимают решения, основываясь на анализе действий других людей. По мнению некоторых экспертов, для создания сильного ИИ необходимо, чтобы бот научился выигрывать людей в интеллектуальные игры с неполной информацией, которые зачастую соответствуют человеческому поведению в реальной жизни. И покер отлично подходит для решения этой задачи.

«Если это правда, то DeepStack — действительно значимый шаг вперед в развитии игрового ИИ» — Майл Веллман, специалист в области теории игры и AI.

Но почему именно игры с неполной информацией? Дело в том, что ИИ уже давно проверяют на прочность в играх и с каждым годом список игр, в которых искусственный интеллект оказывается сильнее человека растет. На данный момент уже “решены” шашки, шахматы и даже го. И чтобы сделать новый эволюционный шаг в развитии ИИ, боты должны перейти на более сложный “уровень мышления” и научиться побеждать в играх с неполной информацией, решение которых требует совсем иного подхода.

В покере правильные (плюсовые) действия ИИ будут зависеть от информации, которую он получил, анализируя действия оппонента. В то же самое время, эти действия оппонента основываются на анализе предыдущих действий ИИ и той информации, что он предоставил своей игрой. Это так называемое “рекурсивное мышление”, которое так хотят освоить ученые, разрабатывая новые версии ИИ.

Покерные боты выходят на новый уровень

С каждым годом покерные боты становятся все более развитыми, постепенно подбираясь к “решению” безлимитного техасского холдема (в лимитированный покер боты уже научились выигрывать) и все больше адаптируя свою игру под действия конкретных игроков. Вот так выглядит дерево принятий решений бота DeepStack, при игре один на один в NL:

Особенность DeepStack в том, что этот бот не просто действует по какому-то простому алгоритму, по сути ИИ переоценивает свои действия на каждой улице при принятии решений. Например для оценки вэлью конкретной ставки используется специальное дерево «lookahead tree», с помощью которого бот пытается предвидеть развитие раздачи. Ответвления этого дерева решений созданы нейросетью, натренированной на случайно сгенерированных покерных ситуациях.

На входе нейросеть анализирует размер банка, открытые карты и диапазоны игроков на основании их действий (колл, рейз, чек, олл-ин и т.д.). Далее эта информация обрабатывается семью связанными и скрытыми слоями нейросети, после чего выдается оптимальное решение.

Равновесие Нэша — понятие в теории игр, обозначающее набор стратегий в игре, при которой ни один из участников не может увеличить выигрыш, изменив свою стратегию, если другие игроки не меняют свои стратегии.

Главная проблема ботов в том, что после изучения их стратегии и вычисления их древа решений, программу можно будет эксплуатировать и “наживаться” на ее слабостях. Зная как именно бот действует в определенных ситуациях, опытные игроки смогут легко использовать это против него. Создатели DeepStack пытаются этому помешать. Главное отличие новых ботов от старых в том, что они активно сопротивляются анализу собственной стратегии со стороны живых оппонентов с помощью поиска равновесия Нэша. Благодаря этому вероятность эксплуатации стратегий ИИ значительно снижается.

Вместо заключения

После публикации подробного исследования создателей бота DeepStack в их адрес полетела критика и ряд скептиков предложили проверить их детище на более сильных игроках, приводя в пример проходящий в данное время эксперимент с ботом Libratus против четырех игроков хайстейкс. Ученые согласились и в ближайшее время планируют проверить DeepStack на новой партии профессиональных игроков. Чем закончится новое состязание я не знаю, но результаты нынешнего более чем настораживают. Заглядывать вперед я не буду, но учитывая возможности новоиспеченного бота меня тревожит один вопрос: «Зачем создатели DeepStack опубликовали свое исследование и алгоритмы работы покерного бота в открытом доступе?». И не появится ли в ближайшее время новые исследователи, которые захотят испытать своих ботов в популярных покер-румах, чисто в научных целях, конечно же.

Unibet poker запускает онлайн фестиваль

Впервые в самостоятельной жизни Unibet poker проведет фестиваль встреч за покерным столом. Об этом уже говорят новости онлайн покера. Битва будет захватывающей! Unibet Online Series уже проходит на портале указанного рума. Начало было положено 26 февраля, а последние игры пройду 11 марта (воскресенье). Это большой шаг вперед для Юнибет покер, так как бренд стал самостоятельным недавно.

Всего запланировано провести 28 турниров. Каждый игрок сможет найти стол по душе. Для этого разработчики ввели разделение на три уровня: Nano, Low, High. Это позволит покеристам самостоятельно выбирать тот турнир, который соответствует их требованиям. Общий призовой фонд составил 300 тысяч евро.

Самый низкий уровень содержит в себе встречи с входным билетом стоимостью от 0,10 евро до 1 евро. Это говорит о том, что любой, даже начинающий пользователь, может позволить себе шанс испытать свои силы в первом фестивале онлайн покера на Юнибет. Следующий уровень предполагает бай-ины в размере до 25 евро, а вот самый высокий этап требует заплатить до €100. Это вполне доступные цены на увлекательные поединки и возможность стать чемпионом.

Одновременно запущены сателлиты, где каждый желающий также может выбрать свой уровень. Это мотивирует покеристов и дает им шанс испытать себя, а также повысить свой банкролл. Дойти до главных событий, а их запланировано три, смогут далеко не все. А приз победителю обозначен солидный. Если говорить об условиях, то стоит отметить:

  • Каждый день будут проходить по шесть турниров;
  • Играть можно в Безлимитный Холдем, Омаху, ребаи, баунти и некоторые другие;
  • Создана таблица лидеров по баллам, победители которой также получат призы (первому месту обещаны €1500;

Стоит отметить, что лидер гонки баллов получит еще и допуск на Unibet Battle of Champions. Этот поединок произойдет в конце года и будет содержать турнир с девятью чемпионами разных игр 2020 года.

Чтобы принять участие в этом мероприятии, нужно быть зарегистрированным клиентом покер рума. Также можно скачать Юнибет на любое удобное устройство, чтобы не пропускать интересные соревнования и зарабатывать еще больше очков.

Ресурс Poker-Royal777.com не имеет намерений побуждать посетителей к азартным играм.

Сайт носит исключительно информационнный характер.

Лучшие казино по сумме бонусов за регистрацию и депозит:
  • КазиноИкс
    КазиноИкс

    Надежное казино с ДжекПотом 50 млн рублей и бонусами!

  • ДжойКазино
    ДжойКазино

    Бонус за 1,2,3 и 4 депозит по 100 000 рублей за каждый!

  • Чемпион
    Чемпион

    Русское казино с большими бонусами за регистрацию и каждое пополнение счета!

Добавить комментарий