AKQ GameでGTOを学ぶ(改正版)
7/24改正
4節の期待値の計算がめちゃくちゃだったのと、GTOに関する理解不足だったので、4節にめちゃくちゃなことを書いていたことを訂正しました。
twitterのフォロワーさんとAKQgameの話になったので、私も真面目に考えてみることにしました。
1.AKQ Gameのルール
- 二人で行われるゲーム。
- ポットには参加費として1$支払う。
- デッキにはAce, King, Queenの三枚しか含まれておらず、強さはA>K>Q。
- ベッティングラウンドは1回のみ。
- ベットは1$固定、レイズなし。(オールインと同義)
- OOP、IPの順にプレイ。ただしOOPは必ずcheck戦略を選択しなければならない。
fig1: AKQ Game
2.AKQ Gameを学ぶと何が嬉しい?
AKQ Gameはポーカーをかなり簡略化したものです。こんなものを真面目に考えても意味がなさそうに思えますが、実はリバーのシチュエーションによく似ています。
A is Pure Nuts. (100% equity)
K is Bluff Cacher. (50% equity)
Q is Pure Air. (0% equity)
AKQ Gameを理解することで、リバーにおけるプレイの概略的なGTO戦略を理解することができます。
fig2: Simplified River Situation
3.AKQ GameにおけるGTO(理論的)
数式が苦手な方はこの章を読み飛ばしてもらって構いません。
Notation:
(OOP)のGTOを求める
OOPであるは意思決定の情報を持っていないため、必ずチェック(ゲームのルール)。なのでのベットに対する最適戦略がGTOになる。
・前提(自明なGTO)
Aを持っている場合、のベットに対して必ずコール
Qを持っている場合、のベットに対して必ずフォールド
・Kを持っているときののベットに対してのGTOを導出。
のGTOはがQを持っているときに、ベットしてもフォールドしても期待値が変わらないような戦略だから、つまり
で
を満たすである。
式(1)を計算すれば、
となり、の最適戦略はKを持っているときの頻度でコールすることである。
(IP)のGTOを求める
OOPである は必ずチェックするため、はベットするかしないかの戦略を選択する必要がある。Aを持っているときは必ずベットがGTO(自明)。Kを持っているときは必ずチェック。(理由:ベットしてしまうとがAを持っているときはコールされ、Qを持っているときはフォールドされる。つまりのドミナント戦略)
・前提(自明なGTO)
Aを持っている場合、は必ずベット。
Kを持っている場合、は必ずチェック。
・Qを持っているときののGTOを導出。
のGTOはQを持っているときに、がKでコール(ブラフキャッチ)してもフォールドしても期待値が変わらないような戦略だから、つまり
で
を満たすである。
式(2)を計算すれば、
となり、の最適戦略はQを持っているときの頻度でベットすることである。
IPの保証期待値
GTOはそれぞれ
より
として、ゲームツリー(fig3)よりOOPの期待値は
fig3: AKQ Game Tree(extra showdown-winnings)
両プレイヤーはGTOでプレイしているのでより
従ってIPのプレイヤーは相手の戦略にかかわらず+5.55bb/100handsは保証される。
4.AKQ GameにおけるGTO(定性的)
プレイヤーOOPとプレイヤーIPの二人のGTOを考えます。GTOとは相手がどのような戦略をとろうと搾取されないような戦略のことです。IPがGTOでプレイすればIPは保証されたEVを必ず受け取ることができます。
OOPのGTO
OOPは意思決定の情報を持っていないため常にチェック。つまり、OOPのGTOはIPのベットに対する戦略を考えることになります。
Aを持っている場合、必ずコールします。ナッツを降りることはあり得ません。
Qを持っている場合、必ずおります。QはPure Airなのでショーダウンしたところで絶対負けているからです。
Kを持っているときは話が変わります。Kはブラフキャッチャーです。相手がナッツとブラフでベットしているときKでブラフキャッチすることが必要です。
計算は上記に示してありますが(前節)、の確率でコールすることにより、相手は期待値0(厳密には違うがここでは簡単化のために0)を上回ることができません。これがなぜかを説明します。
例えばIPがQすべてをチェック、A全てをベットしたとします。
それに対してOOPはGTO(でコール)をとっているとします。
OOPの期待値をすれば、
と表すことができます。ここでbはIPのQでのブラフ率、cはOOPのブラフキャッチ率を示しています。したがってだとします。これを代入してきた入りを計算すると、
が得られました。
IPがQすべてをベット、A全てをベットしたとします。
同様にから代入して期待値を計算すると、
が得られました。
OOPはGTOでプレイしているためIPのどのような戦略に対しても最低保証されているをEVとして必ず実現することができます。
IPのGTO
OOPは必ずチェックしてくるため、IPのGTOはベット戦略になります。
Aを持っている場合、必ずベットします。(ナッツをチェックはあり得ない)
Kを持っている場合、必ずチェックします。(マージナルなハンドでベットすると、Pure Airには下りられ、Nutsにコールされるだけ)
Qを持っているときにブラフを考えます。ブラフの頻度がGTOになるわけです。
計算は上記に示しますが、の確率でブラフベットすることがGTOになります。OOPのGTOでも説明した通り、OOPがどのような戦略をとっても、IPの期待値は正です()。絶対に負けることはありません。
どっちもGTOでプレイしたらどうなる?
IPにいるプレイヤーのEVが1ゲーム当たりになります。つまり、IPがGTOでプレイすれば100handあたり5.55bbの利益を出し続けることができます。これはOOPがどのような戦略をとっても最低限保証されるEVです。このような結果より、ポーカーにおけるポジションの重要性が理解できます。ポジションがあるほうが必然的に+EVになるんです。
5.まとめ
AKQ GameのGTOを理解することで実際のリバーについての簡略化されたGTO戦略について学ぶことができました。まとめると
OOPでは
- 相手のリバーベットに対して1/3でブラフキャッチ。
- ディフェンスレンジはナッツが1/3, ブラフキャッチが1/3 * 1/3 = 1/9の合計4/9
- コールの割合がナッツ:ブラフ = 75 : 25でGTO
IPでは
- ショーダウンバリューのないハンドの1/3でブラフ
- リバーのベットレンジはナッツが1/3, ブラフが1/3 * 1/3 = 1/9の合計4/9
- ベットの割合がナッツ:ブラフ = 75 : 25がGTO
ポーカーはポジションゲー。
参考文献+図引用元
https://www.liverium.com/poker/game-theoretic-optimal-strategy-i/
https://plus.maths.org/content/bluffing-and-exploitation-introduction-poker-maths
ブロッカーを考える
今回のエントリーはブロッカー(Blocker)についてです。プレイラインの例は私がRIO動画を見て勉強になったところをピックアップしたものです。
ブロッカーとは?
自分が持っている2枚のカードのことです。
自分が持っているカードは相手のレンジから消えるのでこれを利用して戦略を組み立てる必要があります。例でいくつか紹介したいと思います。
1.Riverでブラフするか否か1
BTN(Hero) open(QdTd) vs BB call
F: 5h7dAs BB x/c
T: 9d BB x/c
R: Ah BB x, BTN ?
フロップでは1/3potのCBを打ちました。それに対してBBがコール。BBはかなり広いレンジでディフェンスします。ターンでフラッシュドローになったので1/2potのCBを打ちました。それに対してBBのコール。相手のコールレンジにはdiamondのフラッシュドローが残りますが、こちらがQTdを持っているため相手のフラドロのレンジを大きく”ブロック”しています。(Qxd, Txd等)
リバーでBBはチェック。こちらのハンドにはほぼショーダウンバリューがありません、ブラフを打つべきでしょうか?
こちらはフラッシュドローを大きくブロックしてしまっているため、相手のハンドにはショーダウンバリューがあるハンドが大きく残っています。したがってブラフはうちませんでした。
S: BB has A6o and win a pot.
2.Riverでブラフするか否か2
UTG open vs BB(Hero) call(AsJc)
F: 5c4d9s BB x/c
T: Tc BB x
R: Ks BB ?
フロップは1/2potのCBに対してコール。ターンはチェックアラウンド、リバーでKsが落ちてBBのアクションターン。
私たちはAK, AT, JJ等のこちらのリバーベットに対するディフェンスレンジをいくつかブロックしています。またJをブロックしていることからQJのストレートのコンボが相手のレンジから削れています。したがってリバーは3/4potのブラフを打ちました。
BB 0.75b, SB r, BB f
3.Riverでコールするか否か1
BTN open vs BB(Hero) call(9c9s)
F: K65r BB x/c
T: 5s BB x/c
R: 3h BB x BTN x
リバーはBTNのチェックでしたが、もしベットされたときコールするべきか考えます。
こちらは99を持っており相手のブラフレンジ(AQ, AJ, AT, 78等)をブロックしていません。従ってリバーのベットに対して99でブラフキャッチをしていきたいところです。
5.PIO Analysis
2.のシチュエーションをPIOを使って分析してみましょう。PFレンジはSnowieのものを使っています。
Flop
まあ、ほぼほぼチェック。UTGの33%CBに対しては
AJoはコールとフォールドの混合戦略。やはり比較的小さいベットにはx/rを多めに含んでいますね。セット、トップペアストロングキッカー、フラッシュドロー、ストレートドローなど。
Turn : すべてチェック
River
AJは54%でベット(サイズは75%)。AsJcは31.5%でベット。
なのでリバーのブラフベットはGTO的には正しいことになります。本シチュエーションではUTGからレイズが返ってきたので素直にブラフごめんなさいフォールドしましょう。
まとめ
特にリバーでの意思決定時にブロッカーを考えることは非常に有意義です。ブラフベットをするときは相手のコールレンジをブロックしているか、リバーのベットに対してコールするときは相手のブラフレンジをブロックしていないかを考えてみましょう。
参考文献
How To Use Blockers When Counting Combos | SplitSuit Pokerhttp://www.runitonce.com
RIOの"A Deeper Look Into Blocker"を見ればよりブロッカーについてのことがわかります。Iain Salterの動画等もお勧めします。
ナッシュ均衡(GTO)について
以下GTOのことはすべてNash eq.で統一します。すべてGTOと読み替えて差し支えありません。説明は定性的にわかりやすくかみ砕いたもので厳密なものではないので注意してください。
NLHMにおける”解”
結論から言うと、NLHEの解とは”一番バランスの取れた戦略”のことです。
経済学を学んだことがある人はナッシュ均衡(Nash eq.)という言葉を聞いたことがあると思いますが、一番バランスの取れた戦略とはこのナッシュ均衡のことを示しています。ゲームのルールによってはNash eq.が存在しない場合がありますが、テキサスホールデムにはNash eq.が存在することが証明されています。
Nash eq.でプレイすると何が嬉しいの?
下の図を使って、ヘッズアップシチュエーションのA側についてのNash eq.を説明します。感覚的にわかりやすく表現しただけの図ですので厳密な定義ではないです。
AとBの距離をAの期待値として表現することにしましょう。AがBより右の戦略をとっているとするとAの期待値は負になります。
例えばAがNash eq.でプレイしていたとします。Bが取れる戦略にはNash eq.から右側の点しかありません。したがってAの期待値を0未満にすることができません。BはMistakeによればよるほど自分の期待値を減少させてしまいます。(Nash eq. から離れれば離れるほど)
要するに、Aは相手がどのような戦略をとろうと期待値が0未満になることはありません。これが、Nash eq.でプレイすることのメリットです。
Aが取れる戦略にはNash eq.より左側の戦略があります。これが搾取プレイと呼ばれる戦略です。搾取プレイとは相手の弱点に合わせて自分の戦略を調整(Adjust)することです。AがNash eq.より左側の戦略をとることで自分の期待値を増やすことができます。
もう少し詳しく
上の図でNash eq.より搾取的な戦略のほうが勝てるんじゃない?と思われた方もいらっしゃるかと思います。これは正しいです。しかし、相手の戦略を知っているという前提が必要です。上の図をもう少し正しく表現してみましょう。
赤線はAの期待値が正、青線はAの期待値が負になる戦略です。Aが取れる戦略にはBより右のものがあるので、この戦略をとるとAの期待値は負になるのは前節で説明したものと同じですが、Nash eq.より左の部分にも青線があります。赤線の距離はBがNash eq. から離れた距離だけ左に広がるものです。つまりAがBに対して搾取プレイを正しく行えないと、青線の戦略を選択してしまいます。
搾取プレイの弱点
実際には相手の戦略はわかりませんよね。。。搾取プレイと思っていても、実際には-EVになってしまうことを説明します。
赤丸のBはAが何らかのデータから予測したBの戦略です。従って、搾取プレイ側に寄せた戦略を選択しました。しかしBは実際に青丸Bをとっていました。Nash eq.から離れた距離だけ搾取戦略の幅が広がるため、Aが取れる搾取戦略は図の赤線(Nash eq.より左)のみです。
Aは搾取プレイしているつもりでしたが、Nash eq. から離れたために自ら期待値を捨ててしまいました。
まとめ
Nash eq.について説明してみました。うまいプレイヤーほどNash eq.に近い戦略をとってきます。その人たちに勝つためにはこちらがよりNash eq.に近い戦略をとるしかありません。なのでPIOsolverなどでGTOを体系化して覚えることはポーカーで勝つためにとても重要だと思います。
あと、間違っているところがあれば訂正していただけるととても嬉しいです!
はじめまして。
去年の11月からPSでzoomを主にポーカーをはじめましたが、ただの絵合わせをしていたらBRが3回ぐらいふっとびました。いい加減ちゃんと勉強しようと思って最近はRIOの動画などで勉強しています。
上達の近道は吸収したものをアウトプットにすることだと思っているので、ブログを初めてみました。ポーカーを始めたばかりの方にもわかりやすいように(自分も含めて)記事を書くことを心がけようと思います。
現在、大学院生。来年から社会人です。
ブログのエントリーは主にPoker Snowie, PIOsolver, Run It Onceに関することになると思います。
コメント等大歓迎ですのでよろしくお願いします!