Real-Time Bidding Algorithms for

performance-Based Display Ad

Allocation

Ye Chen, Pavel Berkhin, Bo Anderson, Nikhil R.DevanurMicrosoft

(KDD 2011)

モチベーション

◆demand-side, supply-side　－ 予算投資の最適化を行い収益を最大化したい　　⇒ リアルタイム最適化により実現

◆課題

　－ 変数、制約共に多すぎる　　⇒ 線形計画問題の双対問題を解くことによって解決　－ オフライン最適化では粒度が粗くなってしまう　　⇒ リアルタイム最適化によってより細かい最適化を実施

本論文ではこれらの課題を解決するリアイルタイム入札金額推定手法を提案本論文ではこれらの課題を解決するリアイルタイム入札金額推定手法を提案本論文ではこれらの課題を解決するリアイルタイム入札金額推定手法を提案本論文ではこれらの課題を解決するリアイルタイム入札金額推定手法を提案

Contributions

◆本論文の貢献

　－ 理論的背景がしっかりしたリアルタイム入札アルゴリズムを提案

Formulation

◆収益の定義

eCPI = CTR × CPC

◆入札額の決定（調整）

bid = eCPI - α

CTR=p(click|campaign, impresion)

入札額調整項入札額調整項入札額調整項入札額調整項

広告主別に算出広告主別に算出広告主別に算出広告主別に算出

∑ji

ijijx

xv,

max

Formulation- A LR FORMULATION -

◆最適化問題の主問題

ijijij qpv =キャンペーンキャンペーンキャンペーンキャンペーンjののののi番目の番目の番目の番目のimpチャンスにチャンスにチャンスにチャンスにimpしたか否かしたか否かしたか否かしたか否か

(0 or 1)

CTRCPC

※※※※iははははimpression, jははははcampaignのインデックスのインデックスのインデックスのインデックス

（（（（iははははn個個個個, jははははm個として議論が進む）個として議論が進む）個として議論が進む）個として議論が進む）

キャンペーンキャンペーンキャンペーンキャンペーンjの目標の目標の目標の目標imp数数数数（予算制約を兼ねる）（予算制約を兼ねる）（予算制約を兼ねる）（予算制約を兼ねる）

スラック条件スラック条件スラック条件スラック条件

∑ ∑+j i

ijjg βαβα

min,

Formulation- A LR FORMULATION -

◆最適化問題の双対問題

予算の増加などの経済的係数予算の増加などの経済的係数予算の増加などの経済的係数予算の増加などの経済的係数

（最小利益と考えても良い）（最小利益と考えても良い）（最小利益と考えても良い）（最小利益と考えても良い）

訪問者数の増加などの経済的係数訪問者数の増加などの経済的係数訪問者数の増加などの経済的係数訪問者数の増加などの経済的係数

（（（（1impの最小価格と考えても良い）の最小価格と考えても良い）の最小価格と考えても良い）の最小価格と考えても良い）

※※※※αααα、、、、ββββを求めるのが目的となるを求めるのが目的となるを求めるのが目的となるを求めるのが目的となる

　これにより計算回数が　これにより計算回数が　これにより計算回数が　これにより計算回数がO(mn)からからからからO(m+n)となるとなるとなるとなる

Formulationition- A REAL-TIME BIDDING ALGORITHM -

◆擬似コード

goal-achieved campaigns

ββββはここで算出はここで算出はここで算出はここで算出

オンラインアルゴリズムの適用オンラインアルゴリズムの適用オンラインアルゴリズムの適用オンラインアルゴリズムの適用

BID ADJUSTMENT- Control-theoretic Bid Adjustment -

◆waterlevel-basec update（online algorism） ←←←← PI制御理論に基づく制御理論に基づく制御理論に基づく制御理論に基づく

　　　　－ コストは考慮していない

エラーにどれだけ早く反応エラーにどれだけ早く反応エラーにどれだけ早く反応エラーにどれだけ早く反応

するかの係数するかの係数するかの係数するかの係数

（フィードバックゲイン？）（フィードバックゲイン？）（フィードバックゲイン？）（フィードバックゲイン？）

Imp数数数数

エラーエラーエラーエラー

BID ADJUSTMENT- Model-based Bid Adjustment -

◆システム制御理論に基づくアプローチ（online algorism）　－ コスト, 入札額考慮

エラーにどれだけ早く反応エラーにどれだけ早く反応エラーにどれだけ早く反応エラーにどれだけ早く反応

するかの係数するかの係数するかの係数するかの係数

理想とする勝率理想とする勝率理想とする勝率理想とする勝率

（（（（gjに合わせるために必要な勝率）に合わせるために必要な勝率）に合わせるために必要な勝率）に合わせるために必要な勝率）

観測された勝率観測された勝率観測された勝率観測された勝率

MLEの分布パラメタ。の分布パラメタ。の分布パラメタ。の分布パラメタ。

勝利した入札勝利した入札勝利した入札勝利した入札{w}の十分統計量から導かれる。の十分統計量から導かれる。の十分統計量から導かれる。の十分統計量から導かれる。

※※※※実際にはノンパラメトリックな手法が使われる（実際にはノンパラメトリックな手法が使われる（実際にはノンパラメトリックな手法が使われる（実際にはノンパラメトリックな手法が使われる（θθθθを使用しない）を使用しない）を使用しない）を使用しない）

入札コスト入札コスト入札コスト入札コスト

理想とする入札価格理想とする入札価格理想とする入札価格理想とする入札価格

PERFORMANCE DISPLAY OPTIMIZATION

- A PRACTICAL FORMULATION -

◆コスト項の導入により更に一般化した主問題

Impressionグループ（グループ（グループ（グループ（placement））））iのののの獲得できそうな獲得できそうな獲得できそうな獲得できそうなimp数数数数

◆ コスト項の導入により更に一般化した双対問題

パラメトリックな手法であれば などを使用

EXPERIMENTS

◆実験により明らかにしたこと

　ー αjの調整によって入札の最適化が行えるかどうか

　ー 異なる最適化手法の導入によりどの程度パフォーマンスが異なるのか　ー αjの初期値がどの程度影響するのか。

EXPERIMENTS

◆実験条件

　ー 実験に使用したデータは1つの巨大なディスプレイネットワークのもの　ー 平均すると1日20Mのimpがあるサイトで実験　ー 4つのCPCキャンペーンが対象

EXPERIMENTS

◆使用データ

　ー timestamp, placement, user, campaign, clicks, impressions　ー timestampをt　ー (placement, user)のpairをi　ー campaignをj　ー click数をcij(t)　ー imp数をxij(t)

EXPERIMENTS

◆観測値とシミュレーションによる値のlift

※※※※オフラインのみよりもオンラインでオフラインのみよりもオンラインでオフラインのみよりもオンラインでオフラインのみよりもオンラインでααααを調整した方が成績が良いを調整した方が成績が良いを調整した方が成績が良いを調整した方が成績が良い

EXPERIMENTS

◆model based bid と waterlevel bidの比較　－ オフラインでのαの算出は1日分のデータ　－ α算出後の4日間のデータを比較

※ModelBidderのγは0.01, WaterlevelBidderは0.24とした

※※※※オンラインアルゴリズムはオフラインアルゴリズムに対してオンラインアルゴリズムはオフラインアルゴリズムに対してオンラインアルゴリズムはオフラインアルゴリズムに対してオンラインアルゴリズムはオフラインアルゴリズムに対して90%以上の成績が出ている以上の成績が出ている以上の成績が出ている以上の成績が出ている

　　安定性では　　安定性では　　安定性では　　安定性ではModelBidderが良いが良いが良いが良い

EXPERIMENTS

◆hourlyの数値変動（短時間の安定性確認）

※※※※WaterlevelBidderは時間的な安定性が高いは時間的な安定性が高いは時間的な安定性が高いは時間的な安定性が高い

　　　　　　　　ModelBidderは不安定は不安定は不安定は不安定

EXPERIMENTS

◆online algorism(WaterlevelBidder)におけるαの初期値の影響

※※※※初期値の影響はほとんどない初期値の影響はほとんどない初期値の影響はほとんどない初期値の影響はほとんどない

　しかし、キャンペーン予算の制約が厳しければ影響がありそう、という仮説を立てた　しかし、キャンペーン予算の制約が厳しければ影響がありそう、という仮説を立てた　しかし、キャンペーン予算の制約が厳しければ影響がありそう、という仮説を立てた　しかし、キャンペーン予算の制約が厳しければ影響がありそう、という仮説を立てた

EXPERIMENTS

◆予算制約を厳しくした場合のαの初期値の影響（Table3の90%とした場合）

EXPERIMENTS

◆予算制約を厳しくした場合のαの初期値の影響（Table3の75%とした場合）

EXPERIMENTS

◆予算制約を厳しくした場合のαの初期値の影響（Table3の50%とした場合）

※※※※予算制約が厳しければ初期値の影響はある予算制約が厳しければ初期値の影響はある予算制約が厳しければ初期値の影響はある予算制約が厳しければ初期値の影響はある

　　　　offline最適化した最適化した最適化した最適化したααααの成績が良かったの成績が良かったの成績が良かったの成績が良かった

Conclusion

◆結論

　－ シンプルだが理論的背景がしっかりしたonlineアルゴリズムを提案した　－ 他の種類のモデルも考慮すれば更に改良が出来るのではないか

◆感想

　― 予算制約が直接計算されておらず、giを経由してモデルが作られている。

　　　（予算と獲得impが常に比例するという仮定（？））　　　その部分が常に上手く働くのかが不明。