WZebraとの対局結果 (Ver1.3.1)

本ページにはMasterReversiの'強さ'の検証のために行ったWZebraとの対局結果を掲載しています。
対局を行ったMasterReversiのバージョンは1.3.1です。


Ver1.0.0公開時に行った'強さ'に関する検証結果はここから参照できます。
Ver1.0.0の時点ではどのようなプログラムと対局してもそれなりの強さがあることを検証する必要がありました。
このため、上記ではWZebraを含めた幾つかのプログラムとの対局を行っています。
Ver1.3.1はVer1.0.0と比較して評価関数/Book共に強化されていますので、上記結果は参考程度として下さい。

今回の検証では様々な展開でのBookの有効性を検証することを主な目的としています。
このため、より多くの対局を効率よく行うために、思考速度が速く、多様な展開も望めるWZebraのみを対局相手としました。

WZebraについて
WZebraは10年以上前に最初のバージョンが作成された強さと速さに定評のある知名度の高いリバーシプログラムです。
WZebraの作者による純正Bookとして、プログラムパッケージに添付されている標準bookとbigbookが存在します。
また、第三者(Jan C. de Graaf 氏)によって作成された巨大book(Extra-large book)も公開されています。

対局方法について
MasterReversiにはProfessional版を使用し、標準添付版/強化版Bookのそれぞれを使用した状態で対局を行いました。
プレイヤーには「コンピュータ」のレベル5を「Book誤差=1%」「評価誤差=0%」に変更して使用しています。
Book検証を主目的としたため、リバーシエンジンのオプション設定で「評価を省略」と「完全読みを含む」も選択しています。

WZebraには2008年12月現在の最新バージョンである4.2.4(2005/12/27公開)を使用しました。
標準bookにはプログラムパッケージに添付されていたデータ使用しました。
bigbookには作者サイトで公開されていたデータ(April 21, 2002版)を使用しました。
Extra-large bookには上記リンクで公開されていたデータ(extra-large-20080301.zipのbook.bin)を使用しました。

WZebraのBookには前記の3種を使用し、それぞれで「変化させない」と4種の変化での対局を個別に行いました。
WZebraの読みの深さは「24手読み+終盤26手完全読み」、中盤については「変化させない」を選択しています。

対局にはエンジン対局機能を使用し、各モードで先手/後手のそれぞれについて連続100対局を行いました。
このため、対局結果には同一着手進行や対称展開も含まれます。
対局結果を保存した対局データベースの備考欄にはこれらについてのコメントが付加されています。


Bookを変化させた場合、WZebraは自らが悪手と認識している着手も選択するようになります。
このため、Bookを変化させた対局では勝敗数からMasterReversiとWZebraの強さを単純比較することはできません。
「評価を省略」を選択したことにより、MasterReversiはBook登録がある局面では登録手の中から最善手を選択します。
デフォルト設定では評価も行われるため、悪手のみが登録された局面では評価関数が善手を選択する場合があります。

標準添付版Book使用時の対局結果
WZebraのBook設定先手時後手時対局データベース
標準book-変化させない 69勝09敗22分63勝12敗25分vsWZebra_OBookNR0.mrd: 閲覧
標準book-変化させる(小) 66勝07敗27分74勝08敗18分vsWZebra_OBookSR0.mrd: 閲覧
標準book-変化させる(中) 70勝08敗22分77勝06敗17分vsWZebra_OBookMR0.mrd: 閲覧
標準book-変化させる(大) 62勝16敗22分79勝04敗17分vsWZebra_OBookLR0.mrd: 閲覧
標準book-変化させる(最大) 79勝08敗13分80勝09敗11分vsWZebra_OBookHR0.mrd: 閲覧
bigbook-変化させない 37勝01敗62分48勝00敗52分vsWZebra_BBookNR0.mrd: 閲覧
bigbook-変化させる(小) 75勝04敗21分62勝02敗36分vsWZebra_BBookSR0.mrd: 閲覧
bigbook-変化させる(中) 73勝07敗20分85勝09敗06分vsWZebra_BBookMR0.mrd: 閲覧
bigbook-変化させる(大) 81勝11敗08分76勝09敗15分vsWZebra_BBookLR0.mrd: 閲覧
bigbook-変化させる(最大) 90勝08敗02分94勝00敗06分vsWZebra_BBookHR0.mrd: 閲覧
Extra-large book-変化させない 10勝16敗74分03勝09敗88分vsWZebra_EBookNR0.mrd: 閲覧
Extra-large book-変化させる(小) 31勝14敗55分37勝06敗57分vsWZebra_EBookSR0.mrd: 閲覧
Extra-large book-変化させる(中) 52勝11敗37分70勝05敗25分vsWZebra_EBookMR0.mrd: 閲覧
Extra-large book-変化させる(大) 69勝17敗14分80勝06敗14分vsWZebra_EBookLR0.mrd: 閲覧
Extra-large book-変化させる(最大)86勝05敗09分82勝09敗09分vsWZebra_EBookHR0.mrd: 閲覧

強化版Book使用時の対局結果
WZebraのBook設定先手時後手時対局データベース
標準book-変化させない 63勝04敗33分67勝10敗23分vsWZebra_OBookNR1.mrd: 閲覧
標準book-変化させる(小) 72勝02敗26分73勝06敗21分vsWZebra_OBookSR1.mrd: 閲覧
標準book-変化させる(中) 72勝05敗23分78勝06敗16分vsWZebra_OBookMR1.mrd: 閲覧
標準book-変化させる(大) 82勝03敗15分84勝07敗09分vsWZebra_OBookLR1.mrd: 閲覧
標準book-変化させる(最大) 94勝04敗02分93勝04敗03分vsWZebra_OBookHR1.mrd: 閲覧
bigbook-変化させない 28勝01敗71分40勝01敗59分vsWZebra_BBookNR1.mrd: 閲覧
bigbook-変化させる(小) 77勝03敗20分52勝02敗46分vsWZebra_BBookSR1.mrd: 閲覧
bigbook-変化させる(中) 75勝11敗14分76勝09敗15分vsWZebra_BBookMR1.mrd: 閲覧
bigbook-変化させる(大) 78勝09敗13分81勝06敗13分vsWZebra_BBookLR1.mrd: 閲覧
bigbook-変化させる(最大) 87勝08敗05分93勝01敗06分vsWZebra_BBookHR1.mrd: 閲覧
Extra-large book-変化させない 21勝00敗79分21勝00敗79分vsWZebra_EBookNR1.mrd: 閲覧
Extra-large book-変化させる(小) 54勝03敗43分54勝02敗44分vsWZebra_EBookSR1.mrd: 閲覧
Extra-large book-変化させる(中) 69勝11敗20分72勝03敗25分vsWZebra_EBookMR1.mrd: 閲覧
Extra-large book-変化させる(大) 80勝07敗13分90勝06敗04分vsWZebra_EBookLR1.mrd: 閲覧
Extra-large book-変化させる(最大)95勝03敗02分90勝04敗06分vsWZebra_EBookHR1.mrd: 閲覧

対局結果について
・MasterReversiの負け数はWZebraのBook変化が中〜大の場合に多くなっています。
 →変化が大きくなるにつれて当該展開でのBook登録が少なくなっていくことが原因と考えられます。
 →Book登録が少ない展開では一般にbookよりも精度が劣る評価関数による着手が増加します。
 →また、Bookに登録された悪手が修正されずに残っているケースも増加します。
 →これらが原因となり、変化のある展開ではMasterReversiが悪手を打つケースが増加します。
 →ただし、変化がある程度大きくなると、評価関数による着手でも殆ど負けはなくなります。
 →このため、比較的小さい変化(-2〜-4石)での負け率が最も高くなっていると考えられます。

・MasterReversiの負け数はWZebraが標準bookを使用した場合に多くなっています。
 →対局結果の勝率からBook精度はExtra-large book > bigbook > 標準bookの順になっていると考えられます。
 →にもかかわらず、標準book使用時に負けが多いのはMasterReversi側のbook登録が原因と考えられます。
 →MasterReversiのBook作成時には主にbigbookとの対局を行わせ、標準bookとの対局は行わせませんでした。
 →このため、標準bookが使用する展開に対するBook登録が相対的に少なくなっているものと考えられます。

・Extra-large book使用時を除き、標準添付版に対する強化版Bookの優位性が見られません。
 →bigbookが使用する最善展開の多くは標準添付版Bookに既に登録されています。
 →Ver1.3.1時点の強化版Bookは標準添付版Bookに最善展開付近の進行を追加する形で作成されています。
 →このため、強化版BookはExtra-large book使用時に新たに発生する最善展開でのみ効果を発揮しています。
 →標準添付版は軽量Bookとして容量的に凍結する予定である一方、強化版は今後も拡張する予定です。
 →このため、将来的には両者の差はより大きくなる可能性があります。

各Bookの登録内容について(参考)
標準添付版Bookと強化版Bookの登録局面数は以下の通りです。
book名リーフ数ノード数合計
標準添付版book41,7401,132,2481,173,988
強化版book146,6002,432,5942,579,194

WZebraの各BookをMasterReversiのBook構成に変換すると登録局面数は以下のようになります。
book名リーフ数ノード数合計
標準book265,454457,408722,862
bigbook529,598974,8201,504,418
Extra-large book3,781,1479,294,72513,075,872

合計値を比較するとExtra-large book >> 強化版Book > bigbook > 標準添付版Book > 標準bookの順になっています。
ただし、MasterReversiのBookとWZebraのBookを比較すると全登録の中に占めるリーフの比率が大きく異なります。
このため、登録数の大小のみから両者の充実度を単純比較することはできません。

WZebraではBook登録時に評価値による次善手(状況によっては最善手)を同時に登録する方式を採っています。
これに対して、MasterReversiでは添付Bookの作成時には評価値による次善手の登録は行っていません。
このことが上記したリーフ比率の違いとして現れています。

評価値をリーフに持たないため、MasterReversiのBook値は最善進行が登録されている場合には正確な値になります。
一方で、最善進行が登録されていない場合には、Book値は大きく誤ったものとなり得ます。

WZebraでは次善手の登録があるため、Bookを変化させることで様々な局面を発生させることができます。
MasterReversiではBookと評価関数を併用可能とすることで、Bookに次善手がない場合にも変化を可能としています。


MasterReversiでも非最善進行を含む可能性が高い対局の登録時に評価値による最善手を同時登録することは可能です。
添付Book作成時には登録内容に注意を払っているため、この機能は利用していません。

強化版Bookの最善進行の序盤では、利便性を考慮して、全着手候補の24手読み評価値を同時に登録しています。
このため、強化版Bookのリーフ比率は標準添付版と比較して若干高くなっています。

WZebra用BookからMasterReversi用Bookへの変換にはZebraBookConvが利用できます。
上記のWZebra用Bookのリーフ数等はZebraBookConvの出力からBookを作成して算出しています。

TOPページに戻る