FFOテストは
French Federation of Othelloで作成され、終盤解析用ベンチマークとして広く用いられています。
テストでは、終盤解析が比較的困難な局面を対象として最善手探索に要する処理時間を計測します。
(本テストでは、完全読みによる処理時間を計測しています)
Ver1.5.5では、Edax 4.5.0との比較で劣っていた処理性能を、主にコーディングレベルの最適化により向上させました。
このため、今回は、性能向上効果を検証するために、Ver1.5.4で行ったのと同じ構成で性能を再測定しました。
測定結果については、Ver1.5.4/Edaxとの比較を行っています。
ただし、Ver1.5.4/Edaxについては、最新バージョンに変化がない事から、Ver1.5.4時に採取したデータを利用しています。
Edaxについては、
オリジナル版と、
「Booby Reversi」 / 「Edax + ub」等で有名な
奥原氏の改良版の両方で測定しています。
奥原氏版(Ver4.5.0)では、奥原氏が考案した高速コードが用いられるため、オリジナル版(Ver4.4)よりも高速です。
奥原氏版のバイナリは複数ありますが、基本的には最も高速な「wEdax-x64-modern」、一部でx64/x86版を使用しています。
MRSolverが使用するキャッシュサイズは、最大容量(64Bit版:4096MB/32Bit版:512MB)を使用しています。
Edaxのハッシュサイズは過去のテスト時と同じH=25としているため、割り当てられるメモリサイズは1.5GB程度となっています。
1.5GBは通常は十分なサイズですが、複雑な局面の評価時には、より増やす事で、Edaxの性能は向上できる可能性があります。
測定値はFFO40-59/FFO60-79の全項目にかかった時間です。(単位は秒で、測定値は素データへのリンクになっています)
各測定値には単一測定の結果を使用しているため、OS等によるバックグラウンドタスクの影響から若干の誤差が含まれます。
マルチスレッド動作時には評価タスクの終了順が変動する結果、測定毎に比較的大きな性能変動が発生する場合があります。
MRSolver/Edax共に、評価スレッドに対するCPUコアの割り当てはOS任せにしています。
カッコ内の数値はVer1.5.5の処理時間を1.0とした場合の処理時間の倍率です。(値が大きいほど低速)
旧バージョンでは異なる観点に基づいた性能測定も実施しています。
興味のある方は以下のリンクから参照してみて下さい。
Ver1.5.4、
Ver1.5.1、
Ver1.5.0、
Ver1.4.1、
Ver1.4.0、
Ver1.0.2、
Ver1.0.0
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 65W]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 95W]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: PL1:95W PL2:126W tau:224秒]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 65W / Windowsの電力プラン: 省電力]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 65W / UEFI(BIOS)でEコアを利用不可に設定]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 65W]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 95W]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 65W + MRWorker(Ryzen 9 5900HX 16Thread)]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 95W + MRWorker(Ryzen 9 5900HX 16Thread)]
・Core i7-12700の最大ターボパワーは180W、使用PCの最大パワーは126Wである為、CPUの最大性能は測定できていません。
・電力制限値を小さくすると多スレッド時に性能向上がなくなり、大きくすると冷却不足が発生して性能が劣化します。
・使用OSはWindows11で、基本的には、「電力プラン」には推奨の「バランス」を選択しています。
・電力制限/発熱の影響を調べるため、それらが発生しにくい「省電力」プランを選択した場合の性能も測定しています。
・Core i7-12700に搭載されているＥコアの影響を調べるため、Eコアを無効化した場合の性能も測定しています。
・FFO60-79の測定では、126Wの電力を測定期間中に継続供給できないため、65W/95Wでの測定のみ行っています。
・MRWorker使用時には、ローカル環境で16スレッド、MRWorker側で16スレッドの合計32スレッドで動作させています。
FFO40-59 --- Ryzen 9 5900HX (MINISFORUM EliteMini HX90)
FFO60-79 --- Ryzen 9 5900HX (MINISFORUM EliteMini HX90)
FFO40-59 --- Core i7-6700HQ (MacBook Pro 15インチ 2016モデル)
FFO60-79 --- Core i7-6700HQ (MacBook Pro 15インチ 2016モデル)
FFO40-59 --- Core i5-4278U (Mac mini Late2014)
FFO60-79 --- Core i5-4278U (Mac mini Late2014)
FFO40-59 --- Core m3-8100Y (Surface Go 2)
FFO60-79 --- Core m3-8100Y (Surface Go 2)
FFO40-59 --- Core i7-2600 (Gateway PC)
FFO60-79 --- Core i7-2600 (Gateway PC)
・使用Windowsは、Surface Go 2は11 / Mac mini Late2014は8.1 / Gateway PCは7、それ以外は10です。
・Gateway PCではAVX2命令が利用できないため、奥原氏版には、modern版ではなく、x64版を使用しています。
・MRSolver / 奥原氏版Edaxには、32Bit版も存在するため、Gateway PC環境では、32Bit版の性能も測定しています。
・Ver1.5.5の性能は、全項目で、Ver1.5.4の性能を上回っています。
→Ver1.5.5では、基本コードに対してコーディングレベルでの最適化を行ったため、全動作モードで性能向上したと考えられます。
・Ver1.5.5では、FFO40-59よりもFFO60-79での性能向上率の方が高くなっています。
→Ver1.5.5では、深い探索時に置換表のヒット率が向上する様にチューニングしたため、FFO60-79の性能がより向上したと考えられます。
・Ver1.5.5のFFO40-59の処理時間は、iiyama PCでは、ほぼEdax4.5.0と同等、それ以外の環境では、概ね、少し劣っています。
→MasterReversiのリバーシエンジンの処理コードでは、Edaxの処理コードと比較して、より多くのメモリアクセスを行っています。
→このため、CPUキャッシュのサイズが大きく、メモリアクセス速度も速いiiyama PCでは、より高速に動作していると考えられます。
・Ver1.5.5のFFO69-79の処理時間は、MRSolverの方がEdaxよりも高速になっています。
→探索ノード数がMRSolverの方が大幅に少なくなっているのが要因として考えられます。
→MasterReversiのリバーシエンジンの並列探索方式はEdaxと異なる事から、より複雑な探索時に有利となった可能性があります。
TOPページに戻る
FFOテストについて