FFOテストは
French Federation of Othelloで作成され、終盤解析用ベンチマークとして広く用いられています。
テストでは、終盤解析が比較的困難な局面を対象として最善手探索に要する処理時間を計測します。
(本テストでは、完全読みによる処理時間を計測しています)
Ver1.5.4では、近年のPC用CPUの多コア・多スレッド化を受けて、多スレッドを使用する評価処理の性能を向上させました。
このため、今回は、改良の効果を検証する事を目的として、従来の4コア・8スレッドを超える環境での性能を測定しています。
また、近年のPCの中には、消費電力の増大から、CPUへの電力供給/冷却が十分に行えない製品が存在するようになりました。
この様な製品の場合、CPUを最大性能では利用できませんが、多くの場合、実用十分な性能は発揮してくれます。
ただし、CPUの最大性能を発揮させようとすると、電力制限/発熱防止の必要性から、処理性能が低下させられる事になります。
今回は、この様な環境で、不用意に使用スレッドを増大させると性能が低下するケースについても測定しています。
上記以外に、今回は、最新CPUが、どの程度、高速化されているのかを比較できる様に、従来環境での測定も行っています。
測定は、改良の効果を検証できる様に、従来版であるVer1.5.3と最新版であるVer1.5.4の両方に対して行っています。
また、一般的には、どの程度の性能になるのかを比較できる様に、同一環境で、知名度が高いEdaxの性能も測定しています。
Edaxについては、
オリジナル版と、
「Booby Reversi」 / 「Edax + ub」等で有名な
奥原氏の改良版の両方で測定しています。
奥原氏版(Ver4.5.0)では、奥原氏が考案した高速コードが用いられるため、オリジナル版(Ver4.4)よりも高速です。
奥原氏版のバイナリは複数ありますが、基本的には最も高速な「wEdax-x64-modern」、一部でx64/x86版を使用しています。
MRSolverが使用するキャッシュサイズは、64Bit版については、今回から最大容量の4096MBに増大させています。
Edaxのハッシュサイズは従来と同じH=25のため、割り当てられるメモリサイズはMRSolverよりも少なくなっています。
ただし、FFOテスト用には十分なサイズが割り当てられていると考えられるため、性能差への影響は少ない筈です。
測定値はFFO40-59/FFO60-79の全項目にかかった時間です。(測定値は素データへのリンクになっています)
各測定値には単一測定の結果を使用しているため、OS等によるバックグラウンドタスクの影響から若干の誤差が含まれます。
マルチスレッド動作時には評価タスクの終了順が変動する結果、測定毎に比較的大きな性能変動が発生する場合があります。
MRSolver/Edax共に、評価スレッドに対するCPUコアの割り当てはOS任せにしています。
カッコ内の数値はVer1.5.4の処理時間を1.0とした場合の処理時間の倍率です。(値が大きいほど低速)
旧バージョンでは異なる観点に基づいた性能測定も実施しています。
興味のある方は以下のリンクから参照してみて下さい。
Ver1.5.1、
Ver1.5.0、
Ver1.4.1、
Ver1.4.0、
Ver1.0.2、
Ver1.0.0
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 65W]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 95W]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: PL1:95W PL2:126W tau:224秒]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 65W / Windowsの電力プラン: 省電力]
FFO40-59 --- Core i7-12700 (iiyama PC) [電力制限: 65W / UEFI(BIOS)でEコアを利用不可に設定]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 65W]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 95W]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 65W + MRWorker(Ryzen 9 5900HX 16Thread)]
FFO60-79 --- Core i7-12700 (iiyama PC) [電力制限: 95W + MRWorker(Ryzen 9 5900HX 16Thread)]
・Core i7-12700の最大ターボパワーは180W、使用PCの最大パワーは126Wである為、CPUの最大性能は測定できていません。
・電力制限値を小さくすると多スレッド時に性能向上がなくなり、大きくすると冷却不足が発生して性能が劣化します。
・使用OSはWindows11で、基本的には、「電力プラン」には推奨の「バランス」を選択しています。
・電力制限/発熱の影響を調べるため、それらが発生しにくい「省電力」プランを選択した場合の性能も測定しています。
・Core i7-12700に搭載されているＥコアの影響を調べるため、Eコアを無効化した場合の性能も測定しています。
・FFO60-79の測定では、126Wの電力を測定期間中に継続供給できないため、65W/95Wでの測定のみ行っています。
・MRWorker使用時には、ローカル環境で16スレッド、MRWorker側で16スレッドの合計32スレッドで動作させています。
FFO40-59 --- Ryzen 9 5900HX (MINISFORUM EliteMini HX90)
FFO60-79 --- Ryzen 9 5900HX (MINISFORUM EliteMini HX90)
FFO40-59 --- Core i7-6700HQ (MacBook Pro 15インチ 2016モデル)
FFO60-79 --- Core i7-6700HQ (MacBook Pro 15インチ 2016モデル)
FFO40-59 --- Core i5-4278U (Mac mini Late2014)
FFO60-79 --- Core i5-4278U (Mac mini Late2014)
FFO40-59 --- Core m3-8100Y (Surface Go 2)
FFO60-79 --- Core m3-8100Y (Surface Go 2)
FFO40-59 --- Core i7-2600 (Gateway PC)
FFO60-79 --- Core i7-2600 (Gateway PC)
・使用Windowsは、Surface Go 2は11 / Mac mini Late2014は8.1 / Gateway PCは7、それ以外は10です。
・Gateway PCではAVX2命令が利用できないため、奥原氏版には、modern版ではなく、x64版を使用しています。
・MRSolver / 奥原氏版Edaxには、32Bit版も存在するため、Gateway PC環境では、32Bit版の性能も測定しています。
・Ver1.5.4の性能はスレッド数が8以上で、Ver1.5.3の性能を超える様になっています。
→Ver1.5.4で行った改良の効果が表れていると考えられます。
→Ver1.5.4では、スレッド数が多くなるとVer1.5.3では行われていた、有用性が低い評価が行われない様に改良しています。
・処理性能は、概ね、奥原氏版Edax > Ver1.5.4 > Ver1.5.3 > オリジナル版Edaxの順番になっています。
→MRSolverは特殊コードで高速化しているため、通常コードで実装されているオリジナル版Edaxより高速になると考えられます。
→奥原氏版Edaxでは、より高度な高速化用コードが使用されるため、MRSolverよりも高速に動作していると考えられます。
・Core i7-12700環境では、他環境よりも、EdaxとMRSolverの性能差が小さくなっています。
→Core i7-12700のCPUキャッシュサイズが他環境のCPUよりも大きい事がMRSolverの性能を向上させていると考えられます。
→Core m3-8100Y環境では、より性能差は拡大していますが、これは、ファンレス環境であるため、発熱による影響が考えられます。
・MRSolverと比べて、4.5.0-modern版Edaxのシングルスレッド性能は高く、2〜4スレッドでは、相対的に少し低下します。
→4.5.0-modern版に実装されている評価用関数の処理速度はMRSolverと比べて高速であると考えられます。
→マルチスレッド動作時には、YBWCによる待ちが発生する事から、MRSolverと比べて性能が低下する様に見えると考えられます。
・MRSolverと比べて、Edaxの8スレッド以上でのハイパースレッディングによる性能向上率は高くなっています。
→Edaxでは、YBWCによる待ち時間があり、ハイパースレッディング動作時には、その待ち時間を有効活用できると考えられます。
→MRSolverでは、各スレッドの待ち時間が少ない為、ハイパースレッディング動作時の性能向上率は高くならないと考えられます。
・MRSolverは、Core i7-12700環境で全スレッド動作すると、性能が劣化するケースが多くなっています。
→全スレッド動作時には消費電力が増大する結果、電力制限/冷却の必要性から、CPUのクロック周波数が低下すると考えられます。
→Edaxでは、YBWCによる評価待ちにより、相対的に電力消費が少なくなる為に、性能劣化が発生しづらいと考えられます。
・EdaxとMRSolverの性能差は、FFO40-59よりもFFO60-79の方が小さくなる傾向が見られます。
→Edaxは最善手探索後、βカットが発生しなかった場合に他探索を開始しますが、MRSolverは最善手探索中に他の善手探索も行います。
→FFO40-59では探索が容易であるためMRSolverの評価効率が悪く、FFO60-79では困難なため有利となる場合が多いと考えられます。
・EdaxとMRSolverの性能差は、x64/x86版では、modern版での性能差よりも小さくなっています。
→x64/x86版では、modern版の高度な高速化コードが使用されないため、コードレベルでの性能差が少ないと考えられます。
→アルゴリズム的な違いはないため、FFO40-59/FFO60-79の違い、スレッド数による性能の違いについては、同様の傾向が見られます。
TOPページに戻る
FFOテストについて