ETHUSDT 1H：最良のRSI設定はアウトオブサンプルでも通用するか？

どんなバックテストにも勝者が生まれます。設定の組み合わせ（グリッド）をテストし、平均リターンでテーブルを並べ替えれば、1行が一番上に来ます。問題は、その一番上の行が実際に何を物語っているかということです。市場の本当の挙動を見つけたのか、それとも単にテストしたサンプルのノイズにたまたま適合した設定を見つけただけなのか——その答えは不快なものかもしれません。

今回は、ETHUSDTを用いた一つの具体的な実験でこの問いに答えます。非常にシンプルなRSI押し目ルールを用意し、データの前半部分で25種類のバリエーションを試し、多くの人がそうするであろう方法で勝者を選び、その後、その同じ勝者がそれ以降のデータでどう振る舞ったかを確認しました。上のチャートは1時間足ローソク足を示しており、下段にRSI(14)のパネル、最も厳格なバージョンのトリガーが発火した箇所に青い点を表示しています。

バックテストの落とし穴：過剰最適化とアウトオブサンプルテストの指標

過剰最適化（オーバーフィッティング）とは、ルールが特定の期間の値動きに合わせ込まれすぎて、市場そのものではなくその期間だけを説明するようになってしまう現象です。これはプログラミングのミスではなく、何かの兆候として現れるものでもありません。試す設定の数が多いほど、そのうちの一つが単なる偶然で非常に優れて見える可能性が高くなります。特に、その裏にあるトレード数が少ない場合はなおさらです。

標準的な対策は、アウトオブサンプル分割です。データをある日付で区切り、前半部分（インサンプル）のみで最適化を行い、選んだ設定を二度と調整せずに後半部分（アウトオブサンプル）で評価します。一般的な分割はインサンプル60%、アウトオブサンプル40%で、本記事でもこの比率を用いています。読み取り方は原理的にはシンプルです。分割後も設定がおおむね同じ性質を保っていれば結果は生き残り、崩れてしまえば、それ以前の数字は主に当てはめによるものだったということになります。

これを補助する指標が二つあります。一つ目は、インサンプルの勝者がアウトオブサンプルのテーブルの中で何位に位置するかです。本物のエッジ（優位性）であれば、中間に埋もれるのではなく、依然として上位に残っているはずです。二つ目は、各半分で利益を出す設定の割合です。分割前はグリッドの4分の3が機能していたのに、分割後はほとんど機能しないという場合、そのグリッドは持続的なパターンではなく、過去の市場レジームを説明していたにすぎません。取引コストも重要です。手数料を差し引く前にかろうじて勝っているだけのルールは、往復コストを課した瞬間に勝てなくなるからです。

テスト内容

使用したのは、Binance USDⓈ-M無期限先物のETHUSDT 1時間足ローソク足で、期間はSep 2020からOct 2026まで、本数は53,933本、タイムスタンプはすべてUTCです。ルールは意図的にシンプルにしており、RSI(14)がXを下回ってクロスした時の終値で買い、H本後に売る、というものです。X = 20, 25, 30, 35, 40、H = 6, 12, 24, 48, 96本の組み合わせで25種類の設定をグリッドとしてテストし、往復ごとに0.1%のコストを課しました。

各イベントの結果は、シグナルが出たローソク足の終値からH本後の終値までで測定されます。したがって24本の保有期間は、1時間足ではちょうど1日に相当します。クロスは、RSIが閾値より上から下回ってきた場合のみカウントされ、これが自然なクールダウンとして機能します。つまり、閾値を下回る状態が長く続いても、1本ごとにイベントが発生するのではなく、1回のイベントとしてカウントされます。分割日は2024-05-11で、それより前をインサンプル、それ以降をアウトオブサンプルとして扱いました。

通常、基準（任意の足）としては任意の足の後の平均値動きと比較しますが、ここでより有用な参照指標は、各半分における25種類すべての設定の中央値です。なぜなら、ここでの問いは「あるルールがコイン投げに勝てるかどうか」ではなく、「選ばれたルールが自身の仲間のルールに対する優位性を維持しているかどうか」だからです。これらの数値は過去の価格に基づいて計算されたものであり、実際のトレードではありません。ルールに記載されている0.1%の往復コストを除き、追加の手数料やスリッページは含まれておらず、実際の約定は異なる可能性があります。

結果

インサンプル（2024-05-11より前）とアウトオブサンプル（2024-05-11以降）の比較、0.1%の往復コスト控除後の平均トレード

	設定	インサンプルのトレード数	インサンプルの平均トレード	インサンプルの勝率	アウトオブサンプルのトレード数	アウトオブサンプルの平均トレード	アウトオブサンプルの勝率
インサンプル最良の設定	RSI < 20、4日間保有	48	+1.17%	50.0%	38	-0.32%	50.0%
アウトオブサンプル最良の設定（後知恵）	RSI < 35、4日間保有	209	+1.03%	56.5%	144	+0.15%	53.5%
全設定の中央値	25種類の設定		+0.15%			-0.24%

過去の価格に基づいて計算されたものであり、実際のトレードではありません。手数料とスリッページは含まれていません。

インサンプルの最適化によって選ばれたのは、RSI < 20、4日間保有という設定でした。これはグリッドの中で最も深い閾値であり、最も長い保有期間の一つでもあり、48件のインサンプルイベントで平均+1.17%のトレードを記録しました。もし2024年5月にこの研究を行っていたなら、まさにこの行を書き留めていたことでしょう。

分割後、同じ設定は38件のイベントで平均-0.32%のトレードとなり、アウトオブサンプルのテーブルでは25種類中14位、つまりグリッドの中間に位置し、上位ではありませんでした。勝率は両方の期間とも50.0%のまま変わらず、これは有用な詳細です。つまりこのルールは突然負けやすくなったわけではなく、単に勝ちトレードの大きさが負けトレードとコストをカバーできなくなっただけなのです。

グリッド全体の数字はさらに率直です。インサンプルでは、25種類の設定のうち76.0%がプラスの平均トレードを記録しました。アウトオブサンプルでは8.0%でした。中央値の設定は+0.15%から-0.24%へと変化しました。あるルールのほぼすべてのバリエーションがある期間でうまく機能し、次の期間ではほとんど機能しなくなる場合、正直な結論は、仕事をしていたのはルールではなく最初の期間だったということです。

テーブルの3行目は後知恵チェックです。アウトオブサンプルで最良だった設定、RSI < 35、4日間保有は、インサンプルでも209件のトレードで+1.03%と強い結果を示していましたが、アウトオブサンプルでは144件のトレードで平均わずか+0.15%にとどまり、勝率は56.5%から53.5%へと低下しました。往復コストを支払った後では、事後的に得られる最良の答えでさえも薄いものなのです。

どこで機能しなくなったか

ここで指摘できるような劇的な単一の日付は存在せず、それこそが教訓です。失敗は一つの壊滅的なトレードではなく、ゆっくりと分散した浸食でした。選ばれた設定は2024-05-11以降もトレードの半分で勝ち続けたにもかかわらず、それでもマイナスで終わりました。これは、エッジが値動きの方向ではなく値動きの大きさに宿っていたことの証です。

最も深い閾値は、最も脆いものでもあります。RSI < 20は、数年分の1時間足データにわたってわずか48件のインサンプルイベントしか生み出さず、少数の異常に強い反発だけで平均を+1.17%まで押し上げ、その行をグリッドの最上位に押し上げるのに十分でした。これほど小さなサンプルでは、本物の非対称性と幸運な連続を区別することはできません。より緩い閾値（インサンプル209件のトレード）は、前半と後半の間での変化がはるかに小さく、アウトオブサンプルでは依然として弱いものの、符号が反転することはありませんでした。イベント数が少ないほど、結果は派手に見える一方で信頼性は低くなります。

自分のチャートでどう読み解くか

上のチャートでは、青い点が直近の1時間足のウィンドウにおける、RSI(14)が20を下回る厳格なクロスを示しており、ローソク足の下にインジケーターのパネルがあります。これらがいかに稀であるかに注目してください。これほど選別的なトリガーを中心にルールを組み立てるのであれば、まず確認すべきは平均値がどれだけ良く見えるかではなく、バックテストが実際に何件のイベントに基づいているかです。

最適化を行う場合は、結果を見る前にデータの一部を取り分けておき、設定をインサンプルの平均値ではなく、手を付けていない半分における順位で判断することを検討してください。今回のように分割後にグリッドの中間へと落ちる設定は、未確認のものとして扱うべきです。近傍の設定を見ることも役立ちます。もし20が見事に機能し25は機能しないのであれば、その表面はとがっており、その選択はおそらくノイズです。最後に、最初からコストを計上してください。0.1%の往復コストは小さいものですが、それこそがここでの中央値の設定をフラットから分ける差になっているのです。

Pullwaveインジケーターはこれにどうアプローチするか

Pullwaveは招待制のTradingViewインジケーターであり、裁量を挟まず、価格と出来高に関する固定ルールに従います。チャート上では、ロングおよびショートのエントリー、追加エントリー、部分決済、全決済をマークし、マークが表示された際にアラートを送信できます。そのルールは公開されておらず、将来を予測するものではなく、負けトレードも発生します。

上のチャートにある金色の矢印は、同じローソク足におけるPullwaveのマークであり、pullwave.netの公開記録から取得したものです。ここでテストした手法の青い点と比較してみてください。このような単一条件のトリガーはそれ自体ではノイズが多く、完全なルールセットでは、いつ追加エントリーをするか、いつ部分利確をするか、いつ見送るかにも答える必要があります。注文はすべてユーザー自身が発注するものであり、インジケーターはマークの表示とアラートの送信のみを行います。

重要なポイント

• ETHUSDT 1Hにおいて、インサンプルで最良だった設定（RSI < 20、4日間保有）は、2024-05-11より前は平均+1.17%、それ以降は-0.32%となり、アウトオブサンプルでは25種類中14位でした。
• 利益を出す設定の割合は、インサンプルの76.0%からアウトオブサンプルの8.0%へと低下し、中央値の設定は+0.15%から-0.24%へと変化しました。
• 小さなサンプルほど派手な結果を生み出します。勝者となった行はわずか48件のトレードに基づいていた一方、209件のトレードを持つより緩い閾値ははるかに安定していました。
• 最適化を行うのであれば、あらかじめ手を付けないデータを確保し、設定をインサンプルの平均値ではなく、アウトオブサンプルでの順位によって判断することを検討してください。
• 最初のテストからコストを含めてください。0.1%の往復コストだけで、これらの行のいくつかの結果を左右するのに十分です。

---

チャート上の金色の矢印は、TradingView用Pullwaveインジケーターのマークです。Pullwaveインジケーターの仕組みをpullwave.netで見る。