Коротко
- Один удачный период описывает выбранный участок, а не всю область возможных условий.
- Устойчивость требует проверки на других отрезках, режимах, издержках и заранее заданных правилах.
- Чем больше вариантов параметров и периодов было просмотрено, тем осторожнее нужно трактовать лучший результат.
- Разделение истории на исследовательские и проверочные части снижает, но не устраняет риск переобучения.
Что меняет один удачный период
Историческая модель может показать привлекательную траекторию на выбранном отрезке. Это полезное наблюдение: на этой истории правило вело себя определённым образом. Но формулировка «стратегия устойчива» требует более широкого основания — нужно знать, что происходило за пределами выбранного окна и почему.
В работе Bailey и соавторов о вероятности переобучения бэктеста описывается проблема выбора удачной конфигурации среди множества проверенных вариантов (The Probability of Backtest Overfitting). Даже если итоговый график не выглядит подозрительно, он может быть связан с тем, что из множества окон, параметров или правил было оставлено самое удачное.
Это не делает один период бесполезным. Он становится первым вопросом для проверки, а не последним аргументом.
Устойчивость состоит из нескольких проверок
Другой временной отрезок
Разделите историю на части до расчёта итоговой оценки. Правило, сформированное на одном отрезке, можно проверить на другом, который не использовался для выбора параметров. Важно зафиксировать границу заранее: если менять её после просмотра результата, проверка снова становится частью исследования.
Другой режим
Сопоставьте поведение в направленном движении, диапазоне и переходной фазе. Материал о рыночных режимах объясняет, почему среднее по всей истории может скрывать различия между условиями. Устойчивость не означает одинаковый результат в каждом режиме; она означает, что границы поведения описаны и не потеряны в одном среднем числе.
Другие допущения
Повторите расчёт с реалистичными издержками, задержкой и правилами исполнения. В официальном материале CME Group бэктестинг рассматривается как историческая проверка с явно заданными допущениями, а не как самостоятельное доказательство будущего (Backtesting).
Условный пример
Предположим, исследователь просмотрел четыре одинаковых по длине периода и выбрал тот, где правило показало наиболее ровную траекторию. На остальных трёх периодах оно вело себя иначе: в одном зависело от тренда, в другом сильнее реагировало на издержки, в третьем почти не давало сигналов. Выбранный участок не становится ложным, но его нельзя описывать как представительный без раскрытия процесса выбора.
Минимальная запись такого исследования включает список проверенных периодов, версию правила, критерии выбора, допущения по исполнению и результаты на отложенном участке. Если список вариантов не сохранился, оценить влияние отбора труднее — это ограничение нужно прямо указать.
Почему «после этого было хорошо» недостаточно
Ретроспективное объяснение легко подстраивается под уже увиденный график. Можно назвать удачный период подтверждением идеи, а не результатом конкретного сочетания данных и параметров. Поэтому вывод должен быть уже: «на таком-то отрезке при таких-то допущениях наблюдалось такое-то поведение».
Для публичных материалов особенно важно не превращать исторический пример в обещание будущего. Руководство SEC по маркетингу инвестиционных консультантов отдельно рассматривает ограничения и контекст представления гипотетической или исторической результативности (Investment Adviser Marketing). Здесь это не юридическая классификация ARM, а источник для осторожной рамки описания.
Что проверить самостоятельно
- Какой период использовался для разработки, а какой — для проверки?
- Сколько окон, правил и параметров было просмотрено до выбора примера?
- Были ли критерии выбора зафиксированы до просмотра итогов?
- Что происходит в других режимах рынка?
- Как меняется картина после комиссии, спреда, задержки и частичного исполнения?
- Сохранились ли версии данных, кода и параметров?
- Какие выводы остаются справедливыми, если исключить лучший период?
Ограничения и границы вывода
Ни один набор исторических проверок не устраняет неопределённость будущих условий. Разделение выборки, повторные периоды и стресс-сценарии помогают сделать вопрос точнее, но не являются гарантией поведения. Пример в статье синтетический, не описывает результаты ARM и не предназначен для оценки конкретного счёта или стратегии.
Итог
Удачный период — повод исследовать, какие условия помогли правилу, а не основание объявлять его устойчивым. Сначала зафиксируйте выборку и процесс отбора, затем проверьте другие периоды, режимы и издержки. Такой порядок сохраняет полезную информацию графика и одновременно удерживает границы вывода.