<< Пред. стр. 32 (из 38) След. >>
Список литературы по разделу
710 ЧАСТЬ 4. ТОРГОВЫЕ СИСТЕМЫ и ИЗМЕРЕНИЕ ЭФФЕКТИВНОСТИ ТОРГОВЛИ
Таблица 20.3.
СИСТЕМА ПРОБОЯ (ЯПОНСКАЯ ИЕНА):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора
параметров на
предшествующем
8-летнем периоде
Ранг того же
набора параметров
в 1989-1990
Ранг того же
набора параметров
в 1991-1992
Ранг того же
набора параметров
в 1993-1994
Таблица 20.4.
СИСТЕМА ПРОБОЯ (ЗОЛОТО):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора параметров на предшествующем 8-летнем периоде
Ранг того же набора параметров в 1989-1990
Ранг того же набора параметров в 1991-1992
Ранг того же набора параметров в 1993-1994
1
4
(D
6
2
7
5
7
3
ф
6
(D
4
©
3
3
5
5
®
5
6
d)
®
(D
7
3
7
©
8
6
4
®
9
®
(1)
4
ГЛАВА 20. ТЕСТИРОВАНИЕ и ОПТИМИЗАЦИЯ ТОРГОВЫХ СИСТЕМ 711
Таблица 20.5.
СИСТЕМА ПРОБОЯ (СЕРЕБРО):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора
параметров на
предшествующем
8-летнем периоде
Ранг того же
набора параметров
в 1989-1990
Ранг того же
набора параметров
в 1991-1992
Ранг того же
набора параметров
в 1993-1994
Таблица 20.6.
СИСТЕМА ПРОБОЯ (МАЗУТ):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора параметров на предшествующем 8-летнем периоде
Ранг того же набора параметров в 1989-1990
Ранг того же набора параметров в 1991-1992
Ранг того же набора параметров в 1993-1994
1
®
®
©
2
(f)
Ф
ф
3
7
7
(D
4
3
5
©
5
4
®
6
6
Ф
•
7
7
5
6
3
8
6
3
5
9
©
4
4
712 ЧАСТЬ 4. ТОРГОВЫЕ системы и ИЗМЕРЕНИЕ ЭФФЕКТИВНОСТИ ТОРГОВЛИ
Таблица 20.7.
СИСТЕМА ПРОБОЯ (КУКУРУЗА):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора Ранг того же Ранг того же Ранг того же
параметров на набора параметров набора параметров набора параметров
предшествующем в 1989-1990 в 1991-1992 в 1993-1994
8-летнем периоде
2635 3556
5 7 ф 3
6 © 4 (2)
7 (D 6 4
8 3 ф 7
9 т с?) т
Таблица 20.8.
СИСТЕМА ПРОБОЯ (СОЕВЫЕ БОБЫ):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора Ранг того же Ранг того же Ранг того же
параметров на набора параметров набора параметров набора параметров
предшествующем в 1989-1990 в 1991-1992 в 1993-1994
8-летнем периоде
ГЛАВА 20. ТЕСТИРОВАНИЕ и ОПТИМИЗАЦИЯ ТОРГОВЫХ СИСТЕМ 713
Таблица 20.9.
СИСТЕМА ПРОБОЯ (ЖИВОЙ СКОТ):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора Ранг того же Ранг того же Ранг того же
параметров на набора параметров набора параметров набора параметров
предшествующем в 1989-1990 в 1991-1992 в 1993-1994
8-летнем периоде
Таблица 20.10.
СИСТЕМА ПРОБОЯ (САХАР):
СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ
НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ
НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора Ранг того же Ранг того же Ранг того же
параметров на набора параметров набора параметров набора параметров
предшествующем в 1989-1990 в 1991-1992 в 1993-1994
8-летнем периоде
714 ЧАСТЬ 4. ТОРГОВЫЕ СИСТЕМЫ и ИЗМЕРЕНИЕ ЭФФЕКТИВНОСТИ ТОРГОВЛИ
результативность наилучшего на каждом из тестируемых периодов набора параметров со средней результативностью всех наборов параметров и результативностью наборов параметров, которые показывали наилучшие и наихудшие результаты в предыдущий период. Как видно из таблиц, в двух периодах из трех выбор наихудшего из параметров предшествующего периода приводит к более высокой эффективности системы на текущем периоде, чем лучший параметр прошлого периода и среднее значение прибыли по всем параметрам. Это вовсе не означает, что набор параметров с наихудшей результативностью в прошлом окажется оптимальным в будущем. Если бы подобные тесты были проведены для других систем, то набор параметров с наилучшей результативностью в прошлом, вероятно, превосходил бы худший в прошлом набор параметров чаше, чем наоборот (хотя тот тип результатов, свидетелями которых мы стали в приведенном примере, вовсе не исключителен). Урок, который мы должны извлечь из приведенного выше примера состоит в том, что набор параметров с наилучшей результативностью в прошлом в большинстве случаев уступит оптимальному для данного периода набору параметров и не сможет предоставить какое-либо статистически существенное улучшение по сравнению с усредненной результативностью всех наборов параметров.
Наш пример использует лишь очень небольшой список из девяти наборов параметров. Многие разработчики систем проводят оптимизацию, проверяя сотни или даже тысячи наборов параметров. Представьте себе, насколько нереалистичной была бы надежда на то, что результативность таких систем в будущем сравнится с результативностью наилучшего набора параметров в прошлом.
Хотя кажется, что оптимизация имеет мало (если вообще имеет) значения, когда применяется в отдельности к каждому рынку, как в табл. 20.1-20.10, она кажется несколько более полезной, если применяется к портфелю. Другими словами, вместо того чтобы выбирать наилучший в прошлом набор параметров для каждого рынка, выбирается наилучший в прошлом единственный набор параметров для всех рынков одновременно. Табл. 20.15 показывает двухгодичный тестовый период, на котором наборы параметров ранжированы для портфеля, состоящего из всех десяти рынков, изображенных в табл. 20.1-20.10*.
Единственной бросающейся в глаза корреляцией между прошлой и будущей результативностью является поведение наихудшего набора параметров на предшествующем восьмигодичном периоде — он оказывается одновременно и наихудшим набором параметров в каждом из последующих тестовых двухгодичных периодов!
Портфель состоит из одного контракта для каждого рынка, за исключением рынка кукурузы, который подразумевает торговлю двумя контрактами по причине его низкой волатильности.
Таблица 20.11.
715
ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТЕСТОВОГО ПЕРИОДА 1989-1990:
ОПТИМАЛЬНЫЙ НАБОР ПАРАМЕТРОВ ПО СРАВНЕНИЮ
СО СРЕДНИМ РЕЗУЛЬТАТОМ ВСЕХ ПАРАМЕТРОВ
НА ДАННОМ ПЕРИОДЕ И ЛУЧШИМ И ХУДШИМ НАБОРОМ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩЕГО ПЕРИОДА
Рынок
Наилучший
набор
параметров
для данного
периода
Лучший
набор
параметров
в предшеств.
период
Средний результат
всех
наборов
параметров
Наихудший
набор
параметров
в предшеств.
период
Казначейские облигации
6670
-9090
-2180
1420
Немецкая марка
7780
3020
5390
6340
Японская йена
11840
9240
8130
8420
Золото
3390
1700
1080
-320
Серебро
5850
5330
3050
1630
Топливная нефть
7650
1760
3380
6430
Зерно
1640
-2190
-590
-2730
Соевые бобы
4970
-7160
-740
4740
Скот
2090
850
-20
-3290
Сахар
4240
4170
-840
-5560
Таблица 20.12.
ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТЕСТОВОГО ПЕРИОДА 1991-1992:
ОПТИМАЛЬНЫЙ НАБОР ПАРАМЕТРОВ ПО СРАВНЕНИЮ
СО СРЕДНИМ РЕЗУЛЬТАТОМ ВСЕХ ПАРАМЕТРОВ
НА ДАННОМ ПЕРИОДЕ И ЛУЧШИМ И ХУДШИМ НАБОРОМ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩЕГО ПЕРИОДА
Рынок
Наилучший набор
Лучший набор
Средний результат
Наихудший набор
параметров для данного
параметров в предшеств.
всех наборов
параметров в предшеств.
периода
период
параметров
период
Казначейские облигации
3710
-1820
-420
-2920
Немецкая марка
9180
1680
4770
9180
Японская йена
3340
-240
-1670
-3620
Золото
1370
90
-1050
1370
Серебро
-720
-1890
-1640
-1780
Топливная нефть
5510
-980
1540
4290
Зерно
560
-480
-440
340
Соевые бобы
-2420
-6090
-4650
-3190
Скот
1380
-160
-340
1380
Сахар
810
-1690
-1410
-1850
Всего • • .
22760
-ti^tft
-5010
3200
716
Таблица 20.13
ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТЕСТОВОГО ПЕРИОДА 1993-1994:
ОПТИМАЛЬНЫЙ НАБОР ПАРАМЕТРОВ ПО СРАВНЕНИЮ
СО СРЕДНИМ РЕЗУЛЬТАТОМ ВСЕХ ПАРАМЕТРОВ
НА ДАННОМ ПЕРИОДЕ И ЛУЧШИМ И ХУДШИМ НАБОРОМ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩЕГО ПЕРИОДА
Рынок
Наилучший набор
Лучший набор
Средний результат
Наихудший набор
параметров для данного
параметров в предшеств.
всех наборов
параметров в предшеств.
периода
период
параметров
период
Казначейские облигации
1160
3500
7180
7910
Немецкая марка
6210
-3660
-3300
-1410
Японская йена
3620
2460
260
-3060
Золото
490
-1900
-1460
-930
Серебро
1600
-3650
-2690
-790
Топливная нефть
2200
2200
-1700
-890
Зерно
1910
1910
640
-1030
Соевые бобы
2120
1570
-240
-2060
Скот
1600
950
500
1600
Сахар
880
570
-550
-240
Таблица 20.14.
СУММАРНЫЕ ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТРЕХ ТЕСТОВЫХ
ПЕРИОДОВ: ОПТИМАЛЬНЫЕ НАБОРЫ ПАРАМЕТРОВ
ПО СРАВНЕНИЮ СО СРЕДНИМИ РЕЗУЛЬТАТАМИ
ВСЕХ ПАРАМЕТРОВ И ЛУЧШИМИ И ХУДШИМИ НАБОРАМИ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩИХ ПЕРИОДОВ
Рынок
Наилучший набор
Лучший набор
Средний результат
Наихудший набор
параметров для данного
параметров в предшеств.
всех наборов
параметров в лредшесгв.
периода
период
параметров
период
Казначейские облигации
21980
-7410
3950
6410
Немецкая марка
23170
1040
6860
14110
Японская йена
18800
11460
6720
1740
Золото
5250
-110
-1430
120
Серебро
6730
-210
-1280
-940
Топливная нефть
15360
2980
3220
9830
Зерно
4110
-760
-390
-3420
Соевые бобы
4670
-11680
-5330
-510
Скот
5070
1640
140
-310
Сахар
5930
3060
'*пщ>||| ;- »,_
-2800
-7650
ГЛАВА 20. ТЕСТИРОВАНИЕ и ОПТИМИЗАЦИЯ ТОРГОВЫХ СИСТЕМ 717
Хотя наихудший в прошлом набор параметров, похоже, оказывается и наихудшим набором параметров в будущем, другие прошлые оценки результативности, как кажется, подразумевают значительно меньшую предсказательную ценность. Средняя (нейтральная) оценка набора параметров равна 4,5 (если отбросить наихудшую оценку 9). Посмотрим, как себя вел набор параметров, оптимальный для предшествующего восьмилетнего периода. Как видно из табл. 20.15, в первый тестовый период этот набор сохранил свое первое место, во второй — спустился на седьмое, а в третьем периоде занял второе место. Итого в среднем за три тестовых периода этот набор получил оценку 3,3, что все-таки лучше, чем нейтральная оценка 4,5. Однако, набор параметров, который на предшествующем восьмилетнем периоде занял всего лишь четвертое место, на тестовых периодах достиг значительно лучшего результата (2,3). Также заметьте, что наборы параметров, занявшие почти полярно противоположные места на предшествующем восьмилетнем периоде (2 и 8), на трех тестовых периодах дают почти идентичные результаты: 4,7 и 5,0.
Чтобы понять, почему наихудшая оценка результативности на предшествующем периоде точно предсказывает будущую результативность (набор параметров продолжает давать плохие результаты), в то время как другие оценки результативности, по-видимому, имеют мало предсказательного значения, мы исследуем оценку результативности, основанную на значениях параметров. В табл. 20.16 показаны результаты наборов параметров, перечисленные в порядке возрастания значения самого параметра (а не в порядке возрастания результативности за прошедший восьмилетний период, как это было в табл. 20.15).
Как видно из табл. 20.16, на каждом из тестовых периодов наихудшую результативность показал один и тот же набор параметров! Этот набор параметров с постоянной наихудшей результативностью располагается на одном из концов протестированного диапазона наборов параметров: N = 20.
Хотя N = 20 — наиболее чувствительное из протестированных значений наборов параметров — постоянно приводит к наихудшей результативности (когда применяется к портфелю), другие протестированные значения (от N = 30 до N = 100) ведут себя не так стабильно. Обратите внимание на то, что набор параметров N = 80 показал невероятно высокий средний ранг 1,3. Однако средние ранги двух соседних значений N (6,7 и 3,3) подразумевают, что звездная результативность значения N = 80, скорее всего, была статистической случайностью. Как уже объяснялось ранее в этой главе, недостаточная устойчивость к изменению параметра предполагает, что прошлая превосходная результативность данного параметра, вероятно, отражает лишь своеобразие тестируемых исторических данных, а не ту модель, которая будет повторяться в будущем.
718 ЧАСТЬ 4. ТОРГОВЫЕ СИСТЕМЫ и ИЗМЕРЕНИЕ ЭФФЕКТИВНОСТИ ТОРГОВЛИ
Таблица 20.15.
СИСТЕМА ПРОБОЯ (ПОРТФЕЛЬ):
РАНГИ НАБОРОВ ПАРАМЕТРОВ НА ДВУХГОДИЧНЫХ ТЕСТОВЫХ ПЕРИОДАХ ПО СРАВНЕНИЮ С РАНГАМИ НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ
Ранг набора Ранг того же параметров на набора
Ранг того же набора
Ранг того же набора
Средний ранг
предшествующем параметров 8-летнем периоде в 1989-1990
параметров в 1991-1992
параметров в 1993-1994
1 1
7
2
3,3
2 5
1
8
4,7
3 3
6
4
4,3
4 2
4
1
2,3
5 4
8
6
6,0
6 6
3
7
5,3
7 7
5
3
5,0
8 8
,0
9
,0
аблица 20.16
СИСТЕМА ПРОБОЯ (ПОРТФЕЛЬ):
РАНГИ НАБОРОВ ПАРАМЕТРОВ ПО ДВУХГОДИЧНЫМ ТЕСТОВЫМ ПЕРИОДАМ, В ЗАВИСИМОСТИ ОТ ЗНАЧЕНИЙ N
Значение N набора
анг набора
анг набора
анг набора
редний ранг
араметров
араметров в 1989-1990
араметров в 1991-1992
араметров в 1993-1994
20
9
9
9
9,0
30
8
2
5
5,0
40
7
5
3
5,0
50
6
3
1
3,3
60
4
6
6
5,3
70
5
7
8
6,7
80
1
1
2
1,3
90
2
4
4
3,3
100
3
8
7
6,0
ГЛАВА 20. ТЕСТИРОВАНИЕ и ОПТИМИЗАЦИЯ ТОРГОВЫХ СИСТЕМ 719
Будет поучительным рассмотреть наблюдения, связанные с предшествующим экспериментом по оптимизации.
• Оптимизация вообще не имела никакого значения, когда при
менялась к каждому рынку в отдельности.
• Однако примененная к портфелю, оптимизация кажется полез
ной для предсказания того, какой набор параметров с наиболь
шей вероятностью покажет плохую результативность в будущем.
Тем не менее, оптимизация не может предсказать, какие из на
боров параметров с наибольшей вероятностью продемонстри
руют хорошую результативность в будущем.
• При более близком исследовании выяснилось, что модель по
стоянно плохой результативности была не столько следствием
степени результативности на предшествующем периоде, сколь
ко следствием значения параметра. Другими словами, протес
тированный диапазон наборов параметров начинался со значе
ния, которое явно было далеко от оптимального для данной си
стемы: N = 20. Хотя и не показанные в таблицах, более низкие
значения для N продемонстрировали бы дальнейшее падение ре
зультативности по мере уменьшения значений N.
• За исключением крайних значений параметров (N = 20 или
ниже в этом примере), явно далеких от оптимального значения,
было мало стабильности в значениях наборов параметров с наи
лучшей результативностью внутри широкого диапазона наборов
параметров (от N = 30 до N = 100 в этом примере).
Эти наблюдения, которые согласуются с результатами похожих эмпирических тестов, предпринятых мною в прошлом, предполагают следующие ключевые выводы относительно оптимизации*:
1. От любой системы, повторяю, от любой системы с помощью оптимизации можно добиться того, чтобы она была очень прибыльной на исторических данных. Если вы когда-нибудь обнаружите систему, которая не может быть оптимизирована так, чтобы показывать относительно хорошую прибыль в прошлом, примите мои поздравления: вы только что открыли машину по производ-
Хотя единственный эмпирический эксперимент не может быть использован как основа для широких обобщений, я готов сделать таковые здесь, поскольку только что описанные результаты абсолютно типичны для многих подобных тестов, предпринятых мною в прошлом. В этом смысле исследование оптимизации, разобранное в данной главе, не рассматривается в качестве доказательства нежизнеспособности оптимизации, а скорее, в качестве иллюстрации этого момента.
720 ЧАСТЬ 4. ТОРГОВЫЕ СИСТЕМЫ и ИЗМЕРЕНИЕ ЭФФЕКТИВНОСТИ ТОРГОВЛИ
ству денег (поступайте противоположно ее сигналам, если только транзакционные затраты не чрезмерны). Таким образом, приятно смотреть на удивительную результативность оптимизированной системы в прошлом, однако она имеет мало практической ценности.
2. Оптимизация будет всегда, повторяю, всегда преувеличивать по
тенциальную будущую результативность системы — обычно
весьма сильно. Таким образом, результаты оптимизации никог
да не должны, повторяю, никогда не должны использоваться для
оценки достоинств системы.
3. Для многих, если не для большинства систем, оптимизация не
будет улучшать будущую результативность или улучшит ее незна
чительно.
4. Если оптимизация и имеет какое-то значение, оно обычно со
стоит в определении широких границ диапазона, из которых
следует выбирать значения наборов параметров для системы.
Тонкая подстройка оптимизации — это в лучшем случае поте
ря времени, а в худшем — самообман.
5. В свете всех предшествующих пунктов искушенные и слож
ные процедуры оптимизации — пустая трата времени. Наи
простейшие оптимизационные процедуры будут предоставлять
не меньшее количество значимой информации (предполагая,
0