Title: project report for PhD level pass for Dmitri Bolt.

Это исследование проведено Under industry supervising of Morgan Stanley and academic supervision of Mikhail Stepanov

I. The initial (historical, naive) guess was that the linearly constrained quadratic optimization method is suitable for portfolio selection (Markowitz’s portfolio theory).

Тут надо пересказать близко к тексту раздел 6.1 из numbook.pdf.

II. Brief list of claims about MPT.

Взять из файла "PhD level pass project proposal for Dimitri Bolt"

III. (Надо придумать какое название этому разделу)

III.1 Data Preparation and Implementation

III.1.1

Взять текст и формулы из учебника (numbook.pdf) "Appendix M", но переформулировать своими словами. Явно сослаться на источник, то есть на учебник. Явно написать, что вс формулы взяты из учебника для совместимости

III.1.2

Подробно доказать формулу $Σ_{annualized} = 𝑓 ⋅ Σ$, так как она отличается от формулы в учебнике (numbook.pdf) "Appendix M".

III.1.3

Особо подчеркнуть, что реализация кода мо собственная и она более эффективная, чем ученике, так использовались только векторные формы уравнений и не использовалось ни одного цикла.

IV. Решение в виде формул.

привести формулы использованные для решения, в матричном виде KKT. Описать все члены всех уравнений: KKT, Сигма, вектор средних доходностей, ...

V. Описание методики эксперимента

Обычный портфель обычного инвестиционного форда состоит от 1500 до 10000 активов. Но для чистоты эксперименты были взяты всего 200 самых стабильных компаний на планете. 200 компаний с самой низкой дисперсией. Фактически эти компании абсолютно предсказуемы и любой опытный трейдер без труда составит оптимальный портфель без всяких вычислений. Важно что эти компании имеют низкую волатильность и низкую корреляцию между собой. То есть я не усложнял задачу алгоритму, не занимался cherry picking-ом, а наоборот облегчал задачу алгоритму Вариация входного вектора доходностей бралась из естественных условий. Каждый следующий день входной вектор доходностей незначительно отличается от вектора доходностей предыдущего дня. Так как с условного " вчера" до условного "сегодня" на рынке почти ничего не менялось, изменения доходностей незначительные, то клиент инвестиционного фонда ожидает, что портфель, который был рекомендован ему к покупке вчера будет примерно такой же как и портфель, который рекомендован ему к покупке сегодня. В противном случае клиент не доверяет прогнозу аналитика и не покупает портфель.

В качестве меры вариации портфеля бралась $\frac{||\vec{Δw}||{l^1}}{||\vec{w}||{l^1}}$. Норма l1 выбрана так как в инвестиционных фондах она имеет понятную интерпретация, то есть показывает как изменился портфель. Норма l2 не подходит так как она не имеет прямого финансового смысла.

VI. Описание результатов эксперимента

Если сформировать портфель з дюжины самых предсказуемых активов, то алгоритм показывает стабильный результат. Портфель меняется незначительно, что соответствует ожиданиям клиента инвестиционного фонда. Однако если сформировать портфель из 200 самых предсказуемых активов, то алгоритм начинает показывать нестабильный результат. Портфель меняется значительно, что не соответствует ожиданиям клиента инвестиционного фонда. Тут показать график из "weight_change_l1_norm_timeseries.png"

Причина в том, что на фактических данных ковариационная матрица Σ вырождается. Это связано с тем, что реальные данные содержат шум. В результате при решении задачи оптимизации методом KKT получаются нестабильные решения, которые сильно меняются при небольших изменениях входных данных. Тут надо что-то сказать про condition number матрицы KKT и дать описания фактических фактических чисел condition number. (из приложенного файла c output_condition_numbers.txt)

VII. Выводы и дальнейшие шаги

VII.1 Выводы

1. Метод линейно ограниченной квадратичной оптимизации (метод KKT) не подходит для решения задачи оптимального портфеля на реальных данных из-за вырождения KKT матрицы.
2. Причина вырождения KKT матрицы заключается в шуме реальных данных, который приводит к вырождению ковариационной матрицы Σ.
3. В результате получаются нестабильные решения, которые сильно меняются при небольших изменениях входных данных.
4. Для получения стабильных решений необходимо использовать методы регуляризации, которые позволяют уменьшить влияние шума на решение задачи оптимизации.

VII.2 Дальнейшие шаги

Изучение литературы показала, что для вычисления оптимального портфеля сообществе финансовых аналитиков возлагает большие надежды на следующие методы.

1. "Random Matrix Theory Application in Portfolio Optimization: Eigenvalue Denoising for Enhanced Mean-Variance Efficiency" 2: "Robust Principal Component Analysis for Financial Risk Modeling: Proximal Gradient Descent with Eigenvalue Denoising"
2. Random-Matrix Theory based covariance cleaning, which removes noise eigenvalues based on the Marchenko–Pastur distribution to improve portfolio stability.

Данное исследование является частью independent study по теме "Robust Principal Component Analysis for Financial Risk Modeling: Proximal Gradient Descent with Eigenvalue Denoising" по курсу 599 под руководством Mikhail Stepanov.

Appendix:

Code repository link: https://github.com/DimitriBolt/Social-processes/tree/main