import%20marimo%0A%0A__generated_with%20%3D%20%220.18.3%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20!%5BMOSEK%20ApS%5D(https%3A%2F%2Fwww.mosek.com%2Fstatic%2Fimages%2Fbranding%2Fwebgraphmoseklogocolor.png%20)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Imports%20and%20configuration%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20import%20sys%2C%20os%2C%20re%2C%20glob%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20statsmodels.api%20as%20sm%0A%20%20%20%20import%20matplotlib%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20matplotlib.colors%20import%20LinearSegmentedColormap%0A%0A%20%20%20%20from%20mosek.fusion%20import%20Model%2C%20Domain%2C%20Expr%2C%20ObjectiveSense%2C%20Matrix%2C%20Var%2C%20SolutionStatus%0A%20%20%20%20import%20mosek.fusion.pythonic%20%20%20%23%20Requires%20MOSEK%20%3E%3D%2010.2%0A%0A%20%20%20%20%23%20Options%0A%20%20%20%20np.set_printoptions(precision%3D5%2C%20linewidth%3D120%2C%20suppress%3DTrue)%0A%20%20%20%20pd.set_option(%22display.max_rows%22%2C%20None)%0A%20%20%20%20plt.rcParams%5B%22figure.figsize%22%5D%20%3D%20%5B12%2C%208%5D%0A%0A%20%20%20%20%23%20Diagnostic%0A%20%20%20%20print(f%22Python%3A%20%7Bsys.version%7D%22)%0A%20%20%20%20print(f%22marimo%3A%20%7Bmo.__version__%7D%2C%20matplotlib%3A%20%7Bmatplotlib.__version__%7D%2C%20pandas%3A%20%7Bpd.__version__%7D%2C%20numpy%3A%20%7Bnp.__version__%7D%2C%20mosek%3A%20%7BModel.getVersion()%7D%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20Domain%2C%0A%20%20%20%20%20%20%20%20Expr%2C%0A%20%20%20%20%20%20%20%20Model%2C%0A%20%20%20%20%20%20%20%20ObjectiveSense%2C%0A%20%20%20%20%20%20%20%20SolutionStatus%2C%0A%20%20%20%20%20%20%20%20glob%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20os%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20re%2C%0A%20%20%20%20%20%20%20%20sm%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Prepare%20input%20data%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20we%20load%20the%20raw%20data%20that%20will%20be%20used%20to%20compute%20the%20optimization%20input%20variables%2C%20the%20vector%20%24%5Cmu%24%20of%20expected%20returns%20and%20the%20covariance%20matrix%20%24%5CSigma%24.%20The%20data%20consists%20of%20daily%20stock%20prices%20of%20%248%24%20stocks%20from%20the%20US%20market.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Download%20data%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(DataReader)%3A%0A%20%20%20%20%23%20Data%20format%3A%0A%20%20%20%20%23%0A%20%20%20%20%23%20This%20notebook%20loads%20data%20from%20the%20folder%20%22stock_data%22%2C%20containing%20files%20with%20names%0A%20%20%20%20%23%20%22TICKER.csv%22%2C%20where%20TICKER%20is%20the%20symbol%20of%20a%20stock.%20Each%20csv%20file%20contains%20(at%20least)%20columns%0A%20%20%20%20%23%20%22date%22%2C%20%22price%22%2C%20%22volume%22.%0A%20%20%20%20%23%0A%20%20%20%20%23%20The%20DataReader%20class%20(see%20Appendix)%20will%20load%20data%20into%20two%20dataframes%0A%20%20%20%20%23%20df_prices%20and%20df_volumes%2C%20which%20are%20then%20used%20in%20the%20notebook.%0A%20%20%20%20%23%0A%20%20%20%20%23%20To%20use%20your%20own%20data%20prepare%20your%20own%20files%20and%20modify%20the%20configuration%20below.%20You%20can%20also%0A%20%20%20%20%23%20modify%20the%20DataReader%20to%20consume%20a%20different%20format%20or%20plug%20in%20your%20df_prices%2C%20df_volumes%20directly.%0A%0A%20%20%20%20list_stocks%20%3D%20%5B%22PM%22%2C%20%22LMT%22%2C%20%22MCD%22%2C%20%22MMM%22%2C%20%22AAPL%22%2C%20%22MSFT%22%2C%20%22TXN%22%2C%20%22CSCO%22%5D%0A%20%20%20%20list_factors%20%3D%20%5B%5D%0A%20%20%20%20list_tickers%20%3D%20list_stocks%20%2B%20list_factors%0A%20%20%20%20investment_start%20%3D%20%222016-03-18%22%0A%20%20%20%20investment_end%20%3D%20%222021-03-18%22%0A%0A%20%20%20%20dr%20%3D%20DataReader(%0A%20%20%20%20%20%20%20%20folder_path%3D%22stock_data%22%2C%20symbol_list%3Dlist_tickers%0A%20%20%20%20)%0A%20%20%20%20dr.read_data()%0A%20%20%20%20df_prices%2C%20_%20%3D%20dr.get_period(%0A%20%20%20%20%20%20%20%20start_date%3Dinvestment_start%2C%20end_date%3Dinvestment_end%0A%20%20%20%20)%0A%20%20%20%20return%20(df_prices%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Run%20the%20optimization%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Define%20the%20optimization%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20will%20solve%20a%20fund%20of%20funds%20problem.%20Suppose%20there%20are%20fund%20managers%20optimizing%20their%20funds%20wrt.%20specific%20benchmarks%2C%20and%20there%20is%20an%20overall%20benchmark%2C%20against%20which%20all%20funds%20are%20optimized%20together.%20This%20can%20be%20modeled%20as%20the%20following%20optimization%20problem%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Barray%7D%7Blrcl%7D%0A%20%20%20%20%20%20%20%20%5Ctext%7Bminimize%7D%20%20%20%20%20%26%20(%5Cmathbf%7Bx%7D_%5Cmathrm%7Bo%7D-%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2C%5Cmathrm%7Bo%7D%7D)%5E%5Cmathsf%7BT%7D%5CSigma(%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bo%7D%7D-%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2C%5Cmathrm%7Bo%7D%7D)%20%20%26%20%20%20%20%20%20%20%20%20%20%26%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%26%20%5Cmathbf%7Bx%7D_%5Cmathrm%7Bo%7D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%3D%20%20%20%20%20%20%20%20%26%20%5Csum_i%20f_i%20%5Cmathbf%7Bx%7D_i%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20(%5Cmathbf%7Bx%7D_i-%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2Ci%7D)%5E%5Cmathsf%7BT%7D%5CSigma(%5Cmathbf%7Bx%7D_%7Bi%7D-%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2Ci%7D)%20%20%26%20%5Cleq%20%20%20%20%20%26%5Csigma_%7B%5Cmathrm%7Bmax%7D%2Ci%7D%5E2%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Calpha_i%5E%5Cmathsf%7BT%7D%5Cmathbf%7Bx%7D_i%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cgeq%20%20%20%20%20%26%20%5Calpha_%7B%5Cmathrm%7Bmin%7D%2Ci%7D%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cmathbf%7B1%7D%5E%5Cmathsf%7BT%7D%5Cmathbf%7Bx%7D_i%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%3D%20%20%20%20%20%20%20%20%26%201%2C%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cmathbf%7Bx%7D_i%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cgeq%20%20%20%20%20%26%200%2C%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%5Cend%7Barray%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20objective%20is%20the%20squared%20tracking%20error%20of%20the%20overall%20fund.%20%24%5Cmathbf%7Bx%7D_%5Cmathrm%7Bo%7D%24%20is%20the%20overall%20fund%20portfolio%2C%20and%20%24%5Cmathrm%7Bx%7D_i%24%20is%20the%20portfolio%20of%20fund%20%24i%24.%20Likewise%2C%20%24%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2C%5Cmathrm%7Bo%7D%7D%24%20is%20the%20the%20overall%20benchmark%2C%20and%20%24%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2Ci%7D%24%20is%20the%20benchmark%20of%20fund%20%24i%24.%20%24f_i%24%20is%20the%20weight%20of%20fund%20%24i%24%2C%20and%20has%20to%20satisfy%20%24f_i%5Cgeq%200%24%2C%20%24%5Csum_if_i%3D1%24.%20%24%5Csigma_%7B%5Cmathrm%7Bmax%7D%2Ci%7D%5E2%24%20is%20the%20squared%20tracking%20error%20upper%20bound%20for%20fund%20%24i%24%2C%20and%20%24%5Calpha_%7B%5Cmathrm%7Bmin%7D%2Ci%7D%24%20is%20the%20portfolio%20alpha%20lower%20bound%20for%20fund%20%24i%24.%0A%0A%20%20%20%20Then%20we%20rewrite%20the%20above%20problem%20into%20conic%20form%2C%20and%20implement%20it%20in%20Fusion%20API%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Barray%7D%7Blrcl%7D%0A%20%20%20%20%20%20%20%20%5Ctext%7Bminimize%7D%20%20%20%20%20%26%20t_%5Cmathrm%7Bo%7D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%20%20%20%20%20%20%20%20%20%26%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%20%20%26%20(t_%5Cmathrm%7Bo%7D%2C%200.5%2C%20%5Cmathbf%7BG%7D%5E%5Cmathrm%7BT%7D(%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bo%7D%7D-%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2C%5Cmathrm%7Bo%7D%7D))%20%20%26%20%5Cin%20%20%20%20%20%26Q_%5Cmathrm%7Br%7D%5E%7BN%2B2%7D%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cmathbf%7Bx%7D_%5Cmathrm%7Bo%7D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%3D%20%20%20%20%20%20%20%20%26%20%5Csum_i%20f_i%20%5Cmathbf%7Bx%7D_i%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20(%5Csigma_%7B%5Cmathrm%7Bmax%7D%2Ci%7D%5E2%2C%200.5%2C%20%5Cmathbf%7BG%7D%5E%5Cmathrm%7BT%7D(%5Cmathbf%7Bx%7D_i-%5Cmathbf%7Bx%7D_%7B%5Cmathrm%7Bbm%7D%2Ci%7D))%20%20%26%20%5Cin%20%20%20%20%20%26Q_%5Cmathrm%7Br%7D%5E%7BN%2B2%7D%2C%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Calpha_i%5E%5Cmathsf%7BT%7D%5Cmathbf%7Bx%7D_i%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cgeq%20%20%20%20%20%26%20%5Calpha_%7B%5Cmathrm%7Bmin%7D%2Ci%7D%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cmathbf%7B1%7D%5E%5Cmathsf%7BT%7D%5Cmathbf%7Bx%7D_i%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%3D%20%20%20%20%20%20%20%20%26%201%2C%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cmathbf%7Bx%7D_i%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20%5Cgeq%20%20%20%20%20%26%200%2C%5Cquad%20i%3D1%2C%5Cdots%2CK%5C%5C%0A%20%20%20%20%20%20%20%20%5Cend%7Barray%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20We%20create%20it%20inside%20a%20function%20so%20we%20can%20call%20it%20later.%0A%0A%20%20%20%20Below%20we%20implement%20the%20optimization%20model%20in%20Fusion%20API.%20We%20create%20it%20inside%20a%20function%20so%20we%20can%20call%20it%20later.%0A%0A%20%20%20%20The%20parameters%3A%0A%20%20%20%20-%20%60a%60%3A%20The%20vectors%20of%20alphas%20for%20each%20fund.%0A%20%20%20%20-%20%60ao%60%3A%20The%20vector%20of%20alphas%20for%20the%20overall%20fund.%0A%20%20%20%20-%20%60a_min%60%3A%20The%20minimum%20required%20portfolio%20alpha%20for%20each%20fund.%0A%20%20%20%20-%20%60s2_max%60%3A%20The%20maximum%20tracking%20error%20for%20each%20fund.%0A%20%20%20%20-%20%60f%60%3A%20The%20weigth%20of%20each%20fund%20portfolio%20in%20the%20overall%20portfolio.%0A%20%20%20%20-%20%60xobm%60%3A%20The%20overall%20benchmark%20portfolio.%0A%20%20%20%20-%20%60XFbm%60%3A%20The%20benchmark%20portfolio%20for%20each%20fund.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Domain%2C%20Expr%2C%20Model%2C%20ObjectiveSense%2C%20SolutionStatus%2C%20df_prices%2C%20np%2C%20pd)%3A%0A%20%20%20%20def%20EfficientFrontier(N%2C%20K%2C%20a%2C%20ao%2C%20a_min%2C%20s2_max%2C%20G%2C%20f%2C%20xobm%2C%20Xfbm)%3A%0A%0A%20%20%20%20%20%20%20%20with%20Model(%22Case%20study%22)%20as%20M%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Settings%0A%20%20%20%20%20%20%20%20%20%20%20%20%23M.setLogHandler(sys.stdout)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Variables%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20variable%20x%20is%20the%20fraction%20of%20holdings%20in%20each%20security.%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20It%20is%20restricted%20to%20be%20positive%2C%20which%20imposes%20the%20constraint%20of%20no%20short-selling.%20%0A%20%20%20%20%20%20%20%20%20%20%20%20xo%20%3D%20M.variable(%22xo%22%2C%20N%2C%20Domain.greaterThan(0.0))%0A%20%20%20%20%20%20%20%20%20%20%20%20Xf%20%3D%20M.variable(%22Xf%22%2C%20%5BN%2C%20K%5D%2C%20Domain.greaterThan(0.0))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Active%20holdings%0A%20%20%20%20%20%20%20%20%20%20%20%20xoa%20%3D%20xo%20-%20xobm%0A%20%20%20%20%20%20%20%20%20%20%20%20Xfa%20%3D%20Xf%20-%20Xfbm%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20variable%20teo%20models%20the%20overall%20tracking%20error%20in%20the%20objective.%0A%20%20%20%20%20%20%20%20%20%20%20%20te2o%20%3D%20M.variable(%22teo%22%2C%201%2C%20Domain.unbounded())%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Relate%20overall%20portfolio%20to%20fund%20portfolios%0A%20%20%20%20%20%20%20%20%20%20%20%20M.constraint(%22combine%22%2C%20xo%20%3D%3D%20Xf%20%40%20f)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Budget%20constraint%20for%20each%20fund%0A%20%20%20%20%20%20%20%20%20%20%20%20M.constraint('budget_f'%2C%20Expr.sum(Xf%2C%200)%20%3D%3D%20np.ones(K))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Conic%20constraint%20for%20the%20fund%20sq.%20tracking%20errors%0A%20%20%20%20%20%20%20%20%20%20%20%20sigma2%20%3D%20M.parameter()%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(K)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20M.constraint(f'fund_te2_%7Bi%7D'%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Expr.flatten(Expr.vstack(sigma2%2C%200.5%2C%20G.T%20%40%20Xfa%5B%3A%2C%20i%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Domain.inRotatedQCone())%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Conic%20constraint%20for%20the%20overall%20sq.%20tracking%20error%0A%20%20%20%20%20%20%20%20%20%20%20%20M.constraint('overall_te2'%2C%20Expr.vstack(te2o%2C%200.5%2C%20G.T%20%40%20xoa)%2C%20Domain.inRotatedQCone())%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Alpha%20constraint%20for%20each%20fund.%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(K)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20M.constraint(f'fund_alpha_%7Bi%7D'%2C%20Xf%5B%3A%2C%20i%5D.T%20%40%20a%5B%3A%2C%20i%5D%3E%3D%20a_min%5Bi%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Objective%0A%20%20%20%20%20%20%20%20%20%20%20%20M.objective('obj'%2C%20ObjectiveSense.Minimize%2C%20te2o)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20DataFrame%20to%20store%20the%20results.%20Last%20security%20name%20(benchmark)%20is%20removed.%0A%20%20%20%20%20%20%20%20%20%20%20%20columns%20%3D%20%5B%22s2%22%2C%20%22obj%22%2C%20%22return%22%2C%20%22te_o%22%2C%20%22te_1%22%2C%20%22te_2%22%5D%20%2B%20df_prices.columns%5B%3A-1%5D.tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20df_result%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20s2%20in%20s2_max%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Update%20parameter%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sigma2.setValue(s2)%20%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Solve%20optimization%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20M.solve()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Check%20if%20the%20solution%20is%20an%20optimal%20point%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solsta%20%3D%20M.getPrimalSolutionStatus()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(solsta%20!%3D%20SolutionStatus.Optimal)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20See%20https%3A%2F%2Fdocs.mosek.com%2Flatest%2Fpythonfusion%2Faccessing-solution.html%20about%20handling%20solution%20statuses.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20Exception(%22Unexpected%20solution%20status!%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Save%20results%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20portfolio_return%20%3D%20ao%20%40%20xo.level()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overall_te2%20%3D%20te2o.level()%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r1%20%3D%20G.T%20%40%20(Xf.level().reshape(N%2C%20K)%5B%3A%2C%200%5D%20-%20Xfbm%5B%3A%2C%200%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fund_te2_1%20%3D%20np.dot(r1%2C%20r1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r2%20%3D%20G.T%20%40%20(Xf.level().reshape(N%2C%20K)%5B%3A%2C%201%5D%20-%20Xfbm%5B%3A%2C%201%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fund_te2_2%20%3D%20np.dot(r2%2C%20r2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%20%3D%20pd.Series(%5Bs2%2C%20M.primalObjValue()%2C%20portfolio_return%2C%20overall_te2%2C%20fund_te2_1%2C%20fund_te2_2%5D%20%2B%20list(xo.level())%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20index%3Dcolumns)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_result%20%3D%20pd.concat(%5Bdf_result%2C%20pd.DataFrame(%5Brow%5D)%5D%2C%20ignore_index%3DTrue)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20df_result%0A%20%20%20%20return%20(EfficientFrontier%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Define%20the%20factor%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20we%20define%20a%20function%20that%20computes%20the%20factor%20model%0A%0A%20%20%20%20%24%24%0A%20%20%20%20R_t%20%3D%20%5Calpha%20%2B%20%5Cbeta%20R_%7BF%2Ct%7D%20%2B%20%5Cvarepsilon_t.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20It%20can%20handle%20any%20number%20of%20factors%2C%20and%20returns%20estimates%20%24%5Cbeta%24%2C%20%24%5CSigma_F%24%2C%20and%20%24%5CSigma_%5Ctheta%24.%20The%20factors%20are%20assumed%20to%20be%20at%20the%20last%20coordinates%20of%20the%20data.%0A%0A%20%20%20%20The%20input%20of%20the%20function%20is%20the%20expected%20return%20and%20covariance%20of%20yearly%20logarithmic%20returns.%20The%20reason%20is%20that%20it%20is%20easier%20to%20generate%20logarithmic%20return%20scenarios%20from%20normal%20distribution%20instead%20of%20generating%20linear%20return%20scenarios%20from%20lognormal%20distribution.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(N%2C%20np%2C%20sm)%3A%0A%20%20%20%20def%20factor_model(m_log%2C%20S_log%2C%20factor_num)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20It%20is%20assumed%20that%20the%20last%20factor_num%20coordinates%20correspond%20to%20the%20factors.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20if%20factor_num%20%3C%201%3A%20%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20Exception(%22Does%20not%20make%20sense%20to%20compute%20a%20factor%20model%20without%20factors!%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Generate%20logarithmic%20return%20scenarios%0A%20%20%20%20%20%20%20%20scenarios_log%20%3D%20np.random.default_rng().multivariate_normal(m_log%2C%20S_log%2C%20100000)%0A%0A%20%20%20%20%20%20%20%20%23%20Convert%20logarithmic%20return%20scenarios%20to%20linear%20return%20scenarios%20%0A%20%20%20%20%20%20%20%20scenarios_lin%20%3D%20np.exp(scenarios_log)%20-%201%0A%0A%20%20%20%20%20%20%20%20%23%20Do%20linear%20regression%20%0A%20%20%20%20%20%20%20%20params%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20resid%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20X%20%3D%20scenarios_lin%5B%3A%2C%20-factor_num%3A%5D%0A%20%20%20%20%20%20%20%20X%20%3D%20sm.add_constant(X%2C%20prepend%3DFalse)%0A%0A%20%20%20%20%20%20%20%20for%20k%20in%20range(N)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20scenarios_lin%5B%3A%2C%20k%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20sm.OLS(y%2C%20X%2C%20hasconst%3DTrue).fit()%0A%20%20%20%20%20%20%20%20%20%20%20%20resid.append(model.resid)%0A%20%20%20%20%20%20%20%20%20%20%20%20params.append(model.params)%0A%20%20%20%20%20%20%20%20resid%20%3D%20np.array(resid)%0A%20%20%20%20%20%20%20%20params%20%3D%20np.array(params)%0A%0A%20%20%20%20%20%20%20%20%23%20Get%20parameter%20estimates%0A%20%20%20%20%20%20%20%20a%20%3D%20params%5B%3A%2C%201%5D%0A%20%20%20%20%20%20%20%20B%20%3D%20params%5B%3A%2C%200%3Afactor_num%5D%0A%20%20%20%20%20%20%20%20S_F%20%3D%20np.atleast_2d(np.cov(X%5B%3A%2C%200%3Afactor_num%5D.T))%0A%20%20%20%20%20%20%20%20S_theta%20%3D%20np.cov(resid)%0A%20%20%20%20%20%20%20%20S_theta%20%3D%20np.diag(np.diag(S_theta))%0A%0A%20%20%20%20%20%20%20%20return%20a%2C%20B%2C%20S_F%2C%20S_theta%0A%20%20%20%20return%20(factor_model%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Compute%20optimization%20input%20variables%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20we%20use%20the%20loaded%20daily%20price%20data%20to%20compute%20the%20corresponding%20yearly%20mean%20return%20and%20covariance%20matrix.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(compute_inputs%2C%20df_prices)%3A%0A%20%20%20%20%23%20Number%20of%20securities%20(We%20subtract%20fnum%20to%20account%20for%20factors%20at%20the%20end%20of%20the%20price%20data)%0A%20%20%20%20N%20%3D%208%0A%20%20%20%20K%20%3D%202%0A%0A%20%20%20%20%23%20Get%20optimization%20parameters%0A%20%20%20%20m%2C%20S%20%3D%20compute_inputs(df_prices%2C%20security_num%3DN)%0A%20%20%20%20return%20K%2C%20N%2C%20S%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20also%20create%20three%20benchmarks%2C%20one%20for%20each%20fund%2C%20and%20an%20overall%20benchmark.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(S%2C%20df_prices%2C%20np)%3A%0A%20%20%20%20%23%20Create%20benchmarks%0A%20%20%20%20%23%20-%20Benchmark%20for%20fund%201%20%0A%20%20%20%20w1%20%3D%20np.diag(S)%0A%20%20%20%20w1%20%3D%20w1%20%2F%20sum(w1)%0A%20%20%20%20bm_1%20%3D%20df_prices.iloc%5B%3A-2%2C%200%3A8%5D.dot(w1)%0A%0A%20%20%20%20%23%20-%20Benchmark%20for%20fund%202%0A%20%20%20%20w2%20%3D%20np.diag(S)**2%0A%20%20%20%20w2%20%3D%20w2%20%2F%20sum(w2)%0A%20%20%20%20bm_2%20%3D%20df_prices.iloc%5B%3A-2%2C%200%3A8%5D.dot(w2)%0A%0A%20%20%20%20%23%20-%20Overall%20benchmark%0A%20%20%20%20wo%20%3D%20(1.0%20%2F%20np.diag(S))%0A%20%20%20%20wo%20%3D%20wo%20%2F%20sum(wo)%0A%20%20%20%20bm_o%20%3D%20df_prices.iloc%5B%3A-2%2C%200%3A8%5D.dot(wo)%0A%20%20%20%20return%20bm_1%2C%20bm_2%2C%20bm_o%2C%20w1%2C%20w2%2C%20wo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Next%20we%20compute%20the%20matrix%20%24G%24%20such%20that%20%24%5CSigma%3DGG%5E%5Cmathsf%7BT%7D%24%2C%20this%20is%20the%20input%20of%20the%20conic%20form%20of%20the%20optimization%20problem.%20Here%20we%20use%20Cholesky%20factorization.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(S%2C%20np)%3A%0A%20%20%20%20G%20%3D%20np.linalg.cholesky(S)%0A%20%20%20%20return%20(G%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20we%20compute%20the%20estimates%20%24%5Calpha%24%20and%20%24%5Cbeta%24%20using%20the%20factor%20model%2C%20for%20each%20benchmark.%20First%20we%20compute%20logarithmic%20return%20statistics%20and%20use%20them%20to%20compute%20the%20factor%20exposures%20and%20covariances.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(bm_1%2C%20bm_2%2C%20bm_o%2C%20compute_inputs%2C%20df_prices%2C%20factor_model%2C%20np)%3A%0A%20%20%20%20df_prices%5B'bm'%5D%20%3D%20bm_1%0A%20%20%20%20m_log%2C%20S_log%20%3D%20compute_inputs(df_prices%2C%20return_log%3DTrue)%0A%20%20%20%20a_1%2C%20_%2C%20_%2C%20_%20%3D%20factor_model(m_log%2C%20S_log%2C%201)%0A%0A%20%20%20%20df_prices%5B'bm'%5D%20%3D%20bm_2%0A%20%20%20%20m_log%2C%20S_log%20%3D%20compute_inputs(df_prices%2C%20return_log%3DTrue)%0A%20%20%20%20a_2%2C%20_%2C%20_%2C%20_%20%3D%20factor_model(m_log%2C%20S_log%2C%201)%0A%0A%20%20%20%20df_prices%5B'bm'%5D%20%3D%20bm_o%0A%20%20%20%20m_log%2C%20S_log%20%3D%20compute_inputs(df_prices%2C%20return_log%3DTrue)%0A%20%20%20%20a_3%2C%20_%2C%20_%2C%20_%20%3D%20factor_model(m_log%2C%20S_log%2C%201)%0A%0A%20%20%20%20a%20%3D%20np.vstack(%5Ba_1%2C%20a_2%5D).T%0A%20%20%20%20ao%20%3D%20a_3%0A%20%20%20%20return%20a%2C%20ao%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Also%20define%20the%20benchmark%20weights%20for%20the%20funds%2C%20and%20the%20overall%20benchmark.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20w1%2C%20w2%2C%20wo)%3A%0A%20%20%20%20Xfbm%20%3D%20np.vstack(%5Bw1%2C%20w2%5D).T%0A%20%20%20%20xobm%20%3D%20wo%0A%0A%20%20%20%20%23%20Fund%20weights%0A%20%20%20%20f%20%3D%20%5B0.5%2C%200.5%5D%0A%0A%20%20%20%20%23%20Alpha%20lower%20bounds%0A%20%20%20%20a_min%20%3D%20%5B0.05%2C%200.05%5D%0A%20%20%20%20return%20Xfbm%2C%20a_min%2C%20f%2C%20xobm%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Call%20the%20optimizer%20function%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20run%20the%20optimization%20for%20a%20range%20of%20tracking%20error%20limits.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(EfficientFrontier%2C%20G%2C%20K%2C%20N%2C%20Xfbm%2C%20a%2C%20a_min%2C%20ao%2C%20f%2C%20np%2C%20xobm)%3A%0A%20%20%20%20%23%20Tracking%20error%20upper%20bounds%20(in%20percent)%0A%20%20%20%20s2_max%20%3D%20np.linspace(start%3D1%2C%20stop%3D0.1%2C%20num%3D10)%20%2F%20100%0A%0A%20%20%20%20df_result%20%3D%20EfficientFrontier(N%2C%20K%2C%20a%2C%20ao%2C%20a_min%2C%20s2_max%2C%20G%2C%20f%2C%20xobm%2C%20Xfbm)%0A%20%20%20%20mask%20%3D%20df_result%20%3C%200%0A%20%20%20%20mask.iloc%5B%3A%2C%20%3A2%5D%20%3D%20False%0A%20%20%20%20df_result%5Bmask%5D%20%3D%200%0A%20%20%20%20return%20(df_result%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Visualize%20the%20results%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Plot%20the%20squared%20tracking%20errors%20of%20the%20funds%20in%20function%20of%20the%20tracking%20error%20limit.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_result)%3A%0A%20%20%20%20df_result%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_result%2C%20plt)%3A%0A%20%20%20%20%23%20Efficient%20frontier%0A%20%20%20%20ax%20%3D%20df_result.plot(x%3D%22s2%22%2C%20y%3D%22te_o%22%2C%20style%3D%22-o%22%2C%20xlabel%3D%22risk%20limit%22%2C%20ylabel%3D%22portfolio%20tracking%20error%22%2C%20grid%3DTrue)%0A%20%20%20%20df_result.plot(ax%3Dax%2C%20x%3D%22s2%22%2C%20y%3D%22te_1%22%2C%20style%3D%22-o%22%2C%20xlabel%3D%22risk%20limit%22%2C%20ylabel%3D%22portfolio%20tracking%20error%22%2C%20grid%3DTrue)%20%0A%20%20%20%20df_result.plot(ax%3Dax%2C%20x%3D%22s2%22%2C%20y%3D%22te_2%22%2C%20style%3D%22-o%22%2C%20xlabel%3D%22risk%20limit%22%2C%20ylabel%3D%22portfolio%20tracking%20error%22%2C%20grid%3DTrue)%0A%20%20%20%20ax.legend(%5B%22overall%20portfolio%22%2C%20%22fund%201%22%2C%20%22fund_2%22%5D)%3B%0A%20%20%20%20plt.show()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Appendix%0A%20%20%20%20Data%20preparation%20tools%20used%20in%20this%20notebook%20can%20be%20reached%20from%20the%20functions%20defined%20below.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(glob%2C%20os%2C%20pd%2C%20re)%3A%0A%20%20%20%20class%20DataReader(object)%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20folder_path%2C%20symbol_list%3DNone)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.folder_path%20%3D%20folder_path%0A%20%20%20%20%20%20%20%20%20%20%20%20self.name_format%20%3D%20r%22*.csv%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.symbol_list%20%3D%20symbol_list%20if%20symbol_list%20is%20not%20None%20else%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.df_prices%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self.df_volumes%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20def%20read_data(self%2C%20read_volume%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20list%20of%20files%20from%20path%2C%20named%20as%20name_format%20%0A%20%20%20%20%20%20%20%20%20%20%20%20list_files%20%3D%20glob.glob(os.path.join(self.folder_path%2C%20self.name_format))%0A%20%20%20%20%20%20%20%20%20%20%20%20file_names%20%3D%20%22%5Cn%22.join(list_files)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(%22Found%20data%20files%3A%20%5Cn%7B%7D%5Cn%22.format(file_names))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Keep%20only%20ones%20in%20symbol%20list%20(if%20given)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20self.symbol_list%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20list_to_read%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20os.path.join(self.folder_path%2C%20self.name_format.replace(%22*%22%2C%20symbol))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20symbol%20in%20self.symbol_list%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20list_missing%20%3D%20%5Bfname%20for%20fname%20in%20list_to_read%20if%20fname%20not%20in%20list_files%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20list_missing%3A%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20Exception(f%22Files%20are%20missing%3A%20%7Blist_missing%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20file_names%20%3D%20%22%5Cn%22.join(list_to_read)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%22Using%20data%20files%3A%20%5Cn%7B%7D%5Cn%22.format(file_names))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20list_to_read%20%3D%20list_files%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%22Using%20all%20data%20files.%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Collect%20data%20from%20the%20files%20into%20a%20Dataframe%0A%20%20%20%20%20%20%20%20%20%20%20%20dict_prices%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20dict_volumes%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20file_name%20in%20list_to_read%3A%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20m%20%3D%20re.search(self.name_format.replace(%22*%22%2C%20%22(.%2B)%22)%2C%20os.path.basename(file_name))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20symbol%20name%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20symbol%20%3D%20m.group(1)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Read%20data%20file%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_data%20%3D%20pd.read_csv(file_name)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Set%20timestamp%20as%20index%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_data%5B'date'%5D%20%3D%20pd.to_datetime(df_data%5B'date'%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_data%20%3D%20df_data.set_index('date')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_data.index.name%20%3D%20%22date%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Obtain%20adjusted%20close%20price%20data%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dict_prices%5Bsymbol%5D%20%3D%20df_data%5B'price'%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Obtain%20volumes%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20read_volume%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dict_volumes%5Bsymbol%5D%20%3D%20df_data%5B'volume'%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.df_prices%20%3D%20pd.concat(dict_prices.values()%2C%20axis%3D1%2C%20keys%3Ddict_prices.keys()).sort_index()%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20read_volume%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.df_volumes%20%3D%20pd.concat(dict_volumes.values()%2C%20axis%3D1%2C%20keys%3Ddict_volumes.keys()).sort_index()%0A%0A%20%20%20%20%20%20%20%20def%20get_period(self%2C%20start_date%2C%20end_date)%3A%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20start_idx%20%3D%20self.df_prices.index.get_indexer(%5Bpd.to_datetime(start_date)%5D%2C%20method%3D'nearest')%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20end_idx%20%3D%20self.df_prices.index.get_indexer(%5Bpd.to_datetime(end_date)%5D%2C%20method%3D'nearest')%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20df_prices%20%3D%20self.df_prices.iloc%5Bstart_idx%3A(end_idx%20%2B%201)%5D.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20self.df_volumes%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_volumes%20%3D%20self.df_volumes.iloc%5Bstart_idx%3A(end_idx%20%2B%201)%5D.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_volumes%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20df_prices%2C%20df_volumes%0A%20%20%20%20return%20(DataReader%2C)%0A%0A%0A%40app.cell%0Adef%20_(cov_shrinkage_LW%2C%20mean_shrinkage_JS%2C%20np%2C%20pd)%3A%0A%20%20%20%20def%20compute_inputs(%0A%20%20%20%20%20%20%20%20%20%20%20%20list_df_prices%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20sample_period%3D'W'%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20investment_horizon%3D1%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20show_histograms%3DFalse%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20shrinkage%3DFalse%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20security_num%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20return_log%3DFalse%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20map_period%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'W'%3A%2052%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%23%20We%20can%20generate%20return%20distribution%20based%20on%20multiple%20periods%20of%20price%20data%0A%20%20%20%20%20%20%20%20if%20not%20isinstance(list_df_prices%2C%20list)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20list_df_prices%20%3D%20%5Blist_df_prices%5D%0A%0A%20%20%20%20%20%20%20%20df_weekly_log_returns%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20for%20df_prices%20in%20list_df_prices%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20PREPROC%3A%20Remove%20factors%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20security_num%20is%20not%20None%3A%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_prices%20%3D%20df_prices.iloc%5B%3A%2C%200%3Asecurity_num%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%201.%20Compute%20weekly%20logarithmic%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20df_weekly_prices%20%3D%20df_prices.resample(sample_period).last()%0A%20%20%20%20%20%20%20%20%20%20%20%20df_weekly_log_returns_part%20%3D%20np.log(df_weekly_prices)%20-%20np.log(df_weekly_prices.shift(1))%0A%20%20%20%20%20%20%20%20%20%20%20%20df_weekly_log_returns_part%20%3D%20df_weekly_log_returns_part.dropna(how%3D'all')%0A%20%20%20%20%20%20%20%20%20%20%20%20df_weekly_log_returns_part%20%3D%20df_weekly_log_returns_part.fillna(0)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_weekly_log_returns%20%3D%20pd.concat(%5Bdf_weekly_log_returns%2C%20df_weekly_log_returns_part%5D%2C%20ignore_index%3DTrue)%0A%0A%20%20%20%20%20%20%20%20if%20show_histograms%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_weekly_log_returns.hist(bins%3D50)%0A%0A%20%20%20%20%20%20%20%20%23%202.%20Compute%20the%20distribution%20of%20weekly%20logarithmic%20return%0A%20%20%20%20%20%20%20%20return_array%20%3D%20df_weekly_log_returns.to_numpy()%0A%20%20%20%20%20%20%20%20T%20%3D%20return_array.shape%5B0%5D%0A%20%20%20%20%20%20%20%20m_weekly_log%20%3D%20np.mean(return_array%2C%20axis%3D0)%0A%20%20%20%20%20%20%20%20S_weekly_log%20%3D%20np.cov(return_array.transpose())%0A%0A%20%20%20%20%20%20%20%20%23%20Apply%20shrinkage%20if%20needed%0A%20%20%20%20%20%20%20%20if%20shrinkage%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20m_weekly_log%20%3D%20mean_shrinkage_JS(m_weekly_log%2C%20S_weekly_log%2C%20return_array)%0A%20%20%20%20%20%20%20%20%20%20%20%20S_weekly_log%20%3D%20cov_shrinkage_LW(m_weekly_log%2C%20S_weekly_log%2C%20return_array)%0A%0A%20%20%20%20%20%20%20%20%23%203.%20Project%20the%20distribution%20to%20the%20investment%20horizon%0A%20%20%20%20%20%20%20%20scale_factor%20%3D%20investment_horizon%20*%20map_period%5Bsample_period%5D%0A%20%20%20%20%20%20%20%20m_log%20%3D%20scale_factor%20*%20m_weekly_log%0A%20%20%20%20%20%20%20%20S_log%20%3D%20scale_factor%20*%20S_weekly_log%0A%0A%20%20%20%20%20%20%20%20if%20return_log%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20m_log%2C%20S_log%0A%0A%20%20%20%20%20%20%20%20%23%204.%20Compute%20the%20distribution%20of%20yearly%20linear%20return%0A%20%20%20%20%20%20%20%20p_0%20%3D%20np.ones(len(m_log))%20%20%23%20We%20use%20a%20dummy%20price%20here%20to%20see%20the%20method%20in%20two%20steps.%20It%20will%20be%20canceled%20out%20later.%20%0A%20%20%20%20%20%20%20%20m_P%20%3D%20p_0%20*%20np.exp(m_log%20%2B%201%2F2*np.diag(S_log))%0A%20%20%20%20%20%20%20%20S_P%20%3D%20np.outer(m_P%2C%20m_P)%20*%20(np.exp(S_log)%20-%201)%0A%0A%20%20%20%20%20%20%20%20m%20%3D%201%20%2F%20p_0%20*%20m_P%20-%201%0A%20%20%20%20%20%20%20%20S%20%3D%201%20%2F%20np.outer(p_0%2C%20p_0)%20*%20S_P%0A%0A%20%20%20%20%20%20%20%20return%20m%2C%20S%0A%20%20%20%20return%20(compute_inputs%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20rel%3D%22license%22%20href%3D%22http%3A%2F%2Fcreativecommons.org%2Flicenses%2Fby%2F4.0%2F%22%3E%3Cimg%20alt%3D%22Creative%20Commons%20License%22%20style%3D%22border-width%3A0%22%20src%3D%22https%3A%2F%2Fi.creativecommons.org%2Fl%2Fby%2F4.0%2F80x15.png%22%20%2F%3E%3C%2Fa%3E%3Cbr%20%2F%3EThis%20work%20is%20licensed%20under%20a%20%3Ca%20rel%3D%22license%22%20href%3D%22http%3A%2F%2Fcreativecommons.org%2Flicenses%2Fby%2F4.0%2F%22%3ECreative%20Commons%20Attribution%204.0%20International%20License%3C%2Fa%3E.%20The%20**MOSEK**%20logo%20and%20name%20are%20trademarks%20of%20%3Ca%20href%3D%22http%3A%2F%2Fmosek.com%22%3EMosek%20ApS%3C%2Fa%3E.%20The%20code%20is%20provided%20as-is.%20Compatibility%20with%20future%20release%20of%20**MOSEK**%20or%20the%20%60Fusion%20API%60%20are%20not%20guaranteed.%20For%20more%20information%20contact%20our%20%5Bsupport%5D(mailto%3Asupport%40mosek.com).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A
80769ed37e3a73f527f5a4236ef27110