Backtest-এ Multiple Testing: Best Strategy কেন False Winner হতে পারে

Backtest-এ Multiple Testing: Best Strategy কেন False Winner হতে পারে

Read in English

Evergreen trading tutorial: নিচের উদাহরণগুলো কাল্পনিক ও simplified। Historical data-এর statistical evidence future performance নিশ্চিত করে না। এটি শিক্ষামূলক তথ্য—ব্যক্তিগত পরামর্শ বা trading recommendation নয়।

একজন trader 100টি strategy variation test করে best equity curve-টি রাখলেন। Result disciplined, profitable ও statistically convincing দেখাতে পারে। এটি দুর্বল group-এর সবচেয়ে lucky member-ও হতে পারে।

এটিই multiple-testing problem। প্রতিটি extra market, indicator, lookback, stop, filter ও date range chance-কে attractive result তৈরির আরেকটি সুযোগ দেয়। Research process শুধু winner report করলে backtest real edge-এর evidence অনেক বেশি দেখাতে পারে।

শেখার লক্ষ্য

এই গাইড শেষে আপনি যেন পারেন:

• অনেক variant test করলে false discovery কেন বাড়ে ব্যাখ্যা করতে;
• hidden trial তৈরি করা main choiceগুলো count করতে;
• research, validation ও final test data আলাদা করতে;
• simple multiple-comparison safeguard প্রয়োগ করতে; এবং
• unproven strategy ছোট, explicit risk budget দিয়ে deploy করতে।

একটি test বনাম অনেক test

ধরা যাক statistical test 5% significance threshold ব্যবহার করে। Assumptionগুলো ঠিক থাকলে real edge নেই এমন strategy-ও one test-এ significant দেখানোর 5% chance রাখে।

100টি independent no-edge variant test করলে অন্তত একটি significant দেখানোর probability:

1 − (1 − 0.05)¹⁰⁰ = প্রায় 99.4%

Real strategy variant সাধারণত independent নয়; 19-day ও 20-day moving-average length highly related। তাই 99.4% real research project-এর universal answer নয়। Calculation problem-এর direction দেখায়: opportunity বাড়লে lucky winner পাওয়ার probability বাড়ে।

Relevant trial সংখ্যা শুধু spreadsheet-এ saved final strategy নয়। Abandoned idea, screened market, viewed timeframe ও result দেখার পর changed parameter-ও এর মধ্যে পড়ে।

Hidden trial কোথায় তৈরি হয়

Backtest quietly test multiply করতে পারে:

• 20টি lookback length;
• 5টি stop-loss distance;
• 4টি profit-taking rule;
• 10টি market;
• 3টি timeframe;
• কয়েকটি start ও end date; এবং
• losing period দেখার পর repeated filter।

সব combination test করলে date change ও manual judgement-এর আগেই 20 × 5 × 4 × 10 × 3 = 12,000 variants হয়। এই search থেকে best Sharpe ratio select করে one planned hypothesis হিসেবে দেখালে selection process লুকানো হয়।

কাল্পনিক worked example

ধরা যাক researcher daily breakout strategy-এর 100 variation তৈরি করেন। একই asset class ব্যবহার করলেও lookback, volatility filter ও exit rule বদলানো হয়। Best variation report করে:

• annualised return: 18%;
• maximum drawdown: 9%;
• Sharpe ratio: 1.6; এবং
• nominal p-value: 0.03।

এটি একমাত্র pre-specified test হলে 0.03 p-value 5% threshold-এর evidence হিসেবে দেখা যেত। কিন্তু resultটি 100 trial থেকে selected, তাই selection হয়নি এমনভাবে 0.03 interpret করা যায় না।

একটি খুব conservative illustration হলো Bonferroni adjustment:

Adjusted threshold = 0.05 ÷ 100 = 0.0005

Selected 0.03 এই threshold pass করে না। Test correlated হলে Bonferroni অতিরিক্ত conservative হতে পারে, কিন্তু বড় search-এর পর original 5% cutoff কেন বেশি generous তা দেখায়।

Researcher এরপর complete rule freeze করে untouched chronological holdout period-এ evaluate করেন। ধরুন holdout দেখায়:

• annualised return: 4%;
• maximum drawdown: 14%;
• Sharpe ratio: 0.3; এবং
• cost remaining profit-এর বেশিরভাগ সরিয়ে দেয়।

Strategy necessarily “কাজ বন্ধ” করেনি। Original winner selection-এর কারণে inflated estimate হতে পারে। Rule fixed হওয়ার পর কী হয়েছে, holdout তার less biased view দেয়।

Step-by-step research process

1. আগে economic বা behavioural hypothesis লিখুন

Edge কেন থাকতে পারে এবং এর cost কে দেবে তা explain করুন। “এই parameter highest return দিয়েছে” result, hypothesis নয়।

Testable reasoning হতে পারে information-এ delayed reaction, liquidity provide করার compensation বা persistent institutional constraint। Plausible story edge prove করে না, কিন্তু arbitrary search কমায়।

2. প্রতিটি research choice record করুন

Trial ledger-এ রাখুন:

• screened market ও date range;
• tested parameter;
• added বা removed filter;
• cost assumption;
• missing-data treatment;
• rejected version; এবং
• winner select করার metric।

এই “researcher degrees of freedom” record real search size visible করে।

3. Data chronologically split করুন

Practical structure:

1. Research set: basic idea develop;
2. Validation set: limited pre-defined alternative থেকে choose; এবং
3. Final holdout: frozen rule একবার evaluate।

Time series সাধারণত chronological order রাখবে। Observation randomly shuffle করলে future regime past-এ leak হতে পারে এবং serial dependence ignore হয়।

4. Comparison limit ও adjust করুন

প্রতিটি value search না করে sensible parameter-এর ছোট family pre-register করুন। Formal inference গুরুত্বপূর্ণ হলে multiple comparison-এর জন্য designed method বিবেচনা করুন—যেমন family-wise error control, false-discovery-rate control বা specialised backtest-selection test।

কোনো adjustment bad data, look-ahead bias বা unrealistic execution repair করে না। এটি research problem-এর শুধু একটি অংশ address করে।

5. Walk-forward testing ব্যবহার করুন

Past data-তে repeatedly train করে next unseen block-এ test করুন। Regime বদলালে parameter stable থাকে কি না বোঝা যায়। Processটি আমাদের walk-forward guide-এ আছে।

Walk-forward testing-এও multiple observation হয় এবং honest aggregation দরকার। Failed window বাদ দেবেন না।

6. Realistic implementation include করুন

Spread, commission, slippage, borrow availability, funding, futures roll, relevant tax এবং signal থেকে execution delay model করুন। Tiny statistical edge implementation যোগ করলে হারিয়ে যেতে পারে।

Look-ahead, survivorship bias ও trading cost আমাদের backtesting guide-এ বিস্তারিত আছে।

7. Final evaluation-এর আগে freeze করুন

Holdout open করার পর rule বারবার edit করবেন না। প্রতিটি change holdout-এর অংশকে training data বানায়। Change দরকার হলে document করুন এবং নতুন untouched test period নিন।

Research evidence থেকে position risk

Validation survive করা strategy-ও uncertain। Deployment size সেই uncertainty reflect করবে।

ধরা যাক £20,000 account নতুন validated setup-এর জন্য hypothetical initial 0.25% risk budget নেয়:

£20,000 × 0.25% = £50 planned cash risk

Entry £30 এবং invalidation £28.75 হলে distance £1.25:

£50 ÷ £1.25 = 40 units cost-এর আগে।

এই sizing example backtest valid বানায় না। Live evidence জমার সময় wrong হলে consequence limit করে। Slippage বা gap material হলে theoretical size আরও কম হওয়া উচিত।

High backtest Sharpe দেখে সঙ্গে সঙ্গে size বাড়ালে selection risk compound হয়। Better process আগে define করে কোন live sample, cost ও drawdown evidence scaling justify করবে—এবং কী হলে size কমবে।

One peak-এর চেয়ে parameter stability গুরুত্বপূর্ণ

Robust strategy এক exact parameter-এর ওপর নির্ভর করা উচিত নয়। Neighbouring setting-এর performance plot করুন। Failure দিয়ে ঘেরা one sharp optimum-এর চেয়ে broad plateau সাধারণত বেশি credible।

Lookback 18–24 days similar result দিলে এবং 21 সামান্য best হলে তা reassuring। শুধু 21 কাজ করে, 20 বা 22 heavy loss করলে fragility warning দেয়। Stability proof নয়, কিন্তু fragility useful evidence।

সাধারণ ভুল

1. শুধু winner-কে one test count করা। Rejected variant-ও selection influence করে।
2. Discovery ও proof-এ same data ব্যবহার। Same noise-এ result optimise ও evaluate হয়।
3. Holdout open করার পর rule change। Holdout আর unseen থাকে না।
4. Search size ছাড়া one Sharpe report। Number selection ignore করে।
5. Curve smooth না হওয়া পর্যন্ত start date বদলানো। Date selection-ও trial।
6. Failed market বা timeframe ignore। Selective reporting confidence inflate করে।
7. Unrealistic cost। Small edge implementation-এর আগেই থাকতে পারে।
8. Sharpest parameter peak পছন্দ করা। এটি most overfit point হতে পারে।
9. One live win-এর পর দ্রুত scale। Tiny sample backtest validate করতে পারে না।

Practical checklist

• Search-এর আগে economic বা behavioural hypothesis লেখা।
• সব market, parameter, filter ও date range log করা।
• Selection metric ও acceptance criteria pre-defined।
• Research, validation ও final holdout chronological ও separate।
• Holdout open করার আগে final rule frozen।
• Multiple comparison limit বা appropriately adjust করা হয়েছে।
• Neighbouring parameter stability examine করা হয়েছে।
• Failed variant ও window report-এ রাখা হয়েছে।
• Cost, slippage, data quality ও execution delay realistic।
• Initial live risk small এবং scaling rule advance-এ defined।

The Money Man View

Large search-এর best backtest unseen data-তে prove না হওয়া পর্যন্ত suspect। Credible research report chance-এর কত opportunity ছিল explain করে, failed trial preserve করে এবং discovery ও evaluation আলাদা রাখে। One spectacular historical curve-এর চেয়ে simpler rule, fewer test, stable neighbouring parameter ও modest initial live risk সাধারণত বেশি useful evidence দেয়।

শিক্ষামূলক ঝুঁকি-ঘোষণা: Backtest hypothetical এবং live trading-এ loss করতে পারে। Historical relationship বদলাতে পারে, আর statistical adjustment execution, liquidity বা model risk সরাতে পারে না। উপরের figure simplified example, recommendation নয়। The Money Man-এর editorial process অনুযায়ী AI-assisted research ও writing-এর সহায়তায় এই article প্রস্তুত করা হয়েছে।