Traders-এর জন্য Brier Score: আপনার Probability আসলেই বিশ্বাসযোগ্য কি না যাচাই করুন

Traders-এর জন্য Brier Score: আপনার Probability আসলেই বিশ্বাসযোগ্য কি না যাচাই করুন

Read in English

Learning objective

এই guide শেষে আপনি “এই breakout সফল হওয়ার chance 70%” ধরনের trading opinion-কে testable forecast-এ বদলাতে, Brier score calculate করতে, simple baseline-এর সঙ্গে compare করতে এবং নিজের confidence calibrated কি না বুঝতে পারবেন।

অধিকাংশ trading journal entry, exit ও profit record করে। কিন্তু trader যে confidence লিখেছিল তা accurate ছিল কি না, খুব কম journal-ই পরীক্ষা করে। ফলে hidden problem থেকে যায়: একজন trader প্রায়ই সঠিক হতে পারেন কিন্তু ভয়ংকর overconfident; অন্যজন সতর্ক হলেও result-এর তুলনায় বেশি reliable হতে পারেন। Probability scoring একটি trade-এর profit বা loss থেকে forecast quality আলাদা করে।

Glenn W. Brier 1950 সালে probability forecast-এর জন্য Brier score introduce করেন। এটি market-এর বাইরেও widely used, তবে clearly defined yes-or-no outcome-এ probability দেওয়া যেকোনো trading process-এর জন্য এর logic useful।

Brier score কী মাপে

প্রতি forecast-এর জন্য লিখুন:

• p: 0 থেকে 1-এর মধ্যে আপনার probability;
• y: outcome—event ঘটলে 1, না ঘটলে 0।

এরপর calculate করুন:

Brier score = (p − y)²-এর average

Perfect score 0। Binary event-এর ক্ষেত্রে lower score better। Squared error-এর কারণে confident wrong call, cautious wrong call-এর চেয়ে অনেক বড় penalty পায়।

ধরুন breakout সফল হওয়ার probability 90% forecast করলেন:

• সফল হলে error (0.90 − 1)² = 0.01;
• fail করলে error (0.90 − 0)² = 0.81।

এবার 60% forecast compare করুন:

• success হলে error 0.16;
• failure হলে error 0.36।

অর্থাৎ score justified confidence-কে reward করে এবং outcome-supported নয় এমন confidence-কে punish করে।

Step 1: result দেখার আগে event define করুন

Exact deadline ও observable outcome ছাড়া probability অর্থহীন। “Gold bullish লাগছে” score করা যায় না। একটি valid event হতে পারে:

“December gold পরবর্তী পাঁচ trading session-এর মধ্যে আজকের high-এর ওপরে close করবে।”

Instrument, contract বা ticker, data source, observation time, condition এবং deadline লিখুন। Holiday, missing data ও contract roll কীভাবে handle করবেন, আগেই ঠিক করুন। Market move করার পর definition বদলাবেন না।

Event-টি decision-এর timeframe-এর সঙ্গে match করতে হবে। পাঁচ দিনের forecast দিয়ে 30-minute setup validate করা যায় না। Trade thesis daily timeframe হলে daily-timeframe event score করুন।

Step 2: confidence adjective নয়, probability লিখুন

“Likely”, “strong” বা “high conviction”-এর বদলে number দিন। Finer precision justify করার মতো evidence না হওয়া পর্যন্ত journal-এ 10% increment ব্যবহার করা practical হতে পারে।

50%-কে hiding place বানাবেন না। সব forecast 50% হলে extreme error এড়ানো যায়, কিন্তু strong ও weak setup আলাদা হয় না। একইভাবে event logically certain না হলে 0% বা 100% ব্যবহার এড়ান; market gap করতে পারে এবং unexpected information আসতে পারে।

Entry-এর আগে বা forecast cutoff-এর আগে probability record করুন। Move শুরু হওয়ার পর যোগ করা value-তে hindsight থাকে।

Step 3: একই নিয়মে event resolve করুন

Deadline-এ event ঘটলে outcome 1, না ঘটলে 0 দিন। Journal-এ লেখা একই data source ব্যবহার করুন। শুরু থেকেই different scoring method-সহ multi-category forecast design না করলে “almost” success-কে half score দেবেন না।

Voided event আলাদা রাখুন। Data outage, delisting বা contract-definition error silently loss বানানো বা শুধু wrong forecast হলে delete করা যাবে না।

Worked example: পাঁচটি breakout forecast

ধরুন একজন trader একই event definition ও horizon-এ পাঁচটি forecast করলেন:

Forecast	Probability p	Outcome y	(p − y)²
1	0.70	1	0.09
2	0.60	0	0.36
3	0.80	1	0.04
4	0.40	0	0.16
5	0.30	1	0.49
Total / mean			1.14 / 5 = 0.228

Brier score 0.228।

পাঁচটির মধ্যে তিনটি event ঘটেছে, তাই sample base rate 60%। প্রতিবার 60% predict করা naive baseline-এর score হবে:

[(0.6−1)² + (0.6−0)² + (0.6−1)² + (0.6−0)² + (0.6−1)²] / 5 = 0.240

Trader-এর 0.228 score constant baseline-এর 0.240-এর চেয়ে সামান্য ভালো। Brier skill score দিয়ে এটি প্রকাশ করা যায়:

Brier skill score = 1 − (forecast score / baseline score)

1 − (0.228 / 0.240) = 0.05, অর্থাৎ baseline-এর ওপরে 5% skill।

এটি ছোট advantage, durable forecasting edge-এর proof নয়। Strong conclusion-এর জন্য পাঁচটি observation একেবারেই কম। Example-টি calculation দেখায়, recommended threshold নয়।

Step 4: calibration পরীক্ষা করুন

Calibration জিজ্ঞেস করে—অনেক comparable forecast-এ stated probability কি observed frequency-এর সঙ্গে match করেছে? 100টি forecast 70% label করা হলে well-calibrated process-এ event প্রায় 70 বার ঘটবে। বিশেষ করে ছোট sample-এ প্রতিবার exactly 70 হবে না।

20–29%, 30–39% ইত্যাদি probability bucket তৈরি করুন। প্রতি bucket-এ compare করুন:

• average forecast probability;
• actual event frequency;
• observation count।

যথেষ্ট বড় ও stable sample-এ 70% bucket যদি মাত্র 48% success করে, আপনি overconfident। 82% success হলে underconfident হতে পারেন বা probability 50%-এর দিকে বেশি compressed।

শুধু calibration যথেষ্ট নয়। প্রতিবার একই base rate predict করা trader calibrated হতে পারেন, কিন্তু strong ও weak setup আলাদা করার useful information দেন না। Useful model event ঘটলে higher probability এবং না ঘটলে lower probability দেয়। Forecasting literature-এ এই ability-কে resolution বলা হয়।

Step 5: fair baseline-এর সঙ্গে compare করুন

Brier score-এর universal “good” level নেই, কারণ event frequency matter করে। Rare এবং common event predict করলে natural score আলাদা হয়। Like-for-like compare করুন।

Possible baseline:

• future information ছাড়া measured historical event frequency;
• desk-এর existing simple rule;
• market-implied probability, যদি instrument সত্যিই comparable probability দেয়;
• একই date ও event definition-এ evaluated আগের model।

Adjustment ছাড়া different instrument, regime বা event definition-এর score compare করবেন না। Japan Meteorological Agency-এর forecast-verification guide বলছে Brier score event frequency-এর ওপর depend করে এবং reference forecast-এর সঙ্গে comparison-এ skill score useful।

Probability quality-কে trading decision-এর সঙ্গে কীভাবে যুক্ত করবেন

Brier score probability accuracy পরীক্ষা করে। Trade profit করেছে কি না, সেটি পরীক্ষা করে না। 40% event attractive হতে পারে যদি potential gain loss-এর চেয়ে অনেক বড় হয়; 80% event unattractive হতে পারে যদি outcome আগে থেকেই price-এ থাকে বা downside severe হয়।

দুটি linked record রাখুন:

1. Forecast layer: event, probability, outcome, Brier error ও calibration bucket।
2. Decision layer: entry, stop বা invalidation, target বা exit rule, position size, cost, slippage ও realised return।

এই separation process diagnose করতে সাহায্য করে। Accurate probability কিন্তু poor return হলে payoff selection বা execution problem থাকতে পারে। Poorly calibrated probability কিন্তু short-run good return হলে luck বা payoff structure forecast error-কে temporarily ঢেকে রাখতে পারে।

Common mistakes

Vague prediction score করা

“Market rally করবে” কথায় threshold ও deadline নেই। Event-এর পরে reinterpret করা যায়, তাই dataset-এ রাখা উচিত নয়।

Trade profit-কে outcome বানানো

আপনি যে event forecast করেছেন, সেটিই score করতে হবে। Breakout ঘটলেও execution, sizing বা exit rule-এর কারণে trade loss হতে পারে।

Entry-এর পরে horizon বদলানো

Move হয়নি বলে five-day forecast extend করলে look-ahead bias হয়। Original deadline-এই resolve করুন।

Unrelated setup একসঙ্গে pool করা

Earnings gap, daily trend এবং intraday mean reversion mix করলে কোন জায়গায় calibration weak তা লুকিয়ে যায়। Comparable forecast family আলাদা analyse করুন।

Tiny sample বিশ্বাস করা

একটি confident mistake short record dominate করতে পারে। প্রতি score ও bucket-এর পাশে observation count দেখান।

একই history-তে probability optimise করা

Historical Brier score সবচেয়ে ভালো না হওয়া পর্যন্ত probability rule বারবার adjust করলে overfit হতে পারে। Unseen data reserve করুন বা walk-forward process ব্যবহার করুন।

Trading cost ও payoff ignore করা

Better Brier score automatically better strategy নয়। Cost, payoff asymmetry, liquidity ও risk limit নির্ধারণ করে forecast tradable কি না।

Practical journal template

Field	Example
Forecast timestamp	Daily close-এর আগে
Instrument	Exact ticker বা futures contract
Event	পাঁচ session-এর মধ্যে pre-defined level-এর ওপরে close
Probability	0.70
Deadline	Date ও market close
Outcome	1 অথবা 0
Brier error	(0.70 − outcome)²
Setup family	Breakout, trend, mean reversion, event risk
Decision record	Entry, size, invalidation, exit, costs

Checklist

• Exact deadline-সহ binary event define করুন।
• Result unfold শুরু হওয়ার আগে probability record করুন।
• Outcome resolve করতে consistent data source ব্যবহার করুন।
• প্রতি forecast-এ (probability − outcome)² calculate করুন।
• শুধু comparable event-এর error average করুন।
• Base-rate বা simple-model baseline-এর সঙ্গে score compare করুন।
• Calibration bucket plot করুন এবং sample size দেখান।
• Probability accuracy-কে payoff ও execution থেকে আলাদা রাখুন।
• Improvement বিশ্বাস করার আগে unseen data-তে test করুন।

Sources

Scoring rule এসেছে Glenn W. Brier-এর original 1950 paper Verification of Forecasts Expressed in Terms of Probability থেকে। Formula, interpretation, baseline dependence এবং Brier skill score Japan Meteorological Agency-এর 2026 forecast-verification appendix-এও documented।

এই tutorial The Money Man editorial workflow-এর অধীনে AI-assisted research ও writing দিয়ে তৈরি। এটি educational information, personalised investment advice নয়। Example hypothetical, এবং কোনো score বা forecasting method profitable trade guarantee করে না।