Как определить насколько правильно алгоритм даёт оценку?

takomaschida

Помогите с мозговым штурмом.
С одной стороны задачка детская, с другой стороны - чем больше думаю, тем больше вопросов.

Допустим у нас есть некоторый ряд событий с 3-х исходкой (пусть будет знакомый нам футбол).
Есть некоторый алгоритм с оценками вероятностей.

В чистом виде это вообще невозможно (?) получается.
Например даст алгоритм оценку "средней температуры по больнице", например все победы 1 по 1,85.
В целом правильно получится. А как выборку проводить?

Соотв. нужны какие-то дополнительные данные ("альтернативные мнения" для сравнения).
Первое что приходит в голову - несколько алгоритмов и их сравнение между собой.
Например эти алгоритмы будут "проставлять" друг другу, например по единичке на "завышенный" исход.
Так определим - какой алгоритм сильнее.
Но всё равно остаётся непонятно - насколько.
И насколько вообще эти оценки правильные.

Есть какие мнения (формулы) по этому вопросу?

DimOK

Разбивать исходы по их вероятностям и требовать, чтобы она соответствовала прогнозной.
Вы оценили футболы как 60-30-10, собрали двести матчей таких - у вас шестьсот исходов, уже можно работать как-то. Хотите, чтобы из 200 прогнозов с вероятностью 10% сошлось 20.
Сложили исходы в группы, например по 5% разбили или по 3% интервалы, чем больше данных - тем меньше интервалы.
И дальше уже можете хоть дисперсию считать, хоть корреляцию считать, как вам больше нравится.

Rowdy

Пользователь @takomaschida написал в Как определить насколько правильно алгоритм даёт оценку?:

нужны какие-то дополнительные данные

Ключевые данные - кэфы на события. Бук дает кэфы с вероятностями 60-30-10, например.
Алгоритм дал вероятности 55-25-20.
Соответсвенно валуйность на исход 2, либо вообще не ставить, тут уж какая стратегия.
В идеале берем только максимальные вероятности и валуйности, остальные матчи пропускаем и не берем в расчеты. В итоге, из такого списка матчей считаем ROI и профит - это и будет объективной оценкой.
А вообще, на большой дистанции 1X2 любая модель близко к рандому будет оценивать, там только фильтр руками нужен чтобы выжать ройку.

Volo

Долго раздумывал над этим, вот к чему пришел.
Как правильно подсчитать, чей прогноз (или линия) наиболее правильный по конкретному одному матчу?
Переводим прогнозы/линии в ожидаемые голы, получаем например:
Прогноз 1: 1.43 - 1.11
Прогноз 2: 1.55 - 0.98
Прогноз 3: 1.30 - 1.20
...
Потом сравниваем с итогом матча. Но со счётом матча сравнивать некорректно, так как счёт на табло далеко не всегда отображает реальный ход матча. Надо сравнивать со "справедливым счётом", то есть с xG (ничего лучше на сегодня не придумали).
Считаем средне квадратическое отклонение каждого прогноза от xG, где оно наименьшее, тот прогноз/линия считается лучшим.