일반적인 검색시스템의 평가 기준
1. 재현률 (recall)
R = (검색 문서 중 해당 문서수) / (모든 해당 문서수)
2. 정확률 (precision)
P = (검색 문서 중 해당 문서수) / (검색된 문서수)
3. 일반적으로, 재현률은 정확률에 역비례한다. (trade off)
(보여줘야 할 것을 찾는 것 만큼 안 보여줘야 할 것을 빼는 건 어렵다.)
평가 방법
1. 11-point average precision
11 point interpolated average precision
- Take precision at 11 levels of recall and average them
- From 0 to 1 in tenths of docs
- use rounding
- use interpolation for recall level of zero
recall이 중요한 곳 - legal/medical domain
precision이 중요한 곳 - time critical domain
1. 재현률 (recall)
R = (검색 문서 중 해당 문서수) / (모든 해당 문서수)
2. 정확률 (precision)
P = (검색 문서 중 해당 문서수) / (검색된 문서수)
3. 일반적으로, 재현률은 정확률에 역비례한다. (trade off)
(보여줘야 할 것을 찾는 것 만큼 안 보여줘야 할 것을 빼는 건 어렵다.)
평가 방법
1. 11-point average precision
11 point interpolated average precision
- Take precision at 11 levels of recall and average them
- From 0 to 1 in tenths of docs
- use rounding
- use interpolation for recall level of zero
recall이 중요한 곳 - legal/medical domain
precision이 중요한 곳 - time critical domain