Precision vs Recall
| Observation (actual class) | ||
|---|---|---|
| Condition positive | Condition negative | |
| Test outcome positive | TP (True Positive) Correct hit | FP (False Positive) False alarm (Type I error) |
| Test outcome negative | FN (False Negative) Missing result (Type II error) | TN (True Negative) Correct rejection |
Precision 과 recall [recall ratio]의 사전적인 의미는 정밀도와 재현율 이다. 전산처리된 결과를 실제 대상과 비교하여, 해당 전산 처리 방식이 얼마나 신뢰할 수 있는지를 파악하기 위해 사용한다. 예를 들면, 백신 소프트웨어의 실제 바이러스 잡는 방식을 얼마나 신뢰할 수 있는지를 증명할 때 사용할 수 있다. Precision과 recall을 이해하기 위해서는, 우선 위의 표를 이해하여야 한다. 위의 표는 전산 처리 결과와 실제 값이 일치하는 지 여부에 따라 분류한 것이다. 위의 백신에 비유하여 다시 나타내자면 아래와 같다.
| 실제 바이러스 여부 | ||
|---|---|---|
| 바이러스 | 바이러스 아님 | |
| 바이러스로 진단 | TP (True Positive) 제대로 잡은 바이러스 | FP (False Positive) 오진 (바이러스로 잡은 정상 파일) |
| 바이러스로 진단하지 않음 | FN (False Negative) Missing result (Type II error) 미탐 (잡지 못한 바이러스) | TN (True Negative) Correct rejection 실제 정상 파일 |
이제, precision 과 recall을 설명하기 위해, 위의 개념을 집합으로 표현하였다.
위의 다이어그램을 기초로 precision 과 recall은 다음과 같다.
결론적으로, precision 을 탐지한 바이러스 중 실제로 바이러스인 개수에 대한 비율이고, recall은 실제 바이러스 중에 백신이 실제로 탐지한 바이러스 개수에 대한 비율이다.
References
[1] jzcafe, “Full of aroma and bouquet..: Precision and Recall (정확도와 재현율),” 15 February 2011. [Online]. Available: http://jzcafe.blogspot.kr/2011/02/precision-and-recall.html.
[2] Wikipedia, “Precision and recall – Wikipedia, the free encyclopedia,” [Online]. Available: http://en.wikipedia.org/wiki/Precision_and_recall. [Accessed 31 January 2015].
[3] Cardia, “Cardia’s Law :: [IR] Precision and Recall,” 03 September 2013. [Online]. Available: http://cardia.tistory.com/59.
[4] 월간전자기술 편집위원회, “정밀도 [precision],” in 전자용어사전, 성안당, 1995.
[5] 전산용어사전 편찬위원회, “재현율 [recall factor, recall ratio],” in 컴퓨터인터넷IT용어대사전, 일진사, 2011.
0 Comments
