모델의 복잡성(Complexity)은 설명력과 깊은 연관이 있다. 모델이 복잡할수록, 사람이 해석하기가 더 어려워진다. 반대로 모델이 단순할수록 사람 해석하기는 더 용이하다. 그러나 어려운 문제를 해결하기 위해서는 복잡한 구조가 유리하기 때문에 모델의 복잡성과 해석력은 서로 trade-off 관계가 있다. Neural Network는 설명력이 낮은 대신에 정확도가 월등하게 높아 큰 인기를 얻었고, 설명이 굳이 필요하지 않은 분야로 빠르게 도입 및 확산되고 있다.
1.1. Intrinsic
모델을 쉽게 해석할 수 있는 가장 빠른 방법은 애초에 모델을 해석 가능한 구조로 고안하는 것이다. 의사결정나무(Decision Tree)같은 단순한 모델은 구조만 보더라도 사람이 해석하기 쉽다. 구조가 단순한 모델은 그 자체적으로 이미 해석력을 확보하고 있다고 해서 Intrinsic(본래 갖추어진) 이라는 이름이 붙었다. 또는 투명성(Transparency)를 갖췄다고 표현하기도 한다. Intrinsic의 장점은 “모델이 어떻게 동작하는가?”에 대해서 설명할 수 있다는 것이다. 하지만 trade-off 관계 탓에 Intrinsic 모델은 정확도가 낮다.
Decision Tree
Decision Tree는 모델 그 자체로서 이미 해석력을 확보하고 있는 대표적인 예시이다. 몇몇 요인들의 값을 기준으로 둘 이상의 가지들이 분기하면서 뻗어나가는 형태이므로 예측 결과를 도출하는 과정과 그 해석이 직관적이라는 장점이 있다. 예측 결과에 해당하는 마디를 따라 올라가면서 의사결정의 근거를 쉽게 확인할 수 있다.
Falling Rule list
IF-ELSE IF-ELSE 규칙으로 정의된 Falling Rule List도 Intrinsic 모델로 분류할 수 있다. 모델이 학습하는 순간, 즉시 모델의 의사 결정 근거가 생긴다.
Linear Model
Linear Model(선형 모델)도 Intrinsic으로 분류할 수 있다. Linear Model에서는 독립 변수의 계수가 곧 독립 변수의 중요도를 의미한다. 또는 L1 regularization을 적용하면 일부 독립변수의 계수가 0인 Sparse Linear Model(희소 선형 모델)이 되는데, 이 경우 예측 결과에 영향을 미치는 독립 변수만 추릴 수 있으므로 설명력을 갖게 된다.
1.2. Post-hoc
모델 자체가 설명력을 지니지 않을 경우, 모델의 예측 결과는 사후(post-hoc)에 해석할 수 밖에 없다. 기계학습 및 딥러닝 분야에서 해석 가능한 기법이 대부분 Post-hoc에 속한다. 모델의 정확도가 높으면서 설명력을 내재하고 있으면 가장 좋겠지만, 현실적으로 존재하기 힘들다. 성능이 좋은 복잡한 모델을 사용하고 해석은 Post-hoc으로 하는 방법이 보편적이다. Post-hoc 예시는 이후에 소개하는 관점과 함께 설명한다.
2. Scope
설명하는 범위에 따라서 해석 기법을 분류할 수 있다. 모든 예측 결과에 대해서 항상 설명력을 갖는 전역적인(Global) 기법과 하나 또는 일부 예측 결과만 설명 가능한 국소적인(Local) 기법으로 나뉜다.