Example
Beam search를 통해 예측한 결과는 BFS/DFS와 달리 최선의 결과로 보장되지 않는다는 한계가 있다고 했습니다.
따라서 최선의 결과인 y*(사람이 번역한 결과)와 beam search를 통해 예측된 결과 y hat을 비교하여 어디에 문제가 있는 것인지 분석할 수 있습니다.
경우에 따라 x라는 context 내에서 y*가 등장할 확률이 더 높을 수도 있고 반대일 수도 있습니다.
Error analysis on beam search
y*일 확률이 y hat보다 높은 경우엔 beam search 자체에 문제가 있던 것입니다.
실제로 정답을 고를 확률이 더 높음에도 불구하고 가지치기를 하는 과정에서 잘못 뻗어나갔던 것이죠.
반대로 y hat일 확률이 y*보다 높은 경우에는 RNN 모델에 문제가 있던 것입니다.
왜냐하면 정답을 고를 확률이 차선책을 고를 확률보다 낮게 책정되어 있기 때문이죠.
Error analysis proces
따라서 사람이 정해 놓은 정답 y*(star)와 y hat에 대한 예측 확률이 어떻게 되는지를 비교하여,
어디에서 문제가 발생했는지 확인하고 beam search, 혹은 모델을 개선할 수 있습니다.
출처: Coursera, Sequence Models, DeepLearning.AI
