Evaluating machine translation 이전까지는 바람직한 번역 결과, 정답이 딱 한 개 있을 때의 상황이었습니다. 그렇다면 바람직한 번역 결과가 두 개 이상 존재하는 경우엔 평가를 어떻게 해야 할까요? 이때 사용할 수 있는 것이 Bilingual Evaluation Understdy(BLEU)입니다. 원래 사용되던 precision 계산식은 MT의 결과 각 단어가 reference에 포함되어 있는지를 기준으로 삼습니다. 그래서 총 7개의 예측 단어가 모두 reference에 포함되기 때문에 7/7이었죠. 이를 개선한 것은 7개 중에서 실제로 포함된 것을 reference별로 비교하여 최대를 고릅니다. the는 각 reference에 2개, 1개씩 들어가므로 개수가 더 많은 2/7가 됩니..
