〇 2014년 6월 4일, 일본 특허청(JPO)는 「2013년도 특허문헌 기계번역의 품질평가 방법에 관한 조사(平成25年度特許文献機械翻訳の品質評価手法に関する調査)¹⁾」의 조사결과를 바탕으로 작성한 「특허문헌 기계번역의 품질평가 절차(特許文献機械翻訳の品質評価手順)²⁾」를 공표함
  - (배경) 예전부터 특허건수가 많았던 유럽 및 미국의 특허출원을 비롯하여, 그 외 여러 국가의 특허출원, 특히 중국의 출원이 최근 크게 증가하고 있는 상황임
   ⦁ JPO의 특허심사 효율화와 민간의 외국어 특허문헌의 조사환경의 정비를 촉진하기 위해서 외국특허문헌의 고품질 기계번역의 필요성이 더욱 증대함
  - (목적) 이러한 배경에 따라 JPO가 기계번역 관련 사업을 조달하거나 관리함에 있어서 기계번역 결과의 품질을 적절하게 평가하기 위한 목적으로 동 품질평가 절차를 마련함
 
〇 (주요내용) 동 품질평가 절차의 주요내용은 다음과 같음
  - 기계번역 결과에 따라 ① 선행기술조사에 있어서의 「텍스트검색용 데이터」, ② 선행기술을 가늠해 보기 위한 「속독용 데이터」 ③ 선행기술의 내용을 정확하게 파악하기 위한 「정독용 데이터」 중 하나를 선택함
  - 평가의 종류는 ① 복수의 기계번역 시스템 간 번역정도 비교를 하기 위한 「상대평가」, ② 기계번역결과의 특정용도에 대한 유용성을 판단하기 위한 「절대평가」, ③ 기계번역 시스템의 구체적인 약점을 파악하여 품질향상으로 이어가기 위한 「피드백 이용」으로 구분함
   ⦁ 「상대평가」 또는 「절대평가」의 경우에는 「내용의 전달수준」, 「중요기술 용어」 및 「번역의 정교함」을 평가의 관점으로서 사용함
   ⦁ 「피드백 이용」의 경우에는 「단어의 누락」이나 「알 수 없는 단어」 등 7가지의 필수항목 및 「부정확한 표현」이나 「부적절하게 문장이 분리된 경우」 등 임의항목으로 구성된 「체크리스트」에 따라 평가를 실시함
 
〇 (기대효과) 동 품질평가 절차는 JPO뿐만 아니라 기계번역기술을 이용하거나 개발하는 민간 기업이나 연구기관 등에서도 번역엔진 간 성능비교 또는 특정 번역엔진의 약점 파악 등에 활용될 것으로 기대됨


1) 동 보고서의 원문은 http://www.jpo.go.jp/shiryou/toushin/chousa/pdf/tokkyohonyaku_hyouka/sankou01.pdf에서 확인 가능함.

2) 동 절차의 원문은 http://www.jpo.go.jp/shiryou/toushin/chousa/pdf/tokkyohonyaku_hyouka/01.pdf에서 확인 가능함.