O que é pontuação BLEU?

Como um processo automatizado, as traduções automáticas devem ser avaliadas regularmente para garantir sua qualidade.

E como você pode fazer isso? As empresas têm duas opções. Uma delas é recorrer a profissionais para revisar as traduções.

Claro, isso seria quase contraditório com todo o processo de MT - já que é um processo de tradução que não envolve seres humanos. Para solucionar esse problema, foi criado o escore BLEU. A pontuação BLEU é um conceito bem conhecido para aqueles que estão familiarizados com MT.

BLEU é a abreviação de Bilingual Evaluation Understudy - ou um algoritmo que avalia textos traduzidos por máquina de um idioma para outro.

Como a pontuação BLEU avalia a qualidade?

Para avaliar a qualidade de um texto, as pontuações BLEU o comparam com traduções referenciadas. Em outras palavras, a pontuação BLEU mede a semelhança entre uma tradução automática e uma tradução profissional. Idealmente, quanto mais próxima a versão automatizada estiver do conteúdo traduzido por humanos, melhor será. A pontuação BLEU entende o quão “próximo” um texto está do conteúdo referenciado graças ao seu algoritmo.

Este algoritmo compara sentenças consecutivas do texto MT com as sentenças consecutivas encontradas na tradução de referência, procedendo para avaliar a semelhança entre elas, não levando em conta gramática ou inteligibilidade. Então, o BLEU fornece uma pontuação que vai de 0 a 1 com base nessas informações. 1 é, idealmente, o melhor cenário aqui.

No entanto, é importante ressaltar que poucos textos alcançarão essa pontuação, pois isso implicaria que o texto MT é idêntico a pelo menos um texto do corpus referenciado.

Como você deve ter notado, o sistema de pontuação BLEU precisa ter conteúdo referenciado para avaliar os textos traduzidos por máquina. Na verdade, geralmente é recomendado ter pelo menos 1.000 frases reunidas nas traduções referenciadas para garantir sua qualidade.

Existem algumas desvantagens nessa tecnologia. Por exemplo, é necessário para uma quantidade significativa de frases referenciadas pode ser um problema dependendo da natureza do conteúdo traduzido. No entanto, esse método ainda é muito popular entre os usuários de MT e é uma das formas mais econômicas de medir textos traduzidos automaticamente.