No domínio do processamento de linguagem natural, os sistemas de tradução automática baseados em Transformer revolucionaram a forma como abordamos a comunicação entre idiomas. Como fornecedor líder de transformadores, estamos profundamente envolvidos no desenvolvimento e otimização destes sistemas. Para garantir o desempenho de alta qualidade de nossas soluções de tradução automática baseadas em Transformer, é crucial compreender e utilizar métricas de avaliação apropriadas.
1. Pontuação AZUL
A pontuação BLEU (Bilingual Evaluation Understudy) é uma das métricas mais utilizadas para avaliar a tradução automática. Ele mede a semelhança entre o texto traduzido automaticamente e uma ou mais traduções de referência. A ideia básica por trás do BLEU é calcular a sobreposição de n gramas entre a tradução candidata e as traduções de referência.
Por exemplo, uma pontuação BLEU de unigrama (n = 1) mede a proporção de palavras individuais na tradução candidata que também aparecem nas traduções de referência. N - gramas de ordem superior, como bigramas (n = 2) e trigramas (n = 3), capturam informações sintáticas e semânticas mais complexas.
A pontuação BLEU varia de 0 a 1, onde 0 indica nenhuma sobreposição com as traduções de referência e 1 representa uma correspondência perfeita. No entanto, a pontuação BLEU tem algumas limitações. Não leva em consideração o significado semântico do texto e pode atribuir pontuações altas a traduções sintaticamente corretas, mas semanticamente incorretas.
2. METEORO
METEOR (Métrica para Avaliação de Tradução com Ordenação Explícita) é outra métrica de avaliação importante. Ele combina correspondência de unigramas com correspondência de radicais e sinônimos, o que ajuda a resolver algumas das limitações da pontuação BLEU.
METEOR calcula uma média harmônica da precisão e recuperação de unigramas, levando em consideração tanto as correspondências exatas das palavras quanto as correspondências após a lematização e substituição de sinônimos. Essa métrica também considera até certo ponto a ordem das palavras, o que é importante para capturar a estrutura sintática da frase.
Comparado ao BLEU, o METEOR geralmente fornece uma avaliação mais abrangente da qualidade da tradução, especialmente em termos de semelhança semântica. No entanto, é computacionalmente mais caro e pode ser mais lento para calcular.
3. ROUGE
ROUGE (Recall - Oriented Understudy for Gisting Evaluation) é um conjunto de métricas originalmente projetado para avaliar o resumo automático de texto, mas também tem sido aplicado à tradução automática. ROUGE mede a sobreposição entre a tradução candidata e as traduções de referência em termos de n - gramas, salto - bigramas e subsequências comuns mais longas.
ROUGE - N mede a recuperação de n - gramas, onde N pode ser 1, 2, etc. ROUGE - L mede a maior subsequência comum entre o candidato e a referência. Essas métricas são úteis para avaliar a capacidade do sistema de tradução automática de capturar as principais informações do texto fonte.
4. TER
A Taxa de Edição de Tradução (TER) mede o número de edições (inserções, exclusões e substituições) necessárias para transformar a tradução candidata na tradução de referência. Ele fornece uma medida da fluência e precisão da tradução.
Um valor TER mais baixo indica uma tradução de melhor qualidade, pois significa que são necessárias menos edições para corresponder à referência. O TER é particularmente útil para avaliar a precisão sintática e lexical da tradução.
5. Avaliação Humana
Embora as métricas automatizadas sejam convenientes e amplamente utilizadas, a avaliação humana continua a ser uma parte essencial da avaliação da qualidade da tradução automática. Os avaliadores humanos podem considerar fatores como a coerência semântica, a adequação cultural e a legibilidade geral da tradução.
A avaliação humana pode ser realizada através de tarefas como avaliar a tradução numa escala, comparar diferentes traduções ou fornecer feedback detalhado. No entanto, a avaliação humana é demorada e sujeita a preconceitos individuais.
Nossos produtos transformadores para tradução automática
Como fornecedor de transformadores, oferecemos uma ampla gama de produtos de transformadores de alta qualidade adequados para sistemas de tradução automática. NossoTransformador tipo seco fundido em epóxifornece fonte de alimentação estável e desempenho confiável, o que é crucial para o bom funcionamento dos algoritmos de tradução automática.
NossoTransformador imerso em óleo 11kVfoi projetado para atender aos requisitos de alta potência de modelos de tradução automática em grande escala. Oferece excelentes propriedades de isolamento e dissipação de calor, garantindo uma operação estável e de longo prazo.
Além disso, nossoTransformador tipo seco 11kvé uma solução econômica para aplicações de tradução automática de pequeno e médio porte. É fácil de instalar e manter, o que o torna uma escolha popular entre nossos clientes.
Conclusão
Concluindo, avaliar o desempenho de um sistema de tradução automática baseado em Transformer requer uma combinação de métricas automatizadas e avaliação humana. Cada métrica tem os seus próprios pontos fortes e limitações, e uma avaliação abrangente deve considerar múltiplos aspectos da qualidade da tradução.
Como fornecedor de transformadores, temos o compromisso de fornecer produtos de transformadores de alta qualidade para apoiar o desenvolvimento e operação de sistemas de tradução automática. Se você estiver interessado em nossos produtos e quiser discutir compras, não hesite em entrar em contato conosco. Esperamos trabalhar com você para obter um melhor desempenho de tradução automática.
Referências
- Papineni, K., Roukos, S., Ward, T., & Zhu, WJ (2002). BLEU: um método para avaliação automática de tradução automática. Anais da 40ª reunião anual da associação de linguística computacional.
- Banerjee, S. e Lavie, A. (2005). METEOR: Uma métrica automática para avaliação de MT com melhor correlação com julgamentos humanos. Anais do workshop acl sobre medidas de avaliação intrínseca e extrínseca para tradução automática e/ou resumo.
- Lin, CY (2004). ROUGE: Um Pacote para Avaliação Automática de Resumos. Anais do Workshop sobre Sumarização de Texto se ramificam.
- Snover, M., Dorr, B., Schwartz, R., Micciulla, L., & Makhoul, J. (2006). Um estudo da taxa de edição de tradução com anotação humana direcionada. Procedimentos da Associação de Tradução Automática nas Américas.