Quais os problemas mais comuns nas legendas?

[Leinad4Mind]

Viva pessoal.

Estou a desenvolver uma aplicação para resolver os problemas mais graves nas legendas de forma automática. E precisava de sugestões para aperfeiçoar.
Quais os problemas mais comuns do OCR? Ou mais comuns das legendas?

De momento o que corrige é:

Adiciona espaço onde existe reticências no início da frase:
...Frase fica ... Frase

Corrige os hífens nas conversas para meia-risca:
- Frase\N- Frase fica a meia-risca – Frase\N– Frase (É um traço maior, Pode ser alterado por travessão, eu prefiro a meia-risca)
Ele mantém a meia-risca e o travessão.

Corrige I por l. Erro que acontece nos OCR. -Io para -lo | -Ihe para -lhe | (vogal)It para (vogal)lt como úItimo.

Corrige á por à. Visto que " á " não existe sequer.

Corrige "a" para "há" quando se refere a tempo: "a muito/bastante/algum/pouco/um tempo" e "a muitos/bastantes/alguns/poucos/uns minutos/segundos/horas"

Corrige concerteza para com certeza. Visto ser um erro que algumas pessoas dão. E Porfavor para Por favor.

Substitui '' por ". Erro comum de acontecer nos OCRs.

Espaço antes da "," ou ";" deixa de existir. "Gosto de bróculos , porque fazem bem".

Corrige reticências. Caso haja ".." é sempre substituído por "..." e caso haja mais que 3 pontos, idem aspas.

Corrige problema de duplo espaço ou mais que duplo espaço.

Corrige diversas onomatopeias, de inglês para pt, caso o tradutor tenha deixado alguma em inglês.
Tais como: "Hmmmmmm. hmmm. owww. Owww. wow. wooow. Wow. Wooow. Hey, hey, heeey, HEEEY. Heeeeey."
Ficando: "Hmm. hmm. au. Au. uau. uau. Uau. Uau. Ei, ei, ei, Ei. Ei."
Cabe a quem trata da legenda omitir ou não a onomatopeia.

Novas:

Se frase termina com reticências e se a próxima se iniciar com minúscula, então adiciona reticências no início da próxima.

Corrige trás por traz e vice-versa. (atrás e detrás incluído)

Corrige policia para polícia e vice-versa. (quase todos os casos)
Ex: "Quem polícia a policia? Será que a policia não policia?" -> "Quem policia a polícia? Será que a polícia não policia?"

Adiciona espaço após pontuação ( . ! ? )

Correcção da mesóclise dos verbos dar e fazer:
farXXX-ZZZ -> far-ZZZ-XXX
darXXX-ZZZ -> dar-ZZZ-XXX
Exemplos:
fariam-lhe -> far-lhe-iam
dariam-lhe -> dar-lhe-iam
farei-lhe -> far-lhe-ei
darei-lhe -> dar-lhe-ei
farei-te -> far-te-ei
darei-te -> dar-te-ei

"o" por "0" e vicer-versa, problema de OCR

Depois de pontuação . ou ? ou ! coloca maiúscula caso não haja.

Corrige espaço no meio dos dígitos.

Correcção do seguinte (De notar que engloba a minúscula ou maiúscula, e também os plurais e se masculino ou feminino de todos os casos representados, caso exista claro):
amarei-te -> amar-te-ei (todas palavras compostas com arei-te -> ar-te-ei)
quer-o -> quere-o (requer-o -> requere-o inclusive)
quere-se -> quer-se (requere-se -> requer-se inclusive)
quises-te -> quiseste
quizer -> quiser (quizermos -> quisermos etc incuido)
fizes-te -> fizeste
lês-te -> leste
pensas-te -> pensaste
engolis-te -> engoliste
fos-te -> foste
proíbido -> proibido
sem exitar -> sem hesitar
há-des -> hás-de
disfrutar -> desfrutar
vunerável -> vulnerável
apiou -> apeou
apiadeiro -> apeadeiro
fans -> fãs
sémola -> sêmola
sémea -> sêmea
sasonal -> sazonal
promenor(izado/etc) -> pormenor
pézinho/pesinho -> pezinho
panoramico/a -> pânoramico/a
cam[ae]ra -> câm[ae]ra
lampada -> lâmpada
espontaniedade -> espontaneidade
estrépido -> estrépito
asterístico -> asterisco
embuído -> imbuído
tu cantastes -> tu cantaste
vós cantaste -> vós cantastes
be[nm]vindo -> bem-vindo
boasvindas -> boas-vindas
aje -> age
sociohistórico -> socio-histórico (socio[oh] -> socio-[oh])
socio-biológico -> sociobiológico (socio-[!=oh] -> socio[!=oh])
recém palavra_xpto -> recém-palavra_xpto
mini-[!=ih] -> mini[!=ih] (Ex: mini-mercado -> minimercado e minihotel -> mini-hotel)
inter-[!=hr] -> inter[!=hr] (inter-cidades -> intercidades e interregional -> inter-regional)
além mar/túmulo/fronteiras/mundo/Pirenéus -> além-mar/etc
anti-[!=aeou] (Ex: antiinflamatório -> anti-inflamatório e anti-aéreo -> antiaéreo)
residêncial -> residencial
prefere abc do que xpto -> prefere abc a xpto (regra gramatical)
dissuadir a -> dissuadir de (regra gramatical, seja qual for a forma gramatical)
presuadir de -> pressuadir a (regra gramatical, seja qual for a forma gramatical)
descozido/a -> descosido/a
belem -> belém
bussula -> bússula
busular -> busolar
cabo-verdeano -> cabo-verdiano
caimbra -> cãibra
efemero -> efémero
espiatório -> expiatório
ính -> inh (graínha -> grainha e chuvínha -> chuvinha; palavras com ính não existem, ou assim espero.)
ambos queixam-se -> ambos se queixam
recorrer à sentença -> recorrer da sentença
banho de emersão -> banho de imersão
reptéis -> répteis
adeto -> adepto
encrita -> encripta
dia solarengo -> dia soalheiro
fôr -> for (seja fôrma -> forma como verbo fôr -> for, julgo que não existe nenhuma palavra que comece com fôr)
massagem -> massagem (quando nas formas verbais do conjuntivo: que nós ou que eles/ elas/ vocês)
párar -> parar
biquini -> biquíni
envagelho -> evangelho
cardial patriarca -> cardeal patriarca
contra[aeéhiors] -> contra-[aeéhiors] (contra-arco, contra-selo...etc)
verbo que verbo-[oa] ("contou-nos que amava-o" -> "contou-nos que o amava"
gorgeta -> gorjeta
catadupla -> catadupa
homicída -> homicida
estejemos -> estejamos
prefazer -> perfazer
com alteres -> com halteres
palavra e palavra fazem -> palavra e palavra faz (ex: nadar e correr fazem -> nadar e correm faz)
grãos-de-bicos -> grãos-de-bico
degostáreis -> degustáreis
contensioso -> contencioso
sugidade -> sujidade
premitir -> permitir (premissivo -> permissivo inclusive)
espólio do museu -> acervo do museu
melância -> melancia
ansia -> ânsia
amidalite -> amigdalite
cachemira -> caxemira
beiçinho -> beicinho
estradita -> extradita
em indeferido -> em diferido
arrendar carro -> alugar carro
alugar casa -> arrendar casa
mover acção em face de -> mover acção contra
abituar -> habituar
ácerca -> acerca
ccao ->cção (Ex: accao -> acção | redaccao -> redacção)
ccoes -> cções (Ex: accoes -> acções | redaccoes -> redacções)
dmnis -> dminis (Ex: admnistração -> administração)
cançacos -> cansaços
cançados -> cansados
ciclano -> sicranos | cicrano -> sicrano | siclano -> sicrano
cidadões / cidadães -> cidadãos
escrivões / escrivãos -> escrivães
tabeliões / tabeliãos -> tabeliães
coalizão -> colisão
coalizões -> colisões
corçario / corçário -> corsário
cornprimidosinbo -> comprimidozinho (entre outros erros nesta palavra)
bébé / bébe -> bebé
dE -> de
deficite -> défice
dispêndeo / despêndio / dispendio -> dispêndio
écrã / ecran / écran -> ecrã
elice / élice -> hélice
entreti-me -> entretive-me
intertido -> entretido
justanzente - justamente
mãgua -> mágoa
manteem-se, mantêm-se
massisso / massiço / masisso / masiço -> maciço
misogeno / misógeno -> misógino
morteIa -> mortela
Nivea -> Nívea
pêga -> pega
pirinéus -> Pirenéus
pobrema / poblema -> problema
prazeiroso -> prazeroso
priúdo / periodo -> período
obtem -> obtém
tambem / também / tanbem / também / tanbém -> também
forão -> foram
frasqutnho -> frasquinho e fresqutnho -> fresquinho
frasqutnha -> frasquinha e fraqutnho -> fraquinho
gáz -> gás
glicémia -> glicemia
igienico / igiénico -> higiénico
propio / própio -> próprio
quadricomia -> quadricromia
ratato -> retrato
xadrês -> xadrez
SuI -> Sul
suiças, suiço, suiços, suisso, suísso, suíssos, Suíssa...etc -> Suíça/o(s)

Cumprimentos e opinem! Ficarei agradecido!

[raposo_piolhoso]

Falta de espaço entre o hifen e o inicio das frases.

Por exemplo:
-Como está o tempo?
-Chuvoso.

[Na1m1]

O "trás", advérbio de lugar e o "traz", do verbo trazer.
Não sei de que forma o podes implementar, mas é um erro mt comum nas legendas.

[Leinad4Mind]

Falta de espaço entre o hifen e o inicio das frases.

Por exemplo:
-Como está o tempo?
-Chuvoso.

Aplicado!

O "trás", advérbio de lugar e o "traz", do verbo trazer.
Não sei de que forma o podes implementar, mas é um erro mt comum nas legendas.

Acho que o advérbio trás é sempre antecedido de "por", "para" e "de" apenas.

O traz acho que não combina com nenhum desses 3.

Ou estou a esquecer-me de algum caso que ocorra?

Cumps

EDIT: Adicionei correcção de espaços entre dígitos. Visto que algumas legendas têm "Daqui a 2 0 min."

EDIT2: Adicionei correcção de policia quando é polícia e vice-versa.

Caso uma frase termine com reticências, verifica se a seguinte começa com minúscula, e caso comece, coloca reticências no seu início.

E o traz para trás e vice-versa também já foi implementado.

[mx101]

Viva pessoal.

Estou a desenvolver uma aplicação para resolver os problemas mais graves nas legendas de forma automática. E precisava de sugestões para aperfeiçoar.
Quais os problemas mais comuns do OCR? Ou mais comuns das legendas?

De momento o que corrige é:

Adiciona espaço onde existe reticências no início da frase:
...Frase fica ... Frase

Corrige os hífens nas conversas:
- Frase\N- Frase fica a meia-risca – Frase\N– Frase (É um traço maior, Pode ser alterado por travessão, eu prefiro a meia-risca)

Corrige I por l. Erro que acontece nos OCR. -Io para -lo | -Ihe para -lhe | (vogal)It para (vogal)lt como úItimo.

Corrige á por à. Visto que " á " não existe sequer.

Corrige "a" para "há" quando se refere a tempo: "a muito/bastante/algum/pouco/um tempo" e "a muitos/bastantes/alguns/poucos/uns minutos/segundos/horas"

Corrige concerteza para com certeza. Visto ser um erro que algumas pessoas dão. E Porfavor para Por favor.

Substitui '' por ". Erro comum de acontecer nos OCRs.

Espaço antes da "," ou ";" deixa de existir. "Gosto de bróculos , porque fazem bem".

Corrige reticências. Caso haja ".." é sempre substituído por "..." e caso haja mais que 3 pontos, idem aspas.

Corrige problema de duplo espaço ou mais que duplo espaço.

Corrige diversas onomatopeias, de inglês para pt, caso o tradutor tenha deixado alguma em inglês.
Tais como: "Hmmmmmm. hmmm. owww. Owww. wow. wooow. Wow. Wooow. Hey, hey, heeey, HEEEY. Heeeeey."
Ficando: "Hmm. hmm. au. Au. uau. uau. Uau. Uau. Ei, ei, ei, Ei. Ei."
Cabe a quem trata da legenda omitir ou não a onomatopeia.

Cumprimentos e opinem! Ficarei agradecido!

Bom trabalho, mas acho que o Subtitle Edit nas últimas versões já faz essas correções todas

E todas as outras correcções também mencionadas nos posts posteriores, é uma questão de se saber utilizar o Subtitle Edit.

Mas é sempre bom haver mais um programa que faça isso

E não te sintas desmotivado por eu dizer que já há programas que fazem isso, mas é mais uma informação.

Vê-se esses tipos de erros em algumas legendas porque ainda existe muitos tradutores que ainda utilizam o velhinho Subtitlie Workshop para traduzir e corrigir legendas, como esse programa estagnou falta-lhe certas opções que os mais recentes programas tem.

E também porque muitos tradutores que utilizam os novos programas não utilizam as várias opções que os programas de legendas trazem, ou porque não sabem utilizar as opções mais avançadas ou por outro motivo qualquer.

Por exemplo no Subtitle Edit podes usar "Expressões Regulares" para corrigir que só esta opção corrige vários tipos de erros mas é preciso saber usar as expressões regulares, como também corrige os textos para surdos que elimina os "Hmmmmmm. hmmm. owww. Owww. wow. wooow. Wow. Wooow. Hey, hey, heeey, HEEEY. Heeeeey." das legendas, como correções de OCR, como espaços desnecessários seja em letras ou dígitos, por aí fora, tem uma grande variedade de opções para corrigir erros comuns de forma automática.

Outro exemplo e que alguns utilizadores se queixam é que o SE não tem corrector ortográfico do MS Word só tem do Open office.

Claro que tem, basta fazer download do plugin do Corrector do MS Word no menu ficheiro -> plugins e funciona desde a versão mais antiga do word até há mais recente, como dizem que o SE não tem esta ou aquela opção que o Subtitlie Workshop tem, claro que tem, pode é usar a mesma opção até de maneira diferente.

O Subtitle Edit nas últimas versões é muito poderoso e eficaz, mas lá está é preciso saber utilizá-lo.

Porque o que está à vista são os comandos básicos além de já serem muitos e bons, mas o melhor do programa e poder exige mais alguns conhecimentos como por exemplo certos atalhos que esses comandos dos atalhos não aparecem como opção em algum menu que se possa só usar o rato para clicar, etc...


Com isto, o que quero dizer é que não é por causa da falta de programas para corrigir esses tipos de erros, mas talvez seja por falta de conhecimento que já existe alguns programas que fazem isso e também por não saberem utilizar esses programas que esses erros não são corrigidos nas legendas como por algum desleixo também que é compreensível.

[Leinad4Mind]

Desconhecia que esse dava para fazer tais coisas. Vou dar uma olhadela mais aprofundada. Mas eu estou a usar expressões regulares para corrigir estes problemas. É o mais fácil para tal. E como uso o Aegisub, porque de todos que existem e eu experimentei, achei e acho o melhor e com mais potencialidades, acaba por funcionar também como um add-on deste o que estou a fazer. Visto que o Aegis permite ter macros escritos em LUA e/ou MOON e aceita expressões regulares.

Cumps e grato pela opinião.

EDIT: Por acaso não tens algum xml com lista de nomes ou o OCRFixReplaceList.xml português?

Pelo que já vi, o programa já me ajudou a implementar mais 2 novas funcionalidades. Se houvesse esse xml tuga, Era o ideal. Senão terei de ser eu mesmo a fazer OCR e ver quais os erros mais comuns na língua portuguesa. É que ele é extremamente bom para corrigir as inglesas, Pena não ter, pelo menos de origem, os xml portugueses (se é que existem).

[YipeeKiYay]

Boas,

Desde já, louvar o esforço do Leinad por tentar fazer um programa que dê mais alguma ajuda aos tradutores.

Eu, como utilizador do SE há já muito tempo, subscrevo totalmente o que o mx101 disse. Todos os erros apontados anteriormente o SE já corrige, além de que permite, em algumas situações, editar a nosso gosto o que queremos que ele faça. Por exemplo, ele, de origem, já tem a funcionalidade de remover as interjeições para surdos, mas dá a possibilidade de editarmos a nosso gosto o que queremos que ele remova. Eu já tenho uma lista personalizada de interjeições que, quando quero "limpar" umas legendas inglesas para trabalhar nelas, elimina isso tudo.

Aliás, das questões que já foram levantadas, deixo, segundo os meus conhecimentos, o que o SE já faz:

Adiciona espaço onde existe reticências no início da frase: Este não sei se corrige, pois eu nunca uso reticências no inicio de uma linha.

Corrige os hífens nas conversas: Já implementado no SE

Corrige I por l. Já implementado no SE

Corrige á por à / Corrige "a" para "há" / Porfavor para Por favor. / concerteza para com certeza.: Estas funções serão interessantes se forem implementadas, mas também acho que um bom tradutor, dificilmente deixa escapar estes erros.

Substitui '' por " / Corrige reticências / problema de duplo espaço: Já implementado no SE

Espaço antes da "," ou ";" deixa de existir. Já implementado no SE

Corrige diversas onomatopeias Acho que quase ninguém deixa ficar estas onomatopeias

Falta de espaço entre o hifen e o inicio das frases. Já implementado no SE

Adicionei correcção de espaços entre dígitos Já implementado no SE

Como vês, o SE já corrige muitas das coisas que foram referidas.

Agora, se o programa se "virar" para a componente das regras gramaticais, como por exemplo, a situação dos advérbios, entre outras, aí pode ser um programa que ajude muito.

Espero ter ajudado e se precisares de alguma coisa, avisa.

[mx101]

Desconhecia que esse dava para fazer tais coisas. Vou dar uma olhadela mais aprofundada. Mas eu estou a usar expressões regulares para corrigir estes problemas. É o mais fácil para tal. E como uso o Aegisub, porque de todos que existem e eu experimentei, achei e acho o melhor e com mais potencialidades, acaba por funcionar também como um add-on deste o que estou a fazer. Visto que o Aegis permite ter macros escritos em LUA e/ou MOON e aceita expressões regulares.

Cumps e grato pela opinião.

EDIT: Por acaso não tens algum xml com lista de nomes ou o OCRFixReplaceList.xml português?

Pelo que já vi, o programa já me ajudou a implementar mais 2 novas funcionalidades. Se houvesse esse xml tuga, Era o ideal. Senão terei de ser eu mesmo a fazer OCR e ver quais os erros mais comuns na língua portuguesa. É que ele é extremamente bom para corrigir as inglesas, Pena não ter, pelo menos de origem, os xml portugueses (se é que existem).

Leinad4Mind, tens aqui a lista que uso no SE "por_OCRFixReplaceList.xml".

http://www2.zippyshare.com/v/48439290/file.html

Podes usá-la no SE só tens que meter este ficheiro na pasta Dictionaries do SE.

E depois usar a função "corrigir erros comuns -> corrigir erros comuns de OCR (usando a lista de substituição OCR)"

Como podes adicionar as palavras que quiseres.

Se souberes programar podes criar plugins em C# para o SE assim estendendo ainda mais a basta lista de funções que o SE tem.

@YipeeKiYay

As regras gramaticais o SE também já corrige para isso basta criares um ficheiro pt_PT_names_etc.xml e pt_PT_user.xml meter as regras que quiseres e depois meter esses ficheiros na pasta Dictionaries.

Ou meter as regras no ficheiro "por_OCRFixReplaceList.xml" que aqui disponibilizo ao Leinad4Mind,

Convém usar a última versão beta do SE porque já traz melhorias a esse nível.

Está prestes a sair a versão 3.4 do SE, que traz mais funções para correcções como grandes melhorias nas funções existentes.

Estes ficheiros que menciono aqui e disponibilizo, vão sair todos quando for lançada a versão 3.4 do SE que é em breve.

Neste momento até se pode utilizar o SE como antisubbr criando listas de palavras Br para PT, para substituição automática.

Qualquer dúvida podem perguntar que eu no que puder ajudo.

[Leinad4Mind]

Obrigado pela opinião.
O objectivo também se encontra em corrigir problemas gramaticais, sempre que seja possível corrigir via expressões regulares.

De momento estou a adicionar várias correcções:
pensas-te -> pensaste
fizes-te -> fizeste
lês-te -> leste

não sei se existe alguma regra que englobe todos os tipos, mas tanto quanto sei não. Pois "lembras-te" existe e "lembraste" também. Se partilharem os erros comuns e/ou as regras a que elas se aplicam, era o ideal.

Exemplo de 1 linha do meu código:
gsub("([a-zA-Z]*)arei-te","%1ar-te-ei")

Isto irá modificar todas as palavras que terminam por arei-te e colocar como ar-te-ei.
Exemplos:
amarei-te -> amar-te-ei
ajudarei-te -> ajudar-te-ei
darei-te -> dar-te-ei
etc...

E creio e espero que não haja nenhuma palavra correctamente escrita que termine com "arei-te".


Não sou nenhum profissional linguístico, antes o fosse, mas também acho não ser nenhum leigo e procuro sempre pensar/pesquisar sobre todas as regras gramaticais.

De resto também estou a adicionar correcções tais como:
tu cantastes -> tu cantaste (tudo que seja tu *stes. * significa um conjunto de letras antes)
vós cantaste -> vós cantastes (tudo que seja vós *ste. * significa um conjunto de letras antes)
be[nm]vind[ao] -> bem-vindo/a
há-des -> hás-de

Palavras erradas que vão ser corrigidas:
cam[ae]ra, lampada, panoramico/a, espontaniedade, estrépido, sasonal, sasonais, sémea, sémola, fans, apiou, vunerável, proíbido, disfrutar... entre muitas mais que vou adicionar nos próximos dias.

Sobre as onomatopeias concordo que quase ninguém as use, mas deixo essa decisão para o tradutor.

Se desejarem partilhar mais palavras que estão erradas e que muitos cometem. Força, partilhai!

NOTA: Todas as correcções são feitas de acordo com o preAO. Pelo menos para já. Depois facilmente se altera para o posAO. E passam a existir 2 versões.

Cumps e obrigado pelas opiniões, pois são elas que fazem isto avançar.

EDIT:

Leinad4Mind, tens aqui a lista que uso no SE "por_OCRFixReplaceList.xml".

http://www2.zippyshare.com/v/48439290/file.html

Excelente, muito grato. Vou dar uma olhada. E quiçá não programe umas coisas para o SE.

-----------------------------------------------------------------

Estive a ver o xml e ele contém expressões regulares mal elaboradas.
Por exemplo:
<RegEx find="\b([mM])ae\b" replaceWith="$1ãe" />

nesta, ele vai alterar as palavras maestoso, maestria, maestrina, maestro...entre poucas outras para mãestro... etc. Ou estarei enganado? Se calhar o \b signifique critério de paragem da palavra?


<RegEx find="\Bcao\b" replaceWith="ção" />

Esta aqui vai alterar palavras como bolicao para bolicão. (Ok, esta foi mesmo a levar isto para a brincadeira x'D. Mas Bolicao existe como marca e não convinha mm ser alterada ahah) Mas talvez dê para adicionar palavras que serão excepção.

[mx101]

Leinad4Mind, o que achares que está errado ou que não queres que essa lista corrija, podes alterar ou apagar a linha.

Esse é o ficheiro que estamos a usar em testes para a versão final do SE 3.4

Por isso disse acima para usarem a última versão beta do SE.

Nesse ficheiros tens varias opções:
- alterar linhas parciais,
- alterar palavras parciais,
- palavra por palavra,
- linhas inteiras,
- Usar Expressões Regulares de qualquer tipo,
- alterar o texto no inicio das linhas
- alterar o texto no fim das linhas.

E ainda existe mais regras que se podem adicionar a esse ficheiro que neste momento e para meu uso pessoal não meti.

Mas podes alterar ou adicionar à tua maneira

Estive a ver o xml e ele contém expressões regulares mal elaboradas.
Por exemplo:
<RegEx find="\b([mM])ae\b" replaceWith="$1ãe" />

nesta, ele vai alterar as palavras maestoso, maestria, maestrina, maestro...entre poucas outras para mãestro... etc. Ou estarei enganado? Se calhar o \b signifique critério de paragem da palavra?


<RegEx find="\Bcao\b" replaceWith="ção" />

Esta aqui vai alterar palavras como bolicao para bolicão. (Ok, esta foi mesmo a levar isto para a brincadeira x'D. Mas Bolicao existe como marca e não convinha mm ser alterada ahah) Mas talvez dê para adicionar palavras que serão excepção.

Para isso não acontecer é necessário o ficheiro pt_PT_names_etc.xml que mencionei no post acima quando me dirigi ao YipeeKiYay.

nesse ficheiro podes meter as excepções que assim já não fica "bolicão nem mãestro", etc...