Olá pessoal, estou com a seguinte duvida sobre a nossa IA, usamos o modelo básico do BERT ou uma variação do BERT? Quão fácil/difícil seria para incorporamos outro modelo (por exemplo MentalBERT)?
Que tipo de técnicas de aumento/geração de dados nos utilizamos?
Obrigado.
Olá, Pedro.
O BERT em si compreende a “Bidirectional Encoder Representations from Transformers”, sendo uma arquitetura para o processamento dos dados.
Geralmente esses prefixos são indicativos de idioma, ou de funcionalidade, alterando os tokenizers, mas respeitando a arquitetura. Em nosso caso, os modelos possuem variações voltados aos idiomas, como Português, Inglês e Multilanguage, por exemplo.
Então, incorporar o MentalBERT seria como adicionar um ‘idioma novo’.
Segundo o artigo https://arxiv.org/pdf/2110.15621.pdf, MentalBERT foi criado baseado no idioma Inglês. E caso seja necessário para Português, ou outros idiomas, precisamos elaborar ou traduzir o dataset original, e gerar nosso modelo.
Qualquer coisa, sigo a disposição.