Duvida sobre modelo de IA

Olá pessoal, estou com a seguinte duvida sobre a nossa IA, usamos o modelo básico do BERT ou uma variação do BERT? Quão fácil/difícil seria para incorporamos outro modelo (por exemplo MentalBERT)?

Que tipo de técnicas de aumento/geração de dados nos utilizamos?

Obrigado.

2 curtidas

Olá, Pedro.

O BERT em si compreende a “Bidirectional Encoder Representations from Transformers”, sendo uma arquitetura para o processamento dos dados.

Geralmente esses prefixos são indicativos de idioma, ou de funcionalidade, alterando os tokenizers, mas respeitando a arquitetura. Em nosso caso, os modelos possuem variações voltados aos idiomas, como Português, Inglês e Multilanguage, por exemplo.

Então, incorporar o MentalBERT seria como adicionar um ‘idioma novo’.

Segundo o artigo https://arxiv.org/pdf/2110.15621.pdf, MentalBERT foi criado baseado no idioma Inglês. E caso seja necessário para Português, ou outros idiomas, precisamos elaborar ou traduzir o dataset original, e gerar nosso modelo.

Qualquer coisa, sigo a disposição.

4 curtidas