README.md

metadata

language:
  - pt
license: apache-2.0
library_name: transformers
tags:
  - modernbert
  - bert
  - portuguese
  - fill-mask
  - nlp
  - foundation-model
  - masked-language-model
pipeline_tag: fill-mask
inference: true
widget:
  - text: O Brasil é um país [MASK] e cheio de belezas naturais.
  - text: A inteligência artificial vai [MASK] o mundo.
model_type: modernbert

🐶 BERTomelo-ModernBERT-Base-1k

Descrição

O BERTomelo-ModernBERT é um modelo de linguagem para a língua portuguesa, construído sobre a arquitetura ModernBERT. O nome é uma homenagem ao "Vira-lata Caramelo".

Esta é a versão Base-1k, otimizada para sequências de até 1024 tokens.

Nota: Se for necessário processar documentos longos ou RAG, confira a versão de contexto longo: BERTomelo-ModernBERT-Base-8k.

Aviso de Desenvolvimento (WIP): Este modelo está atualmente em fase de desenvolvimento, assim como metadados e referências bibliográficas necessárias para seu uso.

O modelo é totalmente compatível com a biblioteca transformers (versão 4.48.0 ou superior recomendada para suporte ao ModernBERT).