---
language:
  - pt
license: apache-2.0
library_name: transformers
tags:
  - modernbert
  - bert
  - portuguese
  - fill-mask
  - nlp
  - foundation-model
  - masked-language-model
pipeline_tag: fill-mask
inference: true
widget:
  - text: "O Brasil é um país [MASK] e cheio de belezas naturais."
  - text: "A inteligência artificial vai [MASK] o mundo."
model_type: modernbert
---

# 🐶 BERTomelo-ModernBERT-Base-1k

<div align="center">
    <img src="https://img.shields.io/badge/Status-Em_Desenvolvimento_(Beta)-yellow?style=for-the-badge" alt="Status Beta">
    <img src="https://img.shields.io/badge/Versão-v0.1-orange?style=for-the-badge" alt="Versão v0.1">
</div>

## Descrição

O **BERTomelo-ModernBERT** é um modelo de linguagem para a língua portuguesa, construído sobre a arquitetura **ModernBERT**. O nome é uma homenagem ao "Vira-lata Caramelo".

Esta é a versão **Base-1k**, otimizada para sequências de até **1024 tokens**.

> **Nota:** Se for necessário processar documentos longos ou RAG, confira a versão de contexto longo: **[BERTomelo-ModernBERT-Base-8k](https://huggingface.co/renneruan/BERTomelo-ModernBERT-Base-8k)**.

> **Aviso de Desenvolvimento (WIP):**
> Este modelo está atualmente em fase de desenvolvimento, assim como metadados e referências bibliográficas necessárias para seu uso.

O modelo é totalmente compatível com a biblioteca `transformers` (versão 4.48.0 ou superior recomendada para suporte ao ModernBERT).