Cygnis_A2 – Modèle de génération de texte

Cygnis_A2 est un modèle de génération de texte développé par Simon Chusseau, basé sur LLaMA 3.2 Instruct et géré via le framework Unsloth.
Ce dépôt montre comment charger le modèle et le tokenizer depuis Hugging Face et générer du texte avec PyTorch.

---

🚀 Installation

Installez les dépendances nécessaires :

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers
pip install unsloth

Puis utilliser ce code :

from transformers import AutoTokenizer
from unsloth import FastModel
import torch

MODEL_NAME = "unsloth/Llama-3.2-3B-Instruct"
TOKENIZER_REPO = "Simonc-44/Cygnis_A2"

DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

# Charger tokenizer
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_REPO, trust_remote_code=True)

# Charger modèle
maybe = FastModel.from_pretrained(MODEL_NAME, max_seq_length=1024)
model = maybe[0] if isinstance(maybe, tuple) else maybe
model.eval()

# Génération de texte
  prompt = "Comment sa va."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(input_ids=inputs["input_ids"],
                             attention_mask=inputs["attention_mask"],
                             max_length=100)
print("Résultat :", tokenizer.decode(outputs[0], skip_special_tokens=True))

---

license: mit