Instructions to use SykoSLM/SykoLLM-V5.6 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use SykoSLM/SykoLLM-V5.6 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="SykoSLM/SykoLLM-V5.6")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("SykoSLM/SykoLLM-V5.6")
model = AutoModelForCausalLM.from_pretrained("SykoSLM/SykoLLM-V5.6")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use SykoSLM/SykoLLM-V5.6 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "SykoSLM/SykoLLM-V5.6"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SykoSLM/SykoLLM-V5.6",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/SykoSLM/SykoLLM-V5.6

SGLang

How to use SykoSLM/SykoLLM-V5.6 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "SykoSLM/SykoLLM-V5.6" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SykoSLM/SykoLLM-V5.6",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "SykoSLM/SykoLLM-V5.6" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SykoSLM/SykoLLM-V5.6",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use SykoSLM/SykoLLM-V5.6 with Docker Model Runner:
```
docker model run hf.co/SykoSLM/SykoLLM-V5.6
```

SykoLLM-V5.6 / README.md

SykoSLM

Update README.md

ce5bdf7 verified 4 months ago

preview code

Raw

History Blame Contribute Delete

5.9 kB

metadata

language:
  - tr
  - en
license: apache-2.0
library_name: transformers
tags:
  - causal-lm
  - turkish
  - phi3
  - llm
  - text-generation
  - pre-training
  - syko
pipeline_tag: text-generation
inference: false
datasets:
  - uonlp/CulturaX
  - HuggingFaceTB/cosmopedia
  - roneneldan/TinyStories
  - nampdn-ai/tiny-textbooks
  - nampdn-ai/tiny-codes
  - ise-uiuc/Magicoder-Evol-Instruct-110K
  - theblackcat102/evol-codealpaca-v1
  - turkish-nlp-suite/InstrucTurca

🧠 SykoLLM V5.6

SykoLLM V5.6, SykoLLM ailesinin şu ana kadar eğitilmiş en gelişmiş ve en yetenekli modelidir. Bir önceki nesil olan V5.5-Beta'ya kıyasla çok daha fazla veriyle, çok daha güçlü donanımda eğitilmiştir.

Modeli Canlı Test Edin

📐 Model Mimarisi

Özellik	Değer
Mimari	Phi-3 (Causal LM)
Toplam Parametre	~447 Milyon
Gizli Katman Boyutu (`hidden_size`)	1024
Ara Katman Boyutu (`intermediate_size`)	3072
Dikkat Başlığı Sayısı (`num_attention_heads`)	8
Katman Sayısı (`num_hidden_layers`)	28
Kelime Hazinesi (`vocab_size`)	32.000
Bağlam Penceresi	1024 token
Dikkat Mekanizması	Flash Attention 2
Veri Tipi	bfloat16

📚 Eğitim Veri Setleri

Veri Seti	İçerik Türü	Dil
uonlp/CulturaX	Genel web metinleri (tr bölümü)	🇹🇷 Türkçe
HuggingFaceTB/cosmopedia	Sentetik eğitici içerik	🇬🇧 İngilizce
roneneldan/TinyStories	Kısa, sade hikayeler	🇬🇧 İngilizce
nampdn-ai/tiny-textbooks	Ders kitabı tarzı içerik	🇬🇧 İngilizce
nampdn-ai/tiny-codes	Kod örnekleri ve açıklamalar	💻 Çokdil
ise-uiuc/Magicoder-Evol-Instruct-110K	Gelişmiş kodlama talimatları	💻 Çokdil
theblackcat102/evol-codealpaca-v1	Kodlama talimatları	💻 Çokdil
turkish-nlp-suite/InstrucTurca	Türkçe instruction/yanıt çiftleri	🇹🇷 Türkçe

Toplamda yaklaşık ~1.7 Milyon örnek ile eğitilmiştir.

⚙️ Eğitim Detayları

Parametre	Değer
Kullanılan Donanım	NVIDIA A100
Önceki Nesil Donanım	2× Tesla T4 (V5.5-Beta)
Batch Boyutu (cihaz başına)	16
Gradyan Birikimi	4 (efektif batch: 64)
Öğrenme Hızı	5e-5
LR Zamanlayıcı	Cosine
Optimizatör	AdamW (Fused)
Çerçeve	HuggingFace Transformers + Trainer

🗣️ Sohbet Formatı ve Özel Token'lar

Bu model aşağıdaki sohbet şablonuyla eğitilmiştir:

<|user|>
Kullanıcının mesajı<|end|>
<|assistant|>
Modelin yanıtı<|end|>

Önemli Notlar

BOS token yoktur. Model direkt <|user|> ile başlar, başa <s> veya herhangi bir başlangıç token'ı ekleme.
Cümleyi bitiren token <|end|>'dir (ID: 3), <|endoftext|> değil. Generate ederken eos_token_id=3 vermeyi unutma, yoksa model durmaz.
<|endoftext|> (ID: 0) yalnızca vocab'ın 0. slotunu doldurmak için vardır, eğitimde hiç kullanılmamıştır.

Token ID Tablosu

Token	ID	Görevi
`<	endoftext	>`
`<	user	>`
`<	assistant	>`
`<	end	>`
`<	pad	>`

🚀 Kullanım

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "SykoSLM/SykoLLM-V5.6"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

def chat(user_message):
    # BOS YOK — direkt <|user|> ile başlıyoruz
    prompt = f"<|user|>\n{user_message}<|end|>\n<|assistant|>\n"
    
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=256,
            do_sample=True,
            temperature=0.7,
            top_p=0.9,
            repetition_penalty=1.1,
            eos_token_id=3,      # <|end|> gelince dur
            pad_token_id=4       # <|pad|>
        )
    
    # Sadece modelin ürettiği kısmı al, prompt'u çıkar
    generated = outputs[0][inputs["input_ids"].shape[1]:]
    return tokenizer.decode(generated, skip_special_tokens=True)


print(chat("Merhaba! Kendini tanıtır mısın?"))

🗺️ SykoLLM Ailesi

Versiyon	Durum	Veri Miktarı	Donanım
SykoLLM V5.5-Beta	✅ Yayında	~300K örnek	2× Tesla T4
SykoLLM V5.6	✅ Yayında	~1.7M örnek	A100

⚠️ Sınırlamalar

Bağlam penceresi 1024 token ile sınırlıdır.
Model yalnızca ön-eğitim (pre-training) görmüştür; RLHF veya DPO gibi hizalama adımları uygulanmamıştır. Zaman zaman tutarsız yanıtlar üretebilir.
Kritik, tıbbi, hukuki veya güvenlik gerektiren uygulamalarda kullanımı önerilmez.

📄 Lisans

Apache 2.0 — Ticari kullanım serbesttir, modelin kaynağının belirtilmesi beklenir.

SykoSLM tarafından geliştirilmiştir.