Upload Arabic_Summarization_LFM2_SFT_with_TRL.ipynb

Arabic_Summarization_LFM2_SFT_with_TRL.ipynb

@@ -0,0 +1,721 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "a3PTFH-H9Ozk"
+   },
+   "source": [
+    "# 💧 LFM2 - SFT with TRL\n",
+    "\n",
+    "This tutorial demonstrates how to fine-tune our LFM2 models, e.g. [`LiquidAI/LFM2-1.2B`](https://huggingface.co/LiquidAI/LFM2-1.2B), using the TRL library.\n",
+    "\n",
+    "Follow along if it's your first time using trl, or take single code snippets for your own workflow\n",
+    "\n",
+    "## 🎯 What you'll find:\n",
+    "- **SFT** (Supervised Fine-Tuning) - Basic instruction following\n",
+    "- **LoRA + SFT** - Using LoRA (from PEFT) to SFT while on constrained hardware\n",
+    "\n",
+    "## 📋 Prerequisites:\n",
+    "- **GPU Runtime**: Select GPU in `Runtime` → `Change runtime type`\n",
+    "- **Hugging Face Account**: For accessing models and datasets\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "x0RPLu2h9ome"
+   },
+   "source": [
+    "# 📦 Installation & Setup\n",
+    "\n",
+    "First, let's install all the required packages:\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "id": "3FIcp_wo9nsR",
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "!pip install transformers==4.54.1 trl>=0.18.2 peft>=0.15.2"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "!pip install sentencepiece --upgrade"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "!pip install patchelf"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "!patchelf --add-rpath '$ORIGIN/../../nvidia/cusparse/lib' /usr/local/lib/python3.11/dist-packages/torch/lib/libtorch_cuda.so"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "41UEf1uxCd6m"
+   },
+   "source": [
+    "Let's now verify the packages are installed correctly"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "colab": {
+     "base_uri": "https://localhost:8080/"
+    },
+    "id": "bSJgYtHT_Os4",
+    "outputId": "23f86c62-471c-4579-fc23-1df88e87698b",
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "import torch\n",
+    "import transformers\n",
+    "import trl\n",
+    "import os\n",
+    "os.environ[\"WANDB_DISABLED\"] = \"true\"\n",
+    "\n",
+    "print(f\"📦 PyTorch version: {torch.__version__}\")\n",
+    "print(f\"🤗 Transformers version: {transformers.__version__}\")\n",
+    "print(f\"📊 TRL version: {trl.__version__}\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "v_uXLzxQ_rnK"
+   },
+   "source": [
+    "# Loading the model from Transformers 🤗\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {
+    "id": "iA3erKM4-HhS",
+    "tags": []
+   },
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "📚 Loading tokenizer...\n",
+      "🧠 Loading model...\n"
+     ]
+    },
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "/usr/local/lib/python3.11/dist-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: '/usr/local/lib/python3.11/dist-packages/torchvision/image.so: undefined symbol: _ZN3c1017RegisterOperatorsD1Ev'If you don't plan on using image functionality from `torchvision.io`, you can ignore this warning. Otherwise, there might be something wrong with your environment. Did you have `libjpeg` or `libpng` installed before building `torchvision` from source?\n",
+      "  warn(\n",
+      "2025-08-19 00:26:28.995179: I tensorflow/core/util/port.cc:113] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.\n",
+      "2025-08-19 00:26:29.033924: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:9261] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered\n",
+      "2025-08-19 00:26:29.033969: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:607] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered\n",
+      "2025-08-19 00:26:29.035101: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1515] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered\n",
+      "2025-08-19 00:26:29.042173: I tensorflow/core/platform/cpu_feature_guard.cc:182] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.\n",
+      "To enable the following instructions: AVX2 AVX512F AVX512_VNNI FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.\n",
+      "2025-08-19 00:26:29.962824: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT\n"
+     ]
+    },
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "✅ Local model loaded successfully!\n",
+      "🔢 Parameters: 354,483,968\n",
+      "📖 Vocab size: 64400\n",
+      "💾 Model size: ~0.7 GB (bfloat16)\n"
+     ]
+    }
+   ],
+   "source": [
+    "from transformers import AutoTokenizer, AutoModelForCausalLM\n",
+    "from IPython.display import display, HTML, Markdown\n",
+    "import torch\n",
+    "\n",
+    "model_id = \"LiquidAI/LFM2-350M\" # <- or LFM2-700M or LFM2-350M\n",
+    "\n",
+    "print(\"📚 Loading tokenizer...\")\n",
+    "tokenizer = AutoTokenizer.from_pretrained(model_id)\n",
+    "\n",
+    "print(\"🧠 Loading model...\")\n",
+    "model = AutoModelForCausalLM.from_pretrained(\n",
+    "    model_id,\n",
+    "    device_map=\"auto\",\n",
+    "    torch_dtype=\"bfloat16\",\n",
+    "#   attn_implementation=\"flash_attention_2\" <- uncomment on compatible GPU\n",
+    ")\n",
+    "\n",
+    "print(\"✅ Local model loaded successfully!\")\n",
+    "print(f\"🔢 Parameters: {model.num_parameters():,}\")\n",
+    "print(f\"📖 Vocab size: {len(tokenizer)}\")\n",
+    "print(f\"💾 Model size: ~{model.num_parameters() * 2 / 1e9:.1f} GB (bfloat16)\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "6ABA6Yrm_lql"
+   },
+   "source": [
+    "# 🎯 Part 1: Supervised Fine-Tuning (SFT)\n",
+    "\n",
+    "SFT teaches the model to follow instructions by training on input-output pairs (instruction vs response). This is the foundation for creating instruction-following models."
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "KufdgeypHtst"
+   },
+   "source": [
+    "## Load an SFT Dataset\n",
+    "\n",
+    "We will use [HuggingFaceTB/smoltalk](https://huggingface.co/datasets/HuggingFaceTB/smoltalk), limiting ourselves to the first 5k samples for brevity. Feel free to change the limit by changing the slicing index in the parameter `split`."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {
+    "id": "XCe8O06-_Cps",
+    "tags": []
+   },
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "📥 Loading SFT dataset...\n"
+     ]
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "f2f49b719f5f4528bebae99c4c81ae18",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "README.md:   0%|          | 0.00/716 [00:00<?, ?B/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "60f5230f2b4341a29b74697578722896",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "data/train-00000-of-00001.parquet:   0%|          | 0.00/92.1M [00:00<?, ?B/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "1b97ee6327f446718d444df1e8854ffe",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "data/test-00000-of-00001.parquet:   0%|          | 0.00/928k [00:00<?, ?B/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "54b95e6f022b416aa8011112366811d2",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Generating train split:   0%|          | 0/17862 [00:00<?, ? examples/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "813d3db99d7a4d06b7f65ea8512f8095",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Generating test split:   0%|          | 0/181 [00:00<?, ? examples/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "ccd9f894c8184189bcfcb53b6e9fcf68",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Filter:   0%|          | 0/17862 [00:00<?, ? examples/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "b3d2ff96d0ba4d7eba593847ec10957d",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Filter:   0%|          | 0/181 [00:00<?, ? examples/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "be362032b9b041b0b891894ff43e1f45",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Map:   0%|          | 0/17862 [00:00<?, ? examples/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "80e634f73d4f472f898fb072ac479ee6",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Map:   0%|          | 0/181 [00:00<?, ? examples/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "✅ SFT Dataset loaded:\n",
+      "   📚 Train samples: 17862\n",
+      "   🧪 Eval samples: 181\n",
+      "\n",
+      "📝 Single Sample: [{'content': 'Summarize the following text: \\n\\n بقلم: وليام تورفيل. نشر في: 08:04 صباحًا بتوقيت شرق الولايات المتحدة، 21 ديسمبر 2013 | تم تحديثه: 09:07 صباحًا بتوقيت شرق الولايات المتحدة، 21 ديسمبر 2013. إذا كنت تدخل في الروح المناسبة لعيد الميلاد بمجرد سماع أغنية عيد الميلاد أو رؤية صفوف من الزخارف للبيع، فمن الأفضل أن تبتعد عن هذه الشوارع. قد تبدو شوارع مثل تينسيل لين في نونيتون، وارويكشاير، غريبة في الصيف - لكنها تأخذ مكانها في ديسمبر. وجد بحث موظفي رويال ميل أن المملكة المتحدة لديها 3369 اسمًا لشوارع مرتبطة بعيد الميلاد، بناءً على تحليل كل اسم شارع في البلاد. تينسيل لين في نونيتون، وارويكشاير، مزينة هذا العام من قبل السكان ميشيل أورتون وابنها ذي الثلاث سنوات، ماثيو. تعرض الأخوات نيام ديفي (على اليسار)، البالغة من العمر ثماني سنوات، وسيارا ديفي، البالغة من العمر خمس سنوات، أمام اسم شارعهم - الذي قد يبدو غريبًا بعض الشيء في الصيف - في نورثامبتون. هولي ستريت هي أكثر الأسماء شيوعًا لشوارع عيد الميلاد في المملكة المتحدة. هناك 990 اسمًا لهذا النوع من الشوارع في جميع أنحاء المملكة المتحدة. 1. شارع هولي. 2. شارع بيل. 3. شارع ماري. 4. شارع إنجل. 5. طريق ستار. 6. شارع بو. 7. ساحة فيستيفال. 8. شارع نويل. 9. شارع غولد. 10. شارع غارلاند. كشف البحث أيضًا أن إقليم ميدلاندز لديه ما مجموعه 560 اسمًا لشوارع عيد الميلاد، أكثر من أي منطقة أخرى في المملكة المتحدة. تحتوي المنطقة على ما مجموعه 560 اسمًا لشوارع عيد الميلاد وتتمتع بأسماء شوارع مناسبة لعيد الميلاد مثل ريندير رود، ونويل رود، وبيل كلوز، وهولي ستريت. التقييمات جاءت من تحليل قاعدة بيانات رويال ميل التي تحتوي على 29 مليون عنوان في المملكة المتحدة. تكشف قاعدة البيانات أيضًا عن حبنا لرنود سانتا، حيث أن سبعة من تسعة رنود ممثلة في اسم شارع. وتشمل هذه: داشر، ودانسر، وفيكسن، وكوميت، وكيوبيد، ودونر، ورودولف. سكان تينسيل لين في نونيتون، نورثامبتون، بذلوا جهدًا كبيرًا هذا العام من خلال تزيين لافتتهم مثل شجرة الميلاد. قدم ماثيو البالغ من العمر ثلاث سنوات وأمه ميشيل أورتون بالفعل لتزيين لافتة شارعهم. في غضون ذلك، سيكون فريستي هولو في نورثامبتون عنصر جذب كبير للصور الفوتوغرافية خلال هذا الشهر. ويبدو أن الأخوات نيام ديفي، البالغة من العمر ثماني سنوات، وسيارا، البالغة من العمر خمس سنوات، قد فازتا على أصدقائهما. شارع نويل، في إيلينج، لندن الغربية، يتطلب القليل من الخيال لكنه لا يزال يمكن اعتباره شارعًا يبدو مناسبًا جدًا لعيد الميلاد، إذا نطقت بشكل صحيح. ريندير كلوز أكثر وضوحًا، وسيكون من المؤكد أن سكان شرق لندن في حالة مزاجية لعيد الميلاد بحلول ديسمبر. أربع سنوات من السن بوبي جروت تلتقط صورة مع جدتها جين لونج بالقرب من ميستل تو غرين في أكسفورد. ومع ذلك، على أساس الأدلة الفوتوغرافية، لا يبدو أن المرح أكبر في لندن، حيث أن اللافتات المناسبة لعيد الميلاد أكثر شيوعًا ويتم التعامل معها بقليل من الحماس. بعض اللافتات المصورة مثل نويل رود، التي تتطلب نطقًا خاصًا، وستار رود. لكن في حالات أخرى - ريندير كلوز وهولي واي - لا يمكن الهروب من المعنى المسيحي للأسماء. قد يجذب ستريت توركيل الناس في نورث إنجلاند إلى عيد الميلاد، لكن عليهم أن يسافروا إلى تاور هاملتس لإيجاد كرانبري لين. فريستي يارد في مدينة ويستمنستر، لندن، توفر اسمًا مناسبًا لعيد الميلاد مع خلفية أكثر توراتية. يجب على أولئك الذين لا يستمتعون بعيد الميلاد أن يبتعدوا عن هذه الشوارع. وبالمثل، إذا كنت لا تشعر بالرغبة في قبلة عيد الميلاد، فتعلم من أخطاء بوبي جروت البالغة من العمر أربع سنوات، التي اشتعلت وهي تلتقط صورة مع جدتها، جين لونج، أمام ميستل غرين في أكسفورد. بالنسبة لسكان أدفنت واي، ديسمبر لا يمكن أن يأتي بسرعة كافية. على الرغم من كل شيء، لا يوجد في نويسلين في نورثلينكولن، إلينج، شارع مناسب لعيد الميلاد .', 'role': 'user'}, {'content': 'وجد بحث أجراه موظفو \"رويال ميل\" العام الماضي أن المملكة المتحدة لديها 3369 اسمًا لشوارع مُوَضوعها الميلاد. ويعد \"هولي ستريت\" أكثر أسماء الشوارع احتفالية شيوعًا في المملكة المتحدة. هناك 990 اسمًا لشوارع من هذا النوع في جميع أنحاء المملكة المتحدة.', 'role': 'assistant'}]\n"
+     ]
+    }
+   ],
+   "source": [
+    "from datasets import load_dataset\n",
+    "\n",
+    "print(\"📥 Loading SFT dataset...\")\n",
+    "train_dataset_sft = load_dataset(\"oddadmix/arabic-news-summarization\", split=\"train\")\n",
+    "eval_dataset_sft = load_dataset(\"oddadmix/arabic-news-summarization\", split=\"test\")\n",
+    "\n",
+    "\n",
+    "def filterEmpty(example):\n",
+    "    if example[\"summary_text_translated\"] is None or example[\"origin_text_translated\"] is None: \n",
+    "        return False\n",
+    "    return True\n",
+    "\n",
+    "train_dataset_sft = train_dataset_sft.filter(filterEmpty)\n",
+    "eval_dataset_sft = eval_dataset_sft.filter(filterEmpty)\n",
+    "\n",
+    "\n",
+    "def convert_to_conversation(example):\n",
+    "    example[\"messages\"] = [\n",
+    "        {\n",
+    "        \"content\": \"Summarize the following text: \\n\\n \" + example[\"origin_text_translated\"] ,\n",
+    "        \"role\": \"user\"\n",
+    "        },\n",
+    "        {\n",
+    "        \"content\": example[\"summary_text_translated\"],\n",
+    "        \"role\": \"assistant\"\n",
+    "        }\n",
+    "        ]\n",
+    "    return example\n",
+    "\n",
+    "train_dataset_sft = train_dataset_sft.map(convert_to_conversation, remove_columns=[\"origin_text_translated\", \"origin_text\", \"summary_text_translated\",\"summary_text\"])\n",
+    "eval_dataset_sft = eval_dataset_sft.map(convert_to_conversation, remove_columns=[\"origin_text_translated\", \"origin_text\", \"summary_text_translated\",\"summary_text\"])\n",
+    "\n",
+    "print(\"✅ SFT Dataset loaded:\")\n",
+    "print(f\"   📚 Train samples: {len(train_dataset_sft)}\")\n",
+    "print(f\"   🧪 Eval samples: {len(eval_dataset_sft)}\")\n",
+    "print(f\"\\n📝 Single Sample: {train_dataset_sft[0]['messages']}\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "n5pI5JWpIlFQ"
+   },
+   "source": [
+    "## Launch Training\n",
+    "\n",
+    "We are now ready to launch an SFT run with `SFTTrainer`, feel free to modify `SFTConfig` to play around with different configurations.\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "id": "ixD8Po-eAbPp",
+    "tags": []
+   },
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "🏗️  Creating SFT trainer...\n"
+     ]
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "9dfa2b44e9cc4428bb62a6a39e817602",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Tokenizing train dataset:   0%|          | 0/17862 [00:00<?, ? examples/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    }
+   ],
+   "source": [
+    "from trl import SFTConfig, SFTTrainer\n",
+    "\n",
+    "sft_config = SFTConfig(\n",
+    "    output_dir=\"./lfm2-sft-summary\",\n",
+    "    num_train_epochs=10,\n",
+    "    per_device_train_batch_size=16,\n",
+    "    learning_rate=5e-5,\n",
+    "    lr_scheduler_type=\"linear\",\n",
+    "    warmup_steps=100,\n",
+    "    warmup_ratio=0.2,\n",
+    "    logging_steps=10,\n",
+    "    save_strategy=\"epoch\",\n",
+    "    eval_strategy=\"epoch\",\n",
+    "    load_best_model_at_end=True,\n",
+    "    report_to=None,\n",
+    "    bf16=False # <- not all colab GPUs support bf16\n",
+    ")\n",
+    "\n",
+    "print(\"🏗️  Creating SFT trainer...\")\n",
+    "sft_trainer = SFTTrainer(\n",
+    "    model=model,\n",
+    "    args=sft_config,\n",
+    "    train_dataset=train_dataset_sft,\n",
+    "    eval_dataset=eval_dataset_sft,\n",
+    "    processing_class=tokenizer,\n",
+    ")\n",
+    "\n",
+    "print(\"\\n🚀 Starting SFT training...\")\n",
+    "sft_trainer.train(resume_from_checkpoint=True)\n",
+    "\n",
+    "print(\"🎉 SFT training completed!\")\n",
+    "\n",
+    "sft_trainer.push_to_hub(\"oddadmix/arabic-summarization\")\n",
+    "#sft_trainer.save_model()\n",
+    "print(f\"💾 SFT model saved to: {sft_config.output_dir}\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "sft_trainer.push_to_hub(\"oddadmix/lfm2-arabic-summarizer\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "text = \"\"\"\n",
+    "شاهد زوجان صدمان فريقًا من خفر السواحل ينقذ بشكل درامي كلبهما الأليف المحاصِر في جرف يبلغ طوله 200 قدم. شاهد جون جريفيتس، البالغ من العمر 47 عامًا، وزوجته ميشيل، البالغة من العمر 36 عامًا، بينما يتم سحب كلب جرمن شيبرد الخاص بهما كلوي إلى مكان آمن. استغرقت العملية المعقدة أكثر من ساعة على الواجهة البحرية في كرومر، شمال نورفولك، صباح أمس. شعر جون جريفيتس، البالغ من العمر 47 عامًا، وزوجته ميشيل، البالغة من العمر 36 عامًا، بالارتياح للم شملهما مع كلبهما الأليف، كلوي (في الصورة على اليسار). أنقذ جيري وودلي، من فريق إنقاذ خفر السواحل الملكي، الكلب الذي انزلق من جرف في كرومر. استغرقت العملية المعقدة أكثر من ساعة على الواجهة البحرية في كرومر، في شمال نورفولك. وهتف حشد من المصطافين والسكان المحليين الذين تجمعوا لمشاهدة الحدث المثير عند إنقاذ كلوي. بكت السيدة جريفيتس من الارتياح عند لم شملها مع كلبها الأليف. وقالت: \"أشعر فقط بالارتياح لأنها لم تتأذى - قام خفر السواحل بعمل رائع\". كان الزوجان يمشان على طول قمة الجرف مع كلوي البالغة من العمر ست سنوات وتيلي البالغة من العمر 14 شهرًا، وهي كلب جرمن شيبرد مهجن مع سبيزي هسكي، عندما انزلق الكلب الأكبر سنًا وسقط. وقال جريفيثس: \"لم نر كلوي تسقط من الجرف، لكننا عرفنا أن شيئًا ما قد حدث عندما اختفت. تقرأ عن الكلاب التي تسقط من الجرف وتفكر، كيف يمكن أن يحدث ذلك، ولكن يمكن ذلك. لم أستطع أن أصدق أنها اقتربت كثيرًا من الجرف\". انزلق جريفيثز بشجاعة جزءًا من الطريق من خلال الشجيرات الكثيفة والأراضي الفضية في محاولة يائسة للوصول إلى كلوي. لكنه أدرك سريعًا أنه كان خطيرًا جدًا واتصل برقم الطوارئ 999 لإثارة الإنذار. انتظر جريفيثز بتوترٍ وفريق الإنقاذ يعمل على استعادة كلبه الجرمان شيبرد، كلوي. أقام فريق الإنقاذ حبالًا خاصة وآلة سحب لإنزال جيري ودلي من كرومر. وقال وودلي إنه وجد كلوي تقوم بنباح من الرعب ومحاصرة على بعد حوالي 60 قدمًا أسفل الجرف الحاد الذي يبلغ طوله 200 قدم. وقال إنه كان إنقاذًا صعبًا حيث كانت شجيرات الزعرور الكثيفة تغطي الكلب تمامًا. وقال: \"كان من الصعب وضع الكلب في حقيبة الإنقاذ. بمجرد أن حققنا ذلك، كان كل شيء على ما يرام\"، قال جريفيثز، الذي قدم تبرعًا سخيًا لخفر السواحل كعلامة على تقديره لإنقاذ حياة كلوي، قائلاً: \"لقد كانوا رائعين - خاصة عندما تفكر في أنهم جميعًا متطوعون. لا يمكننا شكرهم بما فيه الكفاية\".\n",
+    "\"\"\"\n",
+    "from transformers import pipeline\n",
+    "\n",
+    "prompt = \"Summarize the following text: \\n\\n \" + text\n",
+    "\n",
+    "\n",
+    "from transformers import AutoModelForCausalLM, AutoTokenizer\n",
+    "\n",
+    "# Load model and tokenizer\n",
+    "model_id = \"oddadmix/lfm2-sft-summary\"\n",
+    "model = AutoModelForCausalLM.from_pretrained(\n",
+    "    model_id,\n",
+    "    device_map=\"auto\",\n",
+    "    torch_dtype=\"bfloat16\",\n",
+    "#    attn_implementation=\"flash_attention_2\" <- uncomment on compatible GPU\n",
+    ")\n",
+    "tokenizer = AutoTokenizer.from_pretrained(model_id)\n",
+    "\n",
+    "\n",
+    "input_ids = tokenizer.apply_chat_template(\n",
+    "    [{\"role\": \"user\", \"content\": prompt}],\n",
+    "    add_generation_prompt=True,\n",
+    "    return_tensors=\"pt\",\n",
+    "    tokenize=True,\n",
+    ").to(model.device)\n",
+    "\n",
+    "output = model.generate(\n",
+    "    input_ids,\n",
+    "    do_sample=True,\n",
+    "    temperature=0.3,\n",
+    "    min_p=0.15,\n",
+    "    repetition_penalty=1.05,\n",
+    "    max_new_tokens=512,\n",
+    ")\n",
+    "\n",
+    "print(tokenizer.decode(output[0], skip_special_tokens=False))\n",
+    "\n",
+    "# <|startoftext|><|im_start|>user\n",
+    "# What is C. elegans?<|im_end|>\n",
+    "# <|im_start|>assistant\n",
+    "# C. elegans, also known as Caenorhabditis elegans, is a small, free-living\n",
+    "# nematode worm (roundworm) that belongs to the phylum Nematoda.\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "08Y3TxKrBRXo"
+   },
+   "source": [
+    "# 🎛️ Part 2: LoRA + SFT (Parameter-Efficient Fine-tuning)\n",
+    "\n",
+    "LoRA (Low-Rank Adaptation) allows efficient fine-tuning by only training a small number of additional parameters. Perfect for limited compute resources!\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "-MfWfc-Pvl9q"
+   },
+   "source": [
+    "## Wrap the model with PEFT\n",
+    "\n",
+    "We specify target modules that will be finetuned while the rest of the models weights remains frozen. Feel free to modify the `r` (rank) value:\n",
+    "- higher -> better approximation of full-finetuning\n",
+    "- lower -> needs even less compute resources"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "id": "puYp_gTpBSsf"
+   },
+   "outputs": [],
+   "source": [
+    "from peft import LoraConfig, get_peft_model, TaskType\n",
+    "\n",
+    "GLU_MODULES = [\"w1\", \"w2\", \"w3\"]\n",
+    "MHA_MODULES = [\"q_proj\", \"k_proj\", \"v_proj\", \"out_proj\"]\n",
+    "CONV_MODULES = [\"in_proj\", \"out_proj\"]\n",
+    "\n",
+    "lora_config = LoraConfig(\n",
+    "    task_type=TaskType.CAUSAL_LM,\n",
+    "    inference_mode=False,\n",
+    "    r=8,  # <- lower values = fewer parameters\n",
+    "    lora_alpha=16,\n",
+    "    lora_dropout=0.1,\n",
+    "    target_modules=GLU_MODULES + MHA_MODULES + CONV_MODULES,\n",
+    "    bias=\"none\",\n",
+    "    modules_to_save=None,\n",
+    ")\n",
+    "\n",
+    "lora_model = get_peft_model(model, lora_config)\n",
+    "lora_model.print_trainable_parameters()\n",
+    "\n",
+    "print(\"✅ LoRA configuration applied!\")\n",
+    "print(f\"🎛️  LoRA rank: {lora_config.r}\")\n",
+    "print(f\"📊 LoRA alpha: {lora_config.lora_alpha}\")\n",
+    "print(f\"🎯 Target modules: {lora_config.target_modules}\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "L1Hem_DOwHgY"
+   },
+   "source": [
+    "## Launch Training\n",
+    "\n",
+    "Now ready to launch the SFT training, but this time with the LoRA-wrapped model"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "id": "u-VYQysHBY8-"
+   },
+   "outputs": [],
+   "source": [
+    "from trl import SFTConfig, SFTTrainer\n",
+    "\n",
+    "lora_sft_config = SFTConfig(\n",
+    "    output_dir=\"./lfm2-sft-lora\",\n",
+    "    num_train_epochs=1,\n",
+    "    per_device_train_batch_size=1,\n",
+    "    learning_rate=5e-5,\n",
+    "    lr_scheduler_type=\"linear\",\n",
+    "    warmup_steps=100,\n",
+    "    warmup_ratio=0.2,\n",
+    "    logging_steps=10,\n",
+    "    save_strategy=\"epoch\",\n",
+    "    eval_strategy=\"epoch\",\n",
+    "    load_best_model_at_end=True,\n",
+    "    report_to=None,\n",
+    ")\n",
+    "\n",
+    "print(\"🏗️  Creating LoRA SFT trainer...\")\n",
+    "lora_sft_trainer = SFTTrainer(\n",
+    "    model=lora_model,\n",
+    "    args=lora_sft_config,\n",
+    "    train_dataset=train_dataset_sft,\n",
+    "    eval_dataset=eval_dataset_sft,\n",
+    "    processing_class=tokenizer,\n",
+    ")\n",
+    "\n",
+    "print(\"\\n🚀 Starting LoRA + SFT training...\")\n",
+    "lora_sft_trainer.train()\n",
+    "\n",
+    "print(\"🎉 LoRA + SFT training completed!\")\n",
+    "\n",
+    "lora_sft_trainer.save_model()\n",
+    "print(f\"💾 LoRA model saved to: {lora_sft_config.output_dir}\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "xI1-N-_Ev0cC"
+   },
+   "source": [
+    "## Save merged model\n",
+    "\n",
+    "Merge the extra weights learned with LoRA back into the model to obtain a \"normal\" model checkpoint."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "id": "_rizEFUsvwce"
+   },
+   "outputs": [],
+   "source": [
+    "print(\"\\n🔄 Merging LoRA weights...\")\n",
+    "merged_model = lora_model.merge_and_unload()\n",
+    "merged_model.save_pretrained(\"./lfm2-lora-merged\")\n",
+    "tokenizer.save_pretrained(\"./lfm2-lora-merged\")\n",
+    "print(\"💾 Merged model saved to: ./lfm2-lora-merged\")"
+   ]
+  }
+ ],
+ "metadata": {
+  "accelerator": "GPU",
+  "colab": {
+   "gpuType": "T4",
+   "provenance": []
+  },
+  "kernelspec": {
+   "display_name": "Python 3 (ipykernel)",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.7"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 4
+}