Apsveicu ar pirmo modeli
Apsveicu ar pirmā modeļa relīzi. 🍾
Sekošu līdz un ar nepacietību gaidu multimodālās un lokāli lietojamās versijas. 🤓
Paldies!
Sveikinimai, Europos kalbų modeliui.
30b modelis, tiešām tikai tulkotājs.... Gaidam triljona modeļus.
30b modelis, tiešām tikai tulkotājs.... Gaidam triljona modeļus.
Šis modelis pagaidām vēl ir tikai pamatmodelis attiecīgi nav arī vēl tulkotājs.
Mēneša laikā izlaidīsim arī pielāgotus modeļus.
Apsveicu!! 🥳🥳
Apsveicu!! 🚀
https://huggingface.co/spaces/huggingface/InferenceSupport/discussions/4651#68badd532243271d6f778e84
Sveiks! Es varbūt ne līdz galam saprotu par ko šis ir -
Modelis pagaidām ir testēts gan ar vLLM gan ar HF. Ir kaut kas ko mums vajadzētu vēl iečekot?
Toms
@TBergmanis Prieks, ka jums ir izdevies un ir parādījies šāds modelis! Iepriekš nācās izmantot mistral vai eurollm.
Kāda iespēja būtu tikt pie destilētās 7B latviešu valodas versijas - tas būtu daudz praktiskāk ikdienas lietošanai. 30B tomēr ir pārāk smagnējs reālām vajadzībām.
3B vispār būtu skaisti – tad varētu palaist arī uz mazāk jaudīgiem serveriem vai pat lokāli, kas atvērtu iespējas plašākai sabiedrībai un mazākiem uzņēmumiem.
@TBergmanis Prieks, ka jums ir izdevies un ir parādījies šāds modelis! Iepriekš nācās izmantot mistral vai eurollm.
Kāda iespēja būtu tikt pie destilētās 7B latviešu valodas versijas - tas būtu daudz praktiskāk ikdienas lietošanai. 30B tomēr ir pārāk smagnējs reālām vajadzībām.
3B vispār būtu skaisti – tad varētu palaist arī uz mazāk jaudīgiem serveriem vai pat lokāli, kas atvērtu iespējas plašākai sabiedrībai un mazākiem uzņēmumiem.
Par 7B un 3B versijām vispārīgi piekrītu priekš lokāla lietojuma. Bet ja salīdzini ar mistralu un eurollm, tad iesaku iepazīties ar https://huggingface.co/TildeAI/TildeOpen-30b/discussions/5 .
Paldies, jau iepazinos ar EuroEval rezultātiem. Galvenā doma tomēr ir par 7B un 3B modeļiem katrai valodai atsevišķi — tie būtu vispraktiskākie ikdienas lietošanai. 30B modelis ir pārāk smagnējs. Varu pats mēģināt destilēt, bet man jaudas ir par mazu, lai to izdarītu kvalitatīvi. Nāktos konfigurēt ar QLoRA, 4-bit AWQ/GPTQ un bf16/fp16 un tik un tā apmācītu dienas 3-4.
Paldies, jau iepazinos ar EuroEval rezultātiem. Galvenā doma tomēr ir par 7B un 3B modeļiem katrai valodai atsevišķi — tie būtu vispraktiskākie ikdienas lietošanai. 30B modelis ir pārāk smagnējs. Varu pats mēģināt destilēt, bet man jaudas ir par mazu, lai to izdarītu kvalitatīvi. Nāktos konfigurēt ar QLoRA, 4-bit AWQ/GPTQ un bf16/fp16 un tik un tā apmācītu dienas 3-4.
Diskusijā iet runa par to kāds šis modelis ir un kam paredzēts. Šaubas ir par to vai no šī modeļa sanāktu jēdzīgs instruct tuned vispārējs čatbots (ja tāds bija Tavs jautājums), kur vēl izvilkt kādu no valodām. Cik man ir saprašana, šis ir tools trenēts bāzes modelis - valodas un teksta apstrāde, tulkošana un citi specifiski pielietojumi.
Paldies, jau iepazinos ar EuroEval rezultātiem. Galvenā doma tomēr ir par 7B un 3B modeļiem katrai valodai atsevišķi — tie būtu vispraktiskākie ikdienas lietošanai. 30B modelis ir pārāk smagnējs. Varu pats mēģināt destilēt, bet man jaudas ir par mazu, lai to izdarītu kvalitatīvi. Nāktos konfigurēt ar QLoRA, 4-bit AWQ/GPTQ un bf16/fp16 un tik un tā apmācītu dienas 3-4.
Diskusijā iet runa par to kāds šis modelis ir un kam paredzēts. Šaubas ir par to vai no šī modeļa sanāktu jēdzīgs instruct tuned vispārējs čatbots (ja tāds bija Tavs jautājums), kur vēl izvilkt kādu no valodām. Cik man ir saprašana, šis ir tools trenēts bāzes modelis - valodas un teksta apstrāde, tulkošana un citi specifiski pielietojumi.
Paldies par skaidrojumu, tagad pievēru uzmanību. Jautājums par 7B un 3B gan paliek spēkā. Spriešanu (reasoning), izpēti (research), plānošanu un citus sarežģītākus uzdevumus varu veikt ar citiem spējīgākiem modeļiem. Taču, lai lietotājiem sniegtu kvalitatīvas atbildes latviešu valodā, ir vajadzīgs kvalitatīvs, viegls modelis.
Destilēšanu var veikt - viss atkarīgs no mācīšanas. Skaidrs, ka 7B/3B nebūs tikpat labs kā 30B, bet ar papildu instrukcijām un pielāgošanu to var panākt līdz praktiski lietojamam līmenim.
Jebkurā gadījumā kā sākumā rakstīju - lieliski un pievienojos sveicējiem. Maziem soļiem uz priekšu!