Create README.md

README.md

@@ -0,0 +1,89 @@
+---
+inference: false
+language:
+- bg
+license: mit
+datasets:
+- oscar
+- chitanka
+- wikipedia
+tags:
+- torch
+---
+
+# PEGASUS BASE
+
+This model was pretrained on Bulgarian language. It was intorduced in [this paper](https://arxiv.org/pdf/1912.08777.pdf). 
+
+## Model description
+
+The training data is private Bulgarian squad data. 
+
+## Intended uses & limitations
+
+You can use the raw model for generation of question-answer pairs related with given Bulgarian text.
+
+### How to use
+
+Here is how to use this model in PyTorch:
+
+```python
+>>> from transformers import PegasusForConditionalGeneration, AlbertTokenizer
+>>>
+>>> model_id = "rmihaylov/pegasus-base-qag-bg"
+>>> model = PegasusForConditionalGeneration.from_pretrained(model_id)
+>>> tokenizer = AlbertTokenizer.from_pretrained(model_id)
+>>>
+>>> text = """Това, че някой може да заяви на най-силен глас исканията си, не означава те да бъдат удовлетворени, заяви Костадин Ангелов. 
+Той допълни, че приоритетите на властите са здравето, образование и спорта, давайки знак, че се търси разхлабване на мерките в болничните заведения, връщането на учениците в класните стаи и отварянето на обектите за масов спорт.
+"""
+>>>
+>>> inputs = tokenizer.encode_plus(
+>>>     text, 
+>>>     return_tensors='pt', 
+>>>     truncation=True, 
+>>>     max_length=512, 
+>>>     return_token_type_ids=False, 
+>>>     return_attention_mask=True)
+>>> 
+>>> outputs = model.generate(**inputs,                          
+>>>     max_length=150, 
+>>>     top_p=0.95, 
+>>>     top_k=20, 
+>>>     do_sample=True, 
+>>>     num_return_sequences=10, 
+>>>     num_beams=1,
+>>>     eos_token_id=50259,
+>>>     decoder_start_token_id=50257,
+>>>     return_dict_in_generate=True,
+>>>     output_scores=True)
+>>> 
+>>> for g in outputs.sequences:
+>>>   text_gen = tokenizer.decode(g, skip_special_tokens=False)
+>>> 
+>>>   if ('[SEP]' not in text_gen) or ('[MASK]' not in text_gen) or ('[CLS]' not in text_gen):
+>>>     continue
+>>> 
+>>>   question, answer = text_gen.replace('[CLS]', '').strip().split('[SEP]')
+>>>   answer = answer.split('[MASK]')[0].strip()
+>>>   
+>>>   if (not answer) or (answer not in text) or (len(answer) <= 1):   
+>>>     continue
+>>> 
+>>> print(f'{question.strip()}\n{answer.strip()}', '\n\n')
+
+Какво трябва да се предприеме, за да се случи?
+разхлабване 
+
+
+Какви са приоритетите на управляващите?
+здравето, образование и спорта, 
+
+
+Какви усилия има правителството за стимулиране на раждаемостта?
+разхлабване на мерките 
+
+
+Какъв е основният проблем, който може да реши?
+образование 
+```