Spaces:
Sleeping
Sleeping
Commit
·
ea8a569
1
Parent(s):
27cd89f
Update app.py
Browse files
app.py
CHANGED
|
@@ -1,4 +1,4 @@
|
|
| 1 |
-
from annotated_text import annotated_text
|
| 2 |
from razdel import tokenize
|
| 3 |
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
|
| 4 |
import streamlit as st
|
|
@@ -156,8 +156,8 @@ def label_text(text):
|
|
| 156 |
new_tuple = (tuple_first, tuple_second)
|
| 157 |
modified_output.append(new_tuple)
|
| 158 |
else:
|
| 159 |
-
return st.markdown("<p id = 'warning'>PLEASE INSERT YOUR TEXT
|
| 160 |
-
return modified_output
|
| 161 |
|
| 162 |
#########################
|
| 163 |
#### CREATE SIDEBAR #####
|
|
@@ -166,46 +166,120 @@ def label_text(text):
|
|
| 166 |
with open("style.css") as f:
|
| 167 |
css = f.read()
|
| 168 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 169 |
st.sidebar.markdown(f'<style>{css}</style>', unsafe_allow_html = True)
|
| 170 |
|
| 171 |
-
|
| 172 |
-
st.sidebar.markdown("<
|
| 173 |
-
|
| 174 |
-
|
| 175 |
-
with st.sidebar.expander("
|
| 176 |
-
with st.sidebar.expander("
|
| 177 |
-
with st.sidebar.expander("
|
| 178 |
-
with st.sidebar.expander("
|
| 179 |
-
with st.sidebar.expander("
|
| 180 |
-
with st.sidebar.expander("
|
| 181 |
-
with st.sidebar.expander("
|
| 182 |
-
with st.sidebar.expander("
|
| 183 |
-
with st.sidebar.expander("
|
| 184 |
-
with st.sidebar.expander("
|
| 185 |
-
with st.sidebar.expander("
|
| 186 |
-
with st.sidebar.expander("
|
| 187 |
-
with st.sidebar.expander("
|
| 188 |
-
with st.sidebar.expander("
|
| 189 |
-
with st.sidebar.expander("
|
| 190 |
-
with st.sidebar.expander("
|
| 191 |
-
with st.sidebar.expander("
|
| 192 |
-
with st.sidebar.expander("
|
| 193 |
-
with st.sidebar.expander("
|
| 194 |
-
with st.sidebar.expander("
|
| 195 |
-
with st.sidebar.expander("
|
| 196 |
-
with st.sidebar.expander("
|
| 197 |
-
with st.sidebar.expander("
|
| 198 |
-
with st.sidebar.expander("
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 199 |
|
| 200 |
######################
|
| 201 |
#### CREATE FORM #####
|
| 202 |
######################
|
| 203 |
|
| 204 |
text_field = st.form(key = 'text_field')
|
| 205 |
-
|
| 206 |
-
|
| 207 |
-
|
| 208 |
-
st.markdown('Press **Submit** to have your text labelled')
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 209 |
|
| 210 |
if submit:
|
| 211 |
-
|
|
|
|
| 1 |
+
from annotated_text import annotated_text, parameters, annotation
|
| 2 |
from razdel import tokenize
|
| 3 |
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
|
| 4 |
import streamlit as st
|
|
|
|
| 156 |
new_tuple = (tuple_first, tuple_second)
|
| 157 |
modified_output.append(new_tuple)
|
| 158 |
else:
|
| 159 |
+
return st.markdown("<p id = 'warning'>EN: PLEASE INSERT YOUR TEXT<br>ҚАЗ: МӘТІНДІ ОРНАЛАСТЫРЫҢЫЗ<br>РУС: ВСТАВЬТЕ ТЕКСТ</p>", unsafe_allow_html = True)
|
| 160 |
+
return annotated_text(modified_output)
|
| 161 |
|
| 162 |
#########################
|
| 163 |
#### CREATE SIDEBAR #####
|
|
|
|
| 166 |
with open("style.css") as f:
|
| 167 |
css = f.read()
|
| 168 |
|
| 169 |
+
languages = ['🇬🇧', '🇰🇿', '🇷🇺']
|
| 170 |
+
|
| 171 |
+
language = st.sidebar.radio("", options = languages, horizontal = True)
|
| 172 |
+
|
| 173 |
st.sidebar.markdown(f'<style>{css}</style>', unsafe_allow_html = True)
|
| 174 |
|
| 175 |
+
if language == languages[0]:
|
| 176 |
+
st.sidebar.markdown("<h1>Kazakh NER</h1>", unsafe_allow_html = True)
|
| 177 |
+
st.sidebar.markdown("<h2>Named entity classes</h2>", unsafe_allow_html = True)
|
| 178 |
+
|
| 179 |
+
with st.sidebar.expander("ADAGE"): st.write("Well-known Kazakh proverbs and sayings")
|
| 180 |
+
with st.sidebar.expander("ART"): st.write("Titles of books, songs, television programmes, etc.")
|
| 181 |
+
with st.sidebar.expander("CARDINAL"): st.write("Cardinal numbers, including whole numbers, fractions, and decimals")
|
| 182 |
+
with st.sidebar.expander("CONTACT"): st.write("Addresses, emails, phone numbers, URLs")
|
| 183 |
+
with st.sidebar.expander("DATE"): st.write("Dates or periods of 24 hours or more")
|
| 184 |
+
with st.sidebar.expander("DISEASE"): st.write("Diseases or medical conditions")
|
| 185 |
+
with st.sidebar.expander("EVENT"): st.write("Named events and phenomena")
|
| 186 |
+
with st.sidebar.expander("FACILITY"): st.write("Names of man-made structures")
|
| 187 |
+
with st.sidebar.expander("GPE"): st.write("Names of geopolitical entities")
|
| 188 |
+
with st.sidebar.expander("LANGUAGE"): st.write("Named languages")
|
| 189 |
+
with st.sidebar.expander("LAW"): st.write("Named legal documents")
|
| 190 |
+
with st.sidebar.expander("LOCATION"): st.write("Names of geographical locations other than GPEs")
|
| 191 |
+
with st.sidebar.expander("MISCELLANEOUS"): st.write("Entities of interest but hard to assign a proper tag to")
|
| 192 |
+
with st.sidebar.expander("MONEY"): st.write("Monetary values")
|
| 193 |
+
with st.sidebar.expander("NON_HUMAN"): st.write("Names of pets, animals or non-human creatures")
|
| 194 |
+
with st.sidebar.expander("NORP"): st.write("Adjectival forms of GPE and LOCATION; named religions, etc.")
|
| 195 |
+
with st.sidebar.expander("ORDINAL"): st.write("Ordinal numbers, including adverbials")
|
| 196 |
+
with st.sidebar.expander("ORGANISATION"): st.write("Names of companies, government agencies, etc.")
|
| 197 |
+
with st.sidebar.expander("PERCENTAGE"): st.write("Percentages")
|
| 198 |
+
with st.sidebar.expander("PERSON"): st.write("Names of persons")
|
| 199 |
+
with st.sidebar.expander("POSITION"): st.write("Names of posts and job titles")
|
| 200 |
+
with st.sidebar.expander("PRODUCT"): st.write("Names of products")
|
| 201 |
+
with st.sidebar.expander("PROJECT"): st.write("Names of projects, policies, plans, etc.")
|
| 202 |
+
with st.sidebar.expander("QUANTITY"): st.write("Length, distance, etc. measurements")
|
| 203 |
+
with st.sidebar.expander("TIME"): st.write("Times of day and time duration less than 24 hours")
|
| 204 |
+
|
| 205 |
+
elif language == languages[1]:
|
| 206 |
+
st.sidebar.markdown("<h1>Атаулы мәндерді анықтау</h1>", unsafe_allow_html = True)
|
| 207 |
+
st.sidebar.markdown("<h2>Атаулы мән түрлері</h2>", unsafe_allow_html = True)
|
| 208 |
+
|
| 209 |
+
with st.sidebar.expander("ADAGE >> НАҚЫЛ СӨЗ"): st.write("Қазақ мақал-мәтелдері")
|
| 210 |
+
with st.sidebar.expander("ART >> ТУЫНДЫ"): st.write("Өнер туындылары, теледидар бағдарламалары, ғылыми мәтіндер атаулары")
|
| 211 |
+
with st.sidebar.expander("CARDINAL >> ЕСЕПТІК САН"): st.write("Бүтін сандар мен (ондық) бөлшектер")
|
| 212 |
+
with st.sidebar.expander("CONTACT >> БАЙЛАНЫС ДЕРЕКТЕРІ"): st.write("Мекенжайлар, телефон нөмірлері, сілтемелер және электрондық пошта адрестері")
|
| 213 |
+
with st.sidebar.expander("DATE >> ДАТА"): st.write("Даталар, күндер, апталар, айлар, атауы бар белгілі кезеңдер, мезгілдер, жылдар")
|
| 214 |
+
with st.sidebar.expander("DISEASE >> АУРУ"): st.write("Ауру немесе бұзылу атаулары")
|
| 215 |
+
with st.sidebar.expander("EVENT >> ОҚИҒА"): st.write("Атауы бар оқиғалар мен табиғи құбылыстар")
|
| 216 |
+
with st.sidebar.expander("FACILITY >> ҚҰРЫЛЫС"): st.write("Адам қолымен жасалынған құрылымдардың атаулары")
|
| 217 |
+
with st.sidebar.expander("GPE >> ГӘС"): st.write("Географиялық әкімшілік бірліктерінің атаулары")
|
| 218 |
+
with st.sidebar.expander("LANGUAGE >> ТІЛ"): st.write("Тіл атаулары")
|
| 219 |
+
with st.sidebar.expander("LAW >> ЗАҢ"): st.write("Заңдастырылған құжаттар атаулары")
|
| 220 |
+
with st.sidebar.expander("LOCATION >> МЕКЕН"): st.write("GPE атаулы мәніне жатпайтын географиялық нысандардың атаулары")
|
| 221 |
+
with st.sidebar.expander("MISCELLANEOUS >> АРАЛАС"): st.write("Атаулы мәнді анықтауға қиыншылық тудыратын сөздер, фразалар")
|
| 222 |
+
with st.sidebar.expander("MONEY >> АҚША БІРЛІГІ"): st.write("Құрамында сан және ақша бірлігі айқын берілген фразалар.")
|
| 223 |
+
with st.sidebar.expander("NON_HUMAN >> АДАМ ЕМЕС"): st.write("Жануарлардың және ойдан шығарылған жануар-кейіпкерлердің лақап аттары")
|
| 224 |
+
with st.sidebar.expander("NORP >> ҰДСҚ"): st.write("GPE және LOCATION атаулы мәндеріне қатыстылықты білдіретін сөздер")
|
| 225 |
+
with st.sidebar.expander("ORDINAL >> РЕТТІК САН"): st.write("Реттік сандар және реттік сандардан құрылған сын есімдер мен қыстырма сөздер")
|
| 226 |
+
with st.sidebar.expander("ORGANISATION >> ҰЙЫМ"): st.write("Ұйым атаулары")
|
| 227 |
+
with st.sidebar.expander("PERCENTAGE >> ПАЙЫЗ"): st.write("Құрамында сан және пайыз, процент сөздері немесе % белгісі бар фразалар")
|
| 228 |
+
with st.sidebar.expander("PERSON >> АДАМ"): st.write("Адам есімі, фамилиясы, әкесінің аты")
|
| 229 |
+
with st.sidebar.expander("POSITION >> ОРЫН"): st.write("Адамның белгілі бір ұйымның иерархиялық жүйесіндегі орны немесе атқаратын қызметі")
|
| 230 |
+
with st.sidebar.expander("PRODUCT >> ӨНІМ"): st.write("Өнім атаулары")
|
| 231 |
+
with st.sidebar.expander("PROJECT >> ЖОБА"): st.write("Жобалар, жоспарлар, бастамалар, стратегиялардың атаулары")
|
| 232 |
+
with st.sidebar.expander("QUANTITY >> ӨЛШЕМ"): st.write("Құрамында сан және өлшем бірлігі айқын берілген фразалар")
|
| 233 |
+
with st.sidebar.expander("TIME >> УАҚЫТ"): st.write("Бір тәуліктен қысқа кезеңдер")
|
| 234 |
+
|
| 235 |
+
elif language == languages[2]:
|
| 236 |
+
st.sidebar.markdown("<h1>Распознавание именованных сущностей</h1>", unsafe_allow_html = True)
|
| 237 |
+
st.sidebar.markdown("<h2>Именованные сущности</h2>", unsafe_allow_html = True)
|
| 238 |
+
|
| 239 |
+
with st.sidebar.expander("ADAGE >> ПОСЛОВИЦА"): st.write("Известные казахские пословицы и поговорки")
|
| 240 |
+
with st.sidebar.expander("ART >> ИСКУССТВО"): st.write("Названия книг, песен, телевизионных и радиопрограмм и др.")
|
| 241 |
+
with st.sidebar.expander("CARDINAL >> КОЛИЧ. ЧИСЛ."): st.write("Количественные числительные (целые числа, дроби и десятичные дроби)")
|
| 242 |
+
with st.sidebar.expander("CONTACT >> КОНТ. ДАННЫЕ"): st.write("Адреса, номера телефонов, URL-адреса и др")
|
| 243 |
+
with st.sidebar.expander("DATE >> ДАТА"): st.write("Даты или периоды, продолжительность которых составляет 24 часа и более")
|
| 244 |
+
with st.sidebar.expander("DISEASE >> БОЛЕЗНЬ"): st.write("Названия болезней, заболеваний, различных расстройств и недомоганий")
|
| 245 |
+
with st.sidebar.expander("EVENT >> СОБЫТИЕ"): st.write("Названия мероприятий и природных явлений")
|
| 246 |
+
with st.sidebar.expander("FACILITY >> СООРУЖЕНИЕ"): st.write("Названия зданий и сооружений, созданных руками человека")
|
| 247 |
+
with st.sidebar.expander("GPE >> ГПС"): st.write("Названия геополитических объектов")
|
| 248 |
+
with st.sidebar.expander("LANGUAGE >> ЯЗЫК"): st.write("Наименования и самоназвания языков")
|
| 249 |
+
with st.sidebar.expander("LAW >> ЗАКОН"): st.write("Наименования юридических документов")
|
| 250 |
+
with st.sidebar.expander("LOCATION >> МЕСТО"): st.write("Названия географических местоположений, отличных от GPE")
|
| 251 |
+
with st.sidebar.expander("MISCELLANEOUS >> РАЗНОЕ"): st.write("Сущности, представляющие сложность при классификации")
|
| 252 |
+
with st.sidebar.expander("MONEY >> ДЕНЬГИ"): st.write("Номинал и наименования денежных единиц")
|
| 253 |
+
with st.sidebar.expander("NON_HUMAN >> НЕЧЕЛОВЕК"): st.write("Имена и клички домашних животных, зверей, вымышленных созданий")
|
| 254 |
+
with st.sidebar.expander("NORP >> НОРП"): st.write("Прилагательные, образованные от сущностей GPE и LOCATION")
|
| 255 |
+
with st.sidebar.expander("ORDINAL >> ПОРЯД. ЧИСЛ."): st.write("Порядковые числительные")
|
| 256 |
+
with st.sidebar.expander("ORGANISATION >> ОРГАНИЗАЦИЯ"): st.write("Наименования компаний, правительственных учреждений и т. д.")
|
| 257 |
+
with st.sidebar.expander("PERCENTAGE >> ПРОЦЕНТ"): st.write("Обозначение процентных соотношений")
|
| 258 |
+
with st.sidebar.expander("PERSON >> ЧЕЛОВЕК"): st.write("Имена людей")
|
| 259 |
+
with st.sidebar.expander("POSITION >> ДОЛЖНОСТЬ"): st.write("Наименования должностей")
|
| 260 |
+
with st.sidebar.expander("PRODUCT >> ПРОДУКТ"): st.write("Названия продуктов/изделий различных видов производства")
|
| 261 |
+
with st.sidebar.expander("PROJECT >> ПРОЕКТ"): st.write("Наименования проектов, планов, стратегий, кампаний, референдумов и др")
|
| 262 |
+
with st.sidebar.expander("QUANTITY >> ВЕЛИЧИНА"): st.write("Наименования единиц измерения (длина, расстояние, вес, напряжение, др.)")
|
| 263 |
+
with st.sidebar.expander("TIME >> ВРЕМЯ"): st.write("Обозначение времени, продолжительность которого менее 24 часов")
|
| 264 |
+
|
| 265 |
|
| 266 |
######################
|
| 267 |
#### CREATE FORM #####
|
| 268 |
######################
|
| 269 |
|
| 270 |
text_field = st.form(key = 'text_field')
|
| 271 |
+
if language == languages[0]:
|
| 272 |
+
form_text = text_field.text_input('Insert your text here')
|
| 273 |
+
submit = text_field.form_submit_button('Submit')
|
| 274 |
+
st.markdown('Press **Submit** to have your text labelled')
|
| 275 |
+
elif language == languages[1]:
|
| 276 |
+
form_text = text_field.text_input('Мәтінді орналастырыңыз')
|
| 277 |
+
submit = text_field.form_submit_button('Анықтау')
|
| 278 |
+
st.markdown('Мәтінді белгілеу үшін **Анықтау** батырмасын басыңыз')
|
| 279 |
+
elif language == languages[2]:
|
| 280 |
+
form_text = text_field.text_input('Вставьте текст')
|
| 281 |
+
submit = text_field.form_submit_button('Распознать')
|
| 282 |
+
st.markdown('Нажмите кнопку **Распознать**, чтобы разметить текст')
|
| 283 |
|
| 284 |
if submit:
|
| 285 |
+
label_text(form_text)
|