Sintetinių lygiagrečių tekstynų sukūrimas Pasibaigęs

1. 2021 m. vasario 12 d. Europos Parlamento ir Tarybos reglamentas (ES) 2021/241, kuriuo nustatoma Ekonomikos gaivinimo ir atsparumo didinimo priemonė;
2. Ekonomikos gaivinimo ir atsparumo didinimo planas „Naujos kartos Lietuva“, patvirtintas 2021 m. liepos 28 d. Tarybos įgyvendinimo sprendimu dėl Lietuvos ekonomikos gaivinimo ir atsparumo didinimo plano įvertinimo patvirtinimo (toliau – NKL planas);
3. 2021–2027 metų Europos Sąjungos fondų investicijų programos ir Ekonomikos gaivinimo ir atsparumo didinimo plano „Naujos kartos Lietuva“ administravimo taisyklės, patvirtintos Lietuvos Respublikos finansų ministro 2022 m. birželio 22 d. įsakymu Nr. 1K-237 „Dėl 2021–2027 metų Europos Sąjungos fondų investicijų programos ir Ekonomikos gaivinimo ir atsparumo didinimo plano „Naujos kartos Lietuva“ įgyvendinimo“;
4. Projektų administravimo ir finansavimo taisyklės, patvirtintos Lietuvos Respublikos finansų ministro 2022 m. birželio 22 d. įsakymu Nr. 1K-237 „Dėl 2021–2027 metų Europos Sąjungos fondų investicijų programos ir Ekonomikos gaivinimo ir atsparumo didinimo plano „Naujos kartos Lietuva“ įgyvendinimo“ (toliau – Projektų administravimo ir finansavimo taisyklės)

1. Lietuvos Respublikos mokslo ir studijų įstatymas;
2. Lietuvos Respublikos valstybinės kalbos įstatymas;
3. Lietuvos Respublikos technologijų ir inovacijų įstatymas;
4. Lietuvos Respublikos Seimo 2020 m. spalio 13 d. nutarimas Nr. XIII-3324 „Dėl Lietuvių kalbos plėtros skaitmeninėje terpėje ir kalbos technologijų pažangos 2021–2027 metų gairių patvirtinimo“;
5. 2021–2030 metų nacionalinis pažangos planas, patvirtintas Lietuvos Respublikos Vyriausybės 2020 m. rugsėjo 9 d. nutarimu Nr. 998 „Dėl 2021–2030 metų nacionalinio pažangos plano patvirtinimo“;
6. 2021–2030 metų Lietuvos Respublikos ekonomikos ir inovacijų ministerijos valstybės skaitmeninimo plėtros programa, patvirtinta Lietuvos Respublikos Vyriausybės 2021 m. lapkričio 17 d. nutarimu Nr. 971 „Dėl 2021–2030 metų Lietuvos Respublikos ekonomikos ir inovacijų ministerijos valstybės skaitmeninimo plėtros programos patvirtinimo“ (toliau – Programa).

Pagal Aprašą remiama veikla – kalbinių išteklių dirbtinio intelekto technologijų sprendimų poreikiams plėtra. Projektui „Sintetinių lygiagrečių tekstynų sukūrimas“ įgyvendinti skiriama iki 660 000 Eur ( šešių šimtų šešiasdešimt tūkstančių eurų) Ekonomikos gaivinimo ir atsparumo didinimo priemonės lėšų ir iki 138 600 Eur ( šimto trisdešimt aštuonių tūkstančių šešių šimtų eurų) Lietuvos Respublikos valstybės biudžeto lėšų, skirtų netinkamam pridėtinės vertės mokesčiui (toliau – PVM) apmokėti. PVM gali būti finansuojamas tik Projektų administravimo ir finansavimo taisyklių VII skyriaus 4 skirsnyje nustatyta tvarka.
Galimas pareiškėjas: Informacinės visuomenės plėtros komitetas.
Privalomi techniniai reikalavimai tekstynui:
1. Sintetinio tekstyno kūrimas prasideda nuo neuroninio mašininio vertimo sistemos (toliau - NMVS) treniravimo lygiagretaus tekstyno analizės. Pasirenkama kalbų pora. Situacijos analizei pasirenkama fleksinė kalba, šiuo atveju lietuvių. Iš lietuviškosios tekstyno dalies ekstrahuojamas įvardintųjų esybių (toliau - ĮE) sąrašas. Išrenkami gerai tekstyne reprezentuojamų ĮE kontekstai sakinių lygyje. ĮE sąrašas kategorizuojamas. Iš šių išsirinktų kontekstinių sakinių konstruojami atskiri kontekstiniai šablonai, individualūs kiekvienai ĮE kategorijai, pvz. miestų, upių pavadinimų ar pavardžių kontekstiniai šablonai. Vienas šablonas – tai du lygiagretūs sakiniai su pakeitimams numatytomis vietomis. Kontekstiniai šablonai turi apimti visas ĮE gramatines formas (linksnius), o taip pat visų į šabloną parinktų lietuviškų sakinių vertimus į kitą kalbą. Visi šie šablonai lingvistiškai anotuojami.
2. Antrajame etape konstruojamas norimų įterpti į NMVS ĮE sąrašas, atsižvelgiant į iš treniravimo tekstyno ekstrahuotą sąrašą. Įterpimo sąrašas išplečiamas visomis galimomis ĮE gramatinėmis formomis. Šis sąrašas dvikalbis, jis taip pat analogiškai lingvistiškai anotuojamas ir suskirstomas į kategorijas, atitinkančias paruoštų kontekstinių šablonų kategorijas.
3. Trečiajame etape užpildomi kontekstiniai šablonai. Jie automatiškai pildomi pagal kategorijas, keičiant šablonų esančią ĮE kita įvardijama esybe iš įterpimo sąrašo su atitinkama anotavimo žyma. Iš treniravimo tekstyno kuriami šablonai po įterpimo į vertimo sistemą minimaliai paveikia vektorinę vertimo sistemos struktūrą, todėl sistemą tokiu metodu galima papildyti dideliu kiekiu įvardintųjų esybių (ar įvairių sričių terminų). Užpildytų šablonų visuma sudaro sintetinį lygiagretųjį tekstyną, kuris naudojamas NMVS treniravimui.
4. Analogiški veiksmai atliekami sintezuojant medicinos terminų tekstynus. Kategorizuojant medicinos terminus naudojama SNOMED CT medicininė ontologija. Kategorizuojant sukuriami vienodo hierarchinio lygio terminų klasteriai. Reprezentatyviausių treniravimo tekstyne esančių klasterio terminų konteksto pagrindu kuriami atitinkami kontekstiniai šablonai. Trūkstant informacijos, šablonai gali būti kuriami pagal analogiško, tačiau klasteriui nepriklausančio termino kontekstą, esantį treniravimo tekstyne.
5. Tokie sintetiniai tekstynai visų pirma turėtų būti kuriami anglų ir lietuvių kalboms. Kitoms poroms aktualumas yra mažesnis, o medicininių terminų pridėjimas yra gana keblus.
6. Reikalavimai tekstyno apimčiai:
6.1. Turi apimti tris kalbų poras (LT-EN, LT-FR, LT-DE), kiekvienai kalbai sintezuojant ne mažiau kaip 1 mln. lygiagrečių sakinių.
6.2. Kiekvienai kalbų porai turi būti paruošiamos ne mažiau kaip 20 000 įvardintų esybių naudojant ne mažiau 50 kontekstinių šablonų, skirtingų kiekvienai įvardintų esybių kategorijai (ne mažiau 10 kategorijų).
6.3. Sintetinės lygiagrečių sakinių poros su įterptais medicininiais terminai sudaromos tik LT-EN kalbų porai, įterptų terminų skaičius – ne mažiau 1 000 vnt.
6.4. Ne didesnis nei 0,5% rašybos klaidų lygis.
Dokumentavimo reikalavimai:
• turi detaliai apibūdinti Tekstyno struktūra, jo sudarymo ir anotavimo metodikos;
• aprašytos anotacijos ir jų reikšmė;
• pateikta detali statistika įvairiais pjūviais;
• sukurtam produktui turi būti taikomas detaliai dokumentuotas tarptautinis metaduomenų standartas. (pvz., Data Catalog Vocabulary (DCAT) https://www.w3.org/TR/vocab-dcat-3/, Dublin Core Metadata Element Set (DCMES) https://www.dublincore.org/specifications/dublin-core/dces/, The Component Metadata Initiative (CMDI) https://media.dwds.de/clarin/userguide/text/metadata_CMDI.xhtml arba analogiški).
Teisiniai reikalavimai projektui:
Kuriant visus produktus (rezultatus) privalu laikytis:
• autorių ir gretutines teises reguliuojančių Lietuvos ir ES teisės aktų;
• duomenų apsaugą reguliuojančių Lietuvos ir ES teisės aktų;
• dirbtinio intelekto sistemoms rengiamų mokymo duomenų kokybę reguliuojančių Lietuvos ir Europos teisės aktų;
• Lietuvos ir Europos Sąjungos teisės aktų, reguliuojančių atvirų duomenų formavimo ir skelbimo principus. (ES direktyva dėl atvirųjų duomenų ir viešojo sektoriaus informacijos pakartotinio naudojimo BDAR (EUR-Lex - 32016R0679 - EN - EUR-Lex (europa.eu)) https://eur-lex.europa.eu/legal-content/EN/TXT/?qid=1561563110433&uri=CELEX:32019L1024).
Kuriant visus produktus (rezultatus) rekomenduojama atsižvelgti į naujai ruošiamą dirbtinio intelekto aktą (EUR-Lex - 52021PC0206 - EN - EUR-Lex (europa.eu)).
Turi būti parengta ištekliaus naudojimo licencija, kuri užtikrina atvirą ir nemokamą prieigą prie ištekliaus.
Visi surinkti tekstyno įrašai turi turėti atitinkamas licencijas. Tekstynas privalo būti pasiekiamas Lietuvos atvirų duomenų portale (data.gov.lt) ir ne mažiau nei per vieną atviros prieigos platformą (pvz., „Hugging Face“, CLARIN ar kt.) bei prieinamas nemokamai.

Projektas turi atitikti bendruosius projektų atrankos kriterijus, nustatytus Projektų administravimo ir finansavimo taisyklių 2 priede.
Projekto komunikacijos ir informavimo veiksmai atliekami vadovaujantis Projektų administravimo ir finansavimo taisyklių VIII skyriaus „Kiti projektų reikalavimai“ pirmojo skirsnio „Informavimas apie projektą ir komunikaciją“ nuostatomis.
Projektų atranka atliekama valstybės planavimo būdu.
Pagal Aprašą partneriai – nėra galimi.

Neutralus – projektas negali daryti neigiamo poveikio horizontaliesiems principams.
Projekto įgyvendinimo metu neturi būti pažeidžiami HP: darnaus vystymosi, įskaitant reikšmingos žalos nedarymo principą; lygių galimybių ir nediskriminavimo (dėl lyties, rasės, tautybės, pilietybės, kalbos, kilmės, socialinės padėties, tikėjimo, religijos ar įsitikinimų, pažiūrų, amžiaus, lytinės orientacijos, etninės priklausomybės, negalios ar kt.), įskaitant prieinamumo visiems reikalavimo užtikrinimą (paslaugų, infrastruktūros, fizinės ar e. aplinkos sprendimai, informacijos, transporto prieinamumo ir pan.); inovatyvumo (kūrybingumo). Projekte neturi būti numatyta veiksmų, kurie turėtų neigiamą poveikį įgyvendinant HP.
Projektų atitikties Reikšmingos žalos nedarymo horizontaliajam principui vertinimo reikalavimų aprašas pateikiamas Aprašo 1 priede.
Veikla, vadovaujantis Europos Komisijos 2021 m. vasario 12 d. patvirtintomis Reikšmingos žalos nedarymo principo taikymo pagal Ekonomikos atsparumo ir didinimo priemonės reglamentą techninėmis gairėmis, atitinka reikšmingos žalos nedarymo principą, nes neturi neigiamo numatomo poveikio 6 aplinkos tikslams, nurodytiems 2020 m. birželio 18 d. Europos Parlamento ir Tarybos reglamento (ES) Nr. 2020/852 dėl sistemos tvariam investavimui palengvinti sukūrimo, kuriuo iš dalies keičiamas Reglamentas (ES) 2019/2088, 17 straipsnyje arba numatomas jų poveikis yra nereikšmingas, t. y. nedaro tiesioginio ir pirminio netiesioginio poveikio per visą gyvavimo ciklą.
Projektas neturi pažeisti Chartijos pagrindinių teisių: orumo; asmenų, privataus ir šeimos gyvenimo, sąžinės ir saviraiškos laisvės; asmens duomenų; prieglobsčio ir apsaugos perkėlimo, išsiuntimo ar išdavimo atvejų; teisių į nuosavybę ir teisių užsiimti verslu; lyčių lygybės, vienodo požiūrio ir lygių galimybių, nediskriminavimo ir neįgaliųjų teisių; vaiko teisių; gerojo administravimo, veiksmingos teisinės gynybos, teisingumo; solidarumo ir darbuotojų teisių; aplinkos apsaugos.

3 metai po projekto įgyvendinimo pabaigos privaloma viešinti projekto įgyvendinimo rezultatus, siekiant užtikrinti sukurtų išteklių populiarinimą.

Projekto veiklos turi būti įgyvendintos iki 2026 m. balandžio 30 d.

Projektų bendrieji atrankos kriterijai nurodyti Projektų administravimo ir finansavimo taisyklių 2 priede. https://esinvesticijos.lt/dokumentai/projektu-bendruju-atrankos-kriteriju-sarasas-ir-ju-vertinimo-metodika-3

-

Parengtas PĮP (su visais privalomais priedais) teikiamas per 2021-2027 m. Duomenų mainų svetainę (DMS) adresu https://dms.investis.lt. Kilus klausimams kreiptis į nurodytą kvietime atsakingą už kvietimą asmenį.

9 priedas: dokumentai ir informacija, pagrindžiantys projekto išlaidų pagrįstumą (pvz., sudarytų sutarčių kopijos, komerciniai pasiūlymai), taip pat pateikiamos nuorodos į rinkoje esančias kainas (pvz., Centrinėje viešųjų pirkimų informacinėje sistemoje) 10 priedas: dokumentai, pagrindžiantys darbo užmokesčio išlaidų pagrįstumą (veiklų sąrašą, kuriame būtų nurodytos projektą vykdančių asmenų darbo pagal projektą valandos, įkainis (valandinis arba mėnesinis), jo pagrindimas). 11 priedas: darbo užmokesčio pažyma (Aprašo 3 priedas)