Міністерство цифрової трансформації разом із Київстаром визначили Gemma 3 від Google як опорну модель для навчання національної великої мовної моделі.
Технічні можливості Gemma 3
Gemma 3 підтримує близько 140 мов, серед яких є українська. Модель розрахована на роботу з довгими контекстами — до 128 000 токенів — і має мультимодальні функції, що дозволяють опрацьовувати не лише текст, а й зображення.
Налаштування під українську
Планують адаптувати модель до специфіки української: модернізувати токенайзер для кращого розпізнавання слів, донавчити на унікальних україномовних корпусах і створити власні тестові набори для оцінки якості.
Раніше Gemma застосовували в українських проєктах, зокрема Lapa LLM та MamayLM, а також у розробці болгарської моделі BgGPT.
Окрім того, чат-бот Дія.AI планують перевести з Gemini на національну мовну модель. В Україні також сформували команду, яка працюватиме над створенням власної великої мовної моделі.
