Национальная языковая модель — это вопрос цифрового суверенитета, считают в Институте умных систем и искусственного интеллекта
В конце 2024 года в Казахстане появилась первая национальная языковая модель KazLLM, созданная для понимания и генерации текстов на казахском языке. Проект стал результатом совместной работы Института умных систем и искусственного интеллекта (ISSAI) при Назарбаев Университете и нескольких правительственных организаций.
С учетом стремительного развития генеративного ИИ во всем мире для страны было критически важно создать собственную базовую модель, адаптированную к национальным языковым, культурным и информационным реалиям, объясняет генеральный директор ISSAI Хуссейн Атакан Варол.
Как создавалась модель, кто будет ее использовать, станет ли она альтернативой ChatGPT — об этом Атакан Варол и его коллега по институту Ербол Абсалямов, занимающий должность исполнительного директора, рассказали Forbes Kazakhstan.
«Иностранные языковые модели, даже те, что могут говорить на казахском, не понимают реалий местного общества, тонкостей быта и традиций», — в начале разговора уточняет Абсалямов. По его словам, в мире ИИ языки не равны: глобальные модели в первую очередь обучаются на английском, китайском и других доминирующих языках. Это приводит к тому, что «меньшинства» рискуют оказаться в цифровой тени и сильной зависимости. Идея KazLLM родилась как раз из потребности Казахстана иметь свой голос в цифровом пространстве, отмечает исполнительный директор ISSAI. В то же время национальная языковая модель — это еще вопрос цифрового суверенитета, добавляет Атакан Варол.
«Понимая наши ограничения в вычислительных ресурсах, мы отказались от идеи обучать модель с нуля. Вместо этого адаптировали одну из передовых моделей с открытым исходным кодом и дообучили ее на высококачественных региональных данных», — раскрывает детали генеральный директор ISSAI.
Так, для обучения KazLLM было собрано порядка 150 млрд токенов (эквивалент 1,5 млн книг) на казахском, русском, английском и турецком языках, продолжает Абсалямов. Это огромный объем общедоступной информации — книги, статьи, сайты, социальные сети, документы.
Главная трудность заключалась в том, что казахский язык представлен в интернете в ограниченном объеме. «Нам пришлось делать масштабную работу по очистке, разметке и дополнению датасета. Мы использовали существующие источники, а также создавали собственные корпуса и данные», — говорит собеседник.
Другой вызов — лингвистическая сложность самого языка: он агглютинативный, с богатой морфологией, большим количеством форм слов. Это накладывает особые требования к токенизации, архитектуре модели и качеству данных, поясняет Абсалямов.
«Еще один вызов — этика. Как и любая LLM, KazLLM может генерировать токсичный или некорректный контент. Мы заложили в модель фильтры, разработали систему безопасности и постоянно проводим мониторинг», — рассказывает он. Это особенно важно, когда модель работает с чувствительными темами: историей, национальной идентичностью, межэтническими вопросами.
«В итоге мы выпустили две версии модели — KazLLM-8B и KazLLM-70B, где «8B» и «70В» — количество параметров в миллиардах, что вполне сопоставимо с ранними версиями LLaMA от Meta и другими открытыми LLM», — объясняет исполнительный директор ISSAI. Первая подходит для систем со средними ресурсами, вторая — для задач, требующих высокой вычислительной мощности.
«В итоге мы выпустили две версии модели — KazLLM-8B и KazLLM-70B, где «8B» и «70В» — количество параметров в миллиардах, что вполне сопоставимо с ранними версиями LLaMA от Meta и другими открытыми LLM», — объясняет исполнительный директор ISSAI. Первая подходит для систем со средними ресурсами, вторая — для задач, требующих высокой вычислительной мощности.
При этом государственные средства в разработке проекта не участвовали, уверяет он. Главным источником финансирования выступил Назарбаев Фонд, также были задействованы ресурсы частных компаний, заявляет собеседник.
В декабре 2024 года ISSAI передал разработку Министерству цифрового развития, инноваций и аэрокосмической промышленности (МЦРИАП), а именно в Astana Hub как основному заказчику. Сейчас ведомство проводит настройку модели для e-gov-сервисов, утверждает Абсалямов. Предполагается, что KazLLM станет основой для цифровых агентов в госсекторе.
Вместе с тем для полноценного развертывания модели пока не хватает вычислительных мощностей, сетует собеседник. К слову, в середине мая в Казахстан наконец прибыл суперкомпьютер, самый мощный в Центральной Азии, по данным МЦРИАП. «Уже в ближайшие месяцы можно ожидать запуск реальных кейсов — как в госсекторе, так и в бизнесе», — уверен Абсалямов.
Хотя проект еще не получил широкого распространения, интерес к нему уже большой. Особенно со стороны банков и финтехкомпаний. «Модель можно использовать в формате fine-tuning — адаптации под конкретные задачи. Допустим, банк может обучить KazLLM на своих данных, чтобы она понимала особенности его продуктов», — делится подробностями собеседник.
При этом коммерческое использование модели требует отдельного согласования. «На Hugging Face выложенные версии KazLLM — с 8 и 70 млрд параметров, доступны по лицензии, ограничивающей коммерческое применение. Для бизнес-использования модели условия обсуждаются индивидуально с Назарбаев Университетом и/или с Astana Hub», — поясняет Абсалямов. На данный момент несколько стартапов уже ведут переговоры о получении лицензии, отмечает он.
Тем временем команда ISSAI не остановилась только на KazLLM. В этом году она представила еще одну разработку — Oylan, мультимодальную модель, способную анализировать не только текст, но и изображения и аудио. «Это следующий уровень. Например, врач может загрузить МРТ-снимок — модель даст предварительную интерпретацию. Или спасатели смогут по спутниковым снимкам предсказывать зоны подтопления», — рассказывает Абсалямов.
И опять же он обращает внимание на важность цифровой независимости. «Когда ты используешь ChatGPT, ты не знаешь, куда уходит информация. Поэтому МЦРИАП и запретил госструктурам использовать иностранные модели. KazLLM и Oylan работают на наших серверах, данные остаются в стране. Это вопрос национальной безопасности», — подчеркивает он.
В свою очередь, KazLLM доказала, что передовые ИИ-модели могут разрабатываться внутри страны силами местных специалистов и институтов, замечает генеральный директор ISSAI. Это важный сигнал для экосистемы стартапов и академического сообщества: входной порог в сферу ИИ снижается, убежден Атакан Варол.
«В прошлом году, создав KazLLM, Казахстан вошел в топ-20 стран мира, которые своими силами создали собственную национальную большую языковую модель. В этом году, создав Oylan (language vision model), мы вошли в топ-10 стран», — утверждает Абсалямов.
В ближайшем же будущем ISSAI собирается создать модель мультимодального разреженного рассуждения, способную решать более сложные междисциплинарные задачи.
«На сегодняшний день такие модели есть, может быть, у трех-четырех стран в мире», — говорит исполнительны директор ISSAI.
«На сегодняшний день такие модели есть, может быть, у трех-четырех стран в мире», — говорит исполнительны директор ISSAI.
Однако подобного рода разработки требуют не только значительных вычислительных мощностей, но и целевых инвестиций, замечает Атакан Варол. «На данный момент мы сталкиваемся с ограниченными ресурсами и отсутствием стабильного финансирования ИИ-исследований в Казахстане», — вынужден констатировать он.
