ИИ без LLM: казахская модель с нуля
Создаём локальную модель для казахского текста: разбираем слова, проверяем источники и учимся отвечать «не знаю». Открыты первые пятнадцать уроков из запланированных 30.
·
Все уроки открыты: регистрация для чтения не нужна.
-
Прежде чем начать: ИИ без LLM
Мы построим маленькую программу для коротких вопросов о вымышленном учебном клубе. Она разберёт казахские слова, найдёт утверждённую запись и ответит по ней. Если записи нет, скажет «білмеймін» — «не знаю». Для обучения нужны компьютер и Python 3.10 или новее; установка подробно разобрана во втором уроке. Курс бесплатный, платный API и видеокарта не нужны.
-
Урок 1. Какую задачу решит наша модель
У учебного клуба есть расписание. Ученик спрашивает: «Сабақ қашан?» — «Когда занятие?» Представьте работника справочной: он сначала узнаёт, о каком занятии речь, затем смотрит утверждённую запись. Если записи нет, он не придумывает время.
-
Урок 2. Первый проверяемый шаг программы
Человек может посмотреть в расписание глазами. Программе нужно дать точное действие. Начнём с вывода одной утверждённой записи, чтобы отделить текст программы от её результата.
-
Урок 3. Где язык хранит грамматический смысл
Сравним мысль «к нашим домам». В ней есть дом, множество, принадлежность и направление. Грамматика — правила, по которым язык связывает эти значения. Морфология — часть грамматики об устройстве слов. Способ устройства слова называют его морфологическим типом; это преобладающий приём, а не ярлык для каждого слова.
-
Урок 4. Разбираем слово без догадок
Один и тот же смысл может появляться в разных словах. Чтобы программа узнала «дом» в үйде и үйлерде, она ищет основу: часть, от которой образованы формы. Остальные части сообщают дополнительные значения. Словарь основ — список известных программе основ и их значений.
-
Урок 5. Собираем ручную модель
Прежде чем доверить разбор программе, человек должен суметь выполнить его сам. Ручная модель — записанные шаги, по которым любой читатель получает тот же результат. Она помогает заметить пропущенное правило.
-
Урок 6. Читаем казахскую кириллицу без потерь
Если адрес на конверте переписать с заменой одной буквы, письмо попадёт не туда. Для модели үй и уй тоже разные записи. Прежде чем искать части слова, научим программу получать именно те знаки, которые ввёл человек.
-
Урок 7. Делим короткий вопрос на слова
Библиотекарь сначала раскладывает книги по отдельным карточкам, а потом ищет каждую. Так и модель: прежде чем узнавать основу, она должна отделить слова в вопросе. Токен здесь — одно полученное слово; разбиение — получение таких частей из строки.
-
Урок 8. Создаём словарь известных основ
Список гостей на входе помогает узнать, кого пригласили; похожее имя не даёт права впустить человека. Наш словарь основ — список форм, которые модель уже умеет узнавать. Пока мы подаём ей одну основу без окончаний. Слова үйлер и мектепте станут понятны позже.
-
Урок 9. Шесть форм одного показателя множества
В магазине одну и ту же вещь могут упаковать в коробки разных размеров. Значение «несколько» одно, а звучание части слова меняется ради соседних звуков. В казахском языке показатель множества имеет варианты -лар, -лер, -дар, -дер, -тар, -тер. Дефис здесь показывает границу частей при объяснении; в обычном слове дефиса нет.
-
Урок 10. Проверяем порядок частей слова
На почтовом конверте сначала пишут адрес, затем наклеивают марку; если поменять действия местами, привычная инструкция нарушится. В слове части тоже занимают места. Для нашего примера порядок таков: основа → множество → принадлежность → направление. Принадлежность отвечает на вопрос «чьи?»; направление — «к чему?». В казахском примере үй-лер-іміз-ге это «к нашим домам». Дефисы помогают увидеть части; пишут үйлерімізге.
-
Урок 11. Различаем «к нашим домам» и «в наших домах»
Представьте два билета: один ведёт к музею, другой разрешает находиться в музее. Надпись «музей» на них общая, но назначение разное. Казахское слово тоже может сохранять основу и принадлежность, меняя последнюю часть: үйлерімізге — «к нашим домам», үйлерімізде — «в наших домах».
-
Урок 12. Сохраняем несколько возможных значений
На двери может быть написано «зал»: без дополнительных сведений это может быть спортивный или концертный зал. У казахского ат тоже есть разные значения — «лошадь» и «имя». По одному слову нельзя честно выбрать одно. [Словарь казахского литературного языка](https://sozdikqor.kz/sozdik/?id=38) фиксирует оба значения.
-
Урок 13. Находим предмет вопроса
Если в библиотеке спросить «Когда открывается шахматный клуб?», библиотекарь сначала должен понять, о каком клубе речь. В нашей вымышленной учебной школе есть два названия занятий: Шахмат и Сурет («рисование»). Название, о котором спрашивают, назовём предметом вопроса. В программах его часто называют *сущностью*: это конкретный объект, который мы хотим найти в каталоге.
-
Урок 14. Узнаём, что именно спрашивают
Просьба «Шахмат қашан?» («Когда шахматы?») и «Шахмат қайда?» («Где шахматы?») относится к одному занятию, но требует разных записей. Тип вопроса, или *намерение*, — какую информацию хочет человек: время или место. Это ещё не сама информация. Как на бланке заказа: графа «что нужно» не равна готовому товару.
-
Урок 15. Просим уточнить вместо догадки
Кассир не выдаёт билет, если покупатель назвал два фильма и не выбрал сеанс. Он уточняет заказ. Наша модель тоже должна остановиться, когда неясно, о каком занятии или о каком виде сведений спрашивают. Отказ здесь означает «недостаточно проверенной информации для следующего шага», а не «ваш вопрос плохой».