Прежде чем начать: ИИ без LLM

Мы построим маленькую программу для коротких вопросов о вымышленном учебном клубе. Она разберёт казахские слова, найдёт утверждённую запись и ответит по ней. Если записи нет, скажет «білмеймін» — «не знаю». Для обучения нужны компьютер и Python 3.10 или новее; установка подробно разобрана во втором уроке. Курс бесплатный, платный API и видеокарта не нужны.

Как языки выражают один смысл

Представьте мысль «к нашим домам»: дом, несколько домов, наши, движение к ним. В разных языках эти части смысла размещены по-разному. Грамматика — правила такого размещения; морфология — правила устройства слов. Названия ниже описывают преобладающий способ, а не каждое слово языка.

• Аналитический способ напоминает карточки на столе: английское to our houses передаёт направление и принадлежность отдельными to и our. Сильные аналитические черты есть в английском, китайском, вьетнамском, тайском и кхмерском. Чтобы понять весь смысл, программе нужно смотреть на соседние слова.
• Агглютинативный способ напоминает шампур: к смысловой основе последовательно присоединяются части с разными задачами. Казахское үйлерімізге для разбора запишем үй-лер-іміз-ге: дом, много, наши, к. Дефисы показывают границы при разборе; в обычном слове их нет.
• Флективный способ напоминает одну карточку с двумя инструкциями: в русском столом окончание -ом одновременно выражает единственное число и творительный падеж («чем?»). Флективные черты выражены в русском, польском, немецком, испанском и литовском.

Шампур помогает увидеть порядок, но не означает, что каждая буква основы неизменна: кітап («книга») превращается в кітабым («моя книга»), где п меняется на б. Программа должна знать и такие правила.

Десять языков с агглютинативным словоизменением

Заимствованное из персидского слово может получать обычные тюркские окончания. Поэтому происхождение слов нельзя превращать в процент «агглютинативности» языка. Казахский выбран потому, что его формы дают наглядный материал для правил, а мы можем проверить примеры и опереться на собственные проекты qazaq-ir и adam. Другие агглютинативные языки тоже подошли бы.

Зачем строить ИИ без LLM

LLM, большая языковая модель, умеет свободно создавать текст. Это полезно во многих задачах, но такой ответ может содержать убедительный выдуманный факт — галлюцинацию. Наша система не будет свободно сочинять факты: ответ допускается только при найденной утверждённой записи. Образ — библиотекарь, показывающий карточку найденной книги. Это не гарантия отсутствия всех ошибок: разбор, запись или выбор ответа могут быть неверными.

Компактная локальная программа потенциально требует меньше ресурсов и позволяет не передавать вопрос внешнему сервису. Число «в тысячу раз легче, дешевле и быстрее» пока гипотеза: в конце курса сравним конкретные системы на одной задаче и при сопоставимом качестве. Первые пять уроков дают основу; всего запланировано 30.

Источники: WALS, описание казахской грамматики, тюркские языки и контакты, обзор фактических ошибок LLM.