Қарапайым жіктеуішті үйретеміз

Картадағы орнымыз

72 сабақтың 65-сі. «ЖИ және жоба шығарылымы» блогы (63–72). Көмекшінің мерзім ережелері мен жергілікті базасы сақталады; жаңа мүмкіндік тек тапсырма санатын ұсынып, бас тартуға мүмкіндік береді.

Жағдай және сұрақ

Кіші досыңызға карточка сұрыптауды үйретесіз: «оқу» дегенін кітапқа, «геометрия» дегенін математикаға қояды. Кодымыз да соның тым қарапайым түрін орындайды: тек оқу мысалдарындағы сөзді санайды.

Жаңа сөздерді анық түсінейік

Үйрету мұнда train таңбалары бойынша сөз жиілігін санау; тақырыпты адамша түсіну емес. Токендеу атаудан сөздерді бөледі. Сөз салмағы — сол санаттың қанша мысалында кездескені. Санат ұпайы — жаңа атаудағы сөздердің салмақ қосындысы. Теңдік пен белгісіз сөздер review береді.

Сабақтың тірек сигналы

Сұлбаның үш ұяшығын солдан оңға оқып, үшіншісін жабыңыз. Әр ұяшықтың кірісі мен әрекетін айтыңыз; жолдың немен аяқталатынын және қандай байқалатын фактіні тексеретініңізді болжаңыз. Суретті жоба файлымен не бақылау мысалымен салыстырыңыз. Сұлбадағы сан деректен шықпаса, әдемі сурет үшін деректі емес, сұлбаны түзетіңіз.

Қадамдап талдаймыз

step-07 ішінде python3 classifier.py "Кітап оқу" іске қосыңыз: suggestion: reading күтіледі. Геометрия есебі үшін math. classifier.py ашыңыз: train тек split=train жолдарын оқиды, suggest санағыштарды қосады. Белгісіз «Мысалсыз тапсырма» үшін екі ұпай да нөл болып, жауап review шығады. Ойдан алынған бір train жолын өзгертіп, ұпай қалай жылжитынын болжаңыз.

Болжаңыз және тексеріңіз

Кодты қоспай тұрып күтілетін нәтижені жазыңыз. Оны step-06 не step-07 бумасында орындап, таңба бойынша салыстырыңыз және әр жолды түсіндіріңіз. Кейін бір қауіпсіз ойдан алынған кірісті өзгертіп, «болжау — іске қосу — өзгерту — түсіндіру — тексеру» айналымын қайталаңыз. Шағын жиындағы бақылауды нақты адамдарға берілген уәдеге айналдырмаңыз.

from classifier import read_examples, train, suggest
model = train(read_examples("labelled_tasks.csv"))
print(suggest("Кітап оқу", model), suggest("Геометрия есебі", model), suggest("unknown", model))

Күтілетін нәтиже

reading math review

Қатені табыңыз

Бұл шағын жіктеуіш, үлкен тілдік модель емес. Ол сөз түрленуін, терістеуді және контексті түсінбейді. Бағалау алдында ыңғайлы test жолын үйретуге қосу тексеруді бұзады.

Жобаға енгізілетін өзгеріс

2.1 жобасында база, есеп, еске салу және көшірме сақтау қалады. labelled_tasks.csv тек ойдан алынған мысалдарды қамтиды. classifier.py math, reading не review кеңесін береді, бірақ шешімді базаға жазбайды. Әр ұсыныс қалдырылған мысалмен салыстырылып, адам қайта қарайды.

Тапсырма және дәлел

Бір таныс сөзі бар атаулардың ұпайын қолмен есептеңіз. Теңдік жағдайын көрсетіңіз. Кейін тесттерді іске қосып, айырма болса себебін түсіндіріңіз.

Жаңа жағдайға көшіру

Хат сұрыптағыш «есеп» сөзін біледі, ал «есептеу» сөзін кездестіреді. Сөз бөлу ережесі неге жауапты өзгертуі мүмкін?

1, 7 және 30 күннен кейін қайталау

1 күннен кейін сұлбаны жатқа салып, қолданудың бір шегін табыңыз. 7 күннен кейін оны мәтінсіз досыңызға түсіндіріп, блоктың он сұрағының жетеуін шешіңіз; қате жауапты нақты кіріспен талдаңыз. 30 күннен кейін жобаның жаңа көшірмесін ашып, тексеруді қайталап, қағиданы жаңа мысалға көшіріңіз. Кіріс, күтілетін және нақты нәтижесі бар хаттаманы сақтаңыз.

Тексеруге арналған бастапқы құжат

Ресми құжат

Келесі сабақ

Модельді тексеру және қателер матрицасы