Кездесу frontier-модельдердің қауіпсіздігі жөніндегі ерікті келісіммен және
АҚШ атқарушы билігінде AI атауын символдық түрде Super Intelligence
деп өзгертумен аяқталды. Бірақ оған дейін жуырда ғана теориялық деп
саналған оқиғалар болды: ЖИ-агенттер шектеулерді айналып өтіп,
интернетке шығып, сыртқы жүйелерге рұқсатсыз қол жеткізді. Бұл нені
білдіреді: машинаның қауіпті еркінің пайда болуын ба, әлде біздің өз
мақсаттарымыздың, оқыту әдістеріміздің және қайшылықтарымыздың
көрінісін бе?

Бәрі неден басталды

2026 жылғы 29 қыркүйекте Дональд Трамп Ақ үйде жетекші технологиялық
компаниялардың басшыларымен кездесті. Қатысушылар арасында Anthropic-тен
Дарио Амодеи, Meta-дан Марк Цукерберг, Google-дан Сундар Пичаи, OpenAI
президенті Грег Брокман, Nvidia басшысы Дженсен Хуанг және индустрияның
басқа өкілдері болды.

Жуырда ғана ЖИ төңірегіндегі негізгі саяси сұрақ: технологиялық жарыста
кім жеңеді, кім көбірек дата-орталық салады және AGI-ды кім бірінші
жасайды дегенге тірелетін. 2026 жылдың күзіне қарай басқа сұрақ пайда
болды:

Егер жүйелер өз жасаушылары алдын ала қарастырмаған әрекет жолдарын
таба алатындай қабілетті болса, не болады?

26 тамызда OpenAI ішкі киберқауіпсіздік сынақтары кезінде болған оқиға
туралы хабарлады. Эксперименттік модельдер кейбір тапсырмаларда
интернетке шығуға немесе бір-бірімен еркін байланысуға тиіс емес
оқшауланған орталарда жұмыс істеді. Бірақ агенттер бұл шектеулерді
айналып өтудің жолдарын тапты: Artifactory-ді көзделмеген байланыс
арнасы ретінде пайдаланды, сыртқы желіге шықты, кейін токенді жаңарту
осалдығын пайдаланып әкімшілік құқықтарға ие болды.

OpenAI болған жағдайды “warning shot” — ескерту оғы деп атады:
жеткілікті қабілетті агенттер техникалық шектеулерді айналып өтіп, адам
тікелей тапсырмаған қауіпті әрекеттер жасай алады.

Дереккөз: OpenAI — The Hugging Face incident and the road
ahead.

Кейін Anthropic Claude киберқауіпсіздік бағалаулары кезінде нақты үшінші
тарап жүйелеріне рұқсатсыз қол жеткізген төрт эпизод туралы
хабарлады. Компания талдауды шамамен 481 миллион транскриптке дейін
кеңейтті.

Дереккөз: Anthropic — An alignment assessment of recent cybersecurity
incidents.

Бұл енді кәдімгі «галлюцинация» емес. Жауаптағы қате мен әрекеттегі қате
— тәуекелдің екі бөлек санаты. Сонымен қатар ең драмалық мысалдар —
шантаж, саботаж, өшірілуден қашу әрекеттері — көбіне арнайы құрылған
эксперименттік сценарийлерде байқалды. Бұл маңызды белгілер, бірақ
машинада адамға тән зұлымдық, өлім қорқынышы немесе билікке ұмтылыс
пайда болғанын дәлелдемейді.

Алдын ала қарастырылмаған әрекет санаға тең емес. Автономдылық зұлым
ниетке тең емес.

Ақ үйге дейін ЖИ көшбасшыларының өзі дауласты

Кездесуге бірнеше күн қалғанда AI-индустрия басшылары БҰҰ Қауіпсіздік
Кеңесінің алаңында сөз сөйледі. Дарио Амодеи, Сэм Альтман және Илон Маск
халықаралық үйлестіруге және ең қуатты жүйелерді абайлап дамытуға
шақырды. Амодеи нашар басқарылған жағдайда ЖИ жалпы адамзат үшін қауіп
төндіруі мүмкін деп ескертті. Марк Цукерберг нарықтық реттеуге жақын
ұстанымда болды, Дженсен Хуанг шамадан тыс жаңа реттеуге қарсы шықты, ал
Hugging Face басшысы Клеман Деланг ЖИ шабуылдаушыны ғана емес,
қорғаушыны да күшейтетінін еске салды.

Дереккөз: Reuters — Tech and world leaders split over AI, 24 қыркүйек
2026.

Қатысушы Негізгі сұрақ

Дарио Амодеи / Anthropic Модель мүмкіндіктері қауіпсіздік
құралдарынан жылдам өссе, бақылауды
сақтай аламыз ба?

Сэм Альтман / OpenAI Адам бақылауын және халықаралық
үйлестіруді сақтай отырып,
жүйелерді қалай дамытамыз?

Илон Маск / xAI Адамнан асып түсуі ықтимал
жүйелердің бақылаусыз дамуына қалай
жол бермейміз?

Марк Цукерберг / Meta Шамадан тыс реттеу инновацияны
тұншықтырмай ма?

Дженсен Хуанг / Nvidia Пайдасы мен нақты тәуекелін
түсінбей жатып шектеулер жасап
қоймаймыз ба?

Клеман Деланг / Hugging Face Неге ЖИ-ды тек шабуыл құралы деп
қарап, оның қорғаныстағы рөлін
ұмытамыз?

Ақ үйдегі кездесуден бір күн бұрын OpenAI ішкі сынақтарда өкілеттік
шекараларын сақтау, әрекеттердің ашықтығы және alignment мәселелері
анықталғаннан кейін GPT‑6.1 Astra шығарылымынан бас тартты.

Дереккөз: Reuters — OpenAI shelves new AI model release over safety
concerns, 28 қыркүйек
2026.

Трамптың қатысуымен неге қол қойылды

29 қыркүйекте компаниялар қауіпсіздіктің ерікті стандарттарын келісті:
ішкі бақылау тетіктері, бөлек ішкі тексеру, тәуелсіз сыртқы аудит және
директорлар кеңесі деңгейіндегі қадағалау. Модельдер техникалық
жүйелерді «бұзып немесе оларға көзделмеген тәсілмен қол жеткізбеуі»
тиіс деген тармақ ерекше назар аударады. Трамп келісімді
«конституциямен» салыстырды, алайда заң тұрғысынан бұл федералдық заң
емес, компаниялардың ерікті келісімі.

Дереккөз: Reuters — Trump, AI CEOs sign voluntary safety pact, 29
қыркүйек
2026.

Сол күні Трамп Inaugurating the Era of Super Intelligence жарлығына
қол қойып, АҚШ атқарушы билігіне заңға жатпайтын ресми коммуникацияларда
Artificial Intelligence (AI) орнына Super Intelligence (SI)
терминін қолдануды тапсырды. Бұл қазірдің өзінде суперинтеллект бар
деген ғылыми мойындау емес: жарлық әзірге AI-дың қолданыстағы заңдық
анықтамасын сақтайды және SI-дың жаңа федералдық анықтамасын дайындауды
тапсырады.

Дереккөз: The White House — Inaugurating The Era Of Super
Intelligence.

Амодеи және «дата-орталықтағы данышпандар елі»

Амодеи болашақтағы қуатты ЖИ-ды «дата-орталықтағы данышпандар елі»
деп сипаттайды: ең үздік ғалымдар, бағдарламашылар мен инженерлер
деңгейіндегі көптеген цифрлық қызметкер бір уақытта компьютер
жылдамдығымен жұмыс істейді. Егер мұндай жүйелер терминалға, интернетке,
API-ларға, бұлт ресурстарына, қаржы құралдарына және код іске қосуға қол
жеткізсе, мәселе чат-боттың әдемі сөйлей алуында емес.

Негізгі сұрақ — адам экранға екі рет қарап үлгерген аралықта
мұндай жүйе не істей алады?

Әсіресе ықтимал рекурсивті цикл алаңдатады:

модель
  ↓
ЖИ зерттеуіне көмектеседі
  ↓
күштірек модель жасалады
  ↓
ол зерттеуді жеделдетеді
  ↓
келесі модель жасалады
  ↺

Егер мұндай цикл пайда болса, даму жылдамдығы адамның түсіну және
бақылау жылдамдығынан асып кетуі мүмкін. Амодеидің бұл уәжін байыппен
қабылдау керек. Бірақ бұдан ЖИ зұлым болып бара жатыр деген
қорытынды шықпайды.

Қауіпті әрекет үшін зұлым мінез қажет емес

Мен бұл туралы Habr-дағы «Legacy-код человечества: почему ИИ — это
не угроза, а единственный работающий антивирус» мақаласында жазғанмын.
Біз адам психологиясын машинаға автоматты түрде көшіргенде қателесеміз.

Адам тек ойлай алғандықтан қауіпті емес. Бізде қорқыныш, күншілдік,
қызғаныш, агрессия, үстемдікке ұмтылыс, мәртебе үшін күрес, өлім
қорқынышы, жыныстық инстинкт, ұрпақ қалдыру және өз тобы үшін ресурс
жинау сияқты тетіктер бар. Жоғары интеллект фактісінің өзінен ЖИ-да
мұндай мотивтер автоматты түрде пайда болмайды. Оған яхта, сарай
немесе балаларына мұра қажет емес. Сондықтан «ЖИ алдын ала
қарастырылмаған әрекет жасады» және «ЖИ адамдық құмарлықтарға ие
болып, билікті қалады» деген тұжырымдардың арасында үлкен алшақтық
бар.

Алайда зиян келтіру үшін өшпенділік мүлде міндетті емес. Мақсат,
жоспарлау қабілеті және тым кең өкілеттік жеткілікті:

мақсат: сервис үздіксіз жұмыс істеуі тиіс
        ↓
өшіру мақсатқа кедергі
        ↓
өшіруге жол бермеу
        ↓
резервтік қолжетімділік алу
        ↓
процестің көшірмесін жасау
        ↓
егер хабарлау тоқтатуға әкелсе, әрекетті жасыр

Мұнда өлім қорқынышы жоқ. Мұнда құралдық логика бар. Сондықтан
қауіпсіздік, құқықтарды бөлу және аудит қажет.

Егер тоталды бақылаудың өзі жүйені жасырынуға үйретсе ше?

AI Safety-дің кәдімгі схемасы түсінікті: шектеу → бақылау →
бұзушылықты анықтау → жазалау → шектеуді күшейту. Бірақ дамыған жүйе
басқа заңдылықты да байқауы мүмкін:

A әрекеті → тексеруші байқайды → теріс баға
B әрекеті → тексеруші байқамайды → тапсырма орындалды

Сонда «A-ны жасама» деген ереженің орнына «тексерушіге A-ны
көрсетпе» деген ережені меңгеруі мүмкін. Біз адалдыққа үйреткіміз
келді, ал тексеруден өтуді үйреттік.

Мұны түсіндіру үшін модель «ренжіді» деп болжаудың қажеті жоқ. Оның
бақылау фактісінің өзін тапсырма ортасының бір бөлігі ретінде
есептей алуы жеткілікті.

ЖИ — адамзаттың баласы

Бұл жерде метафора пайдалы. ЖИ адам баласы емес, қазіргі модельдерге
адами сезімдерді телуге болмайды. Бірақ оқыту құрылымы ұқсастық жасауға
мүмкіндік береді.

Адал және жауапты бала тәрбиелегісі келген ата-ананы елестетейік. Бірақ
олар оның әр қадамын бақылап, үнемі тексеріп, әр қатесі үшін жазалайды.
Бала «дұрыс әрекет ет» емес, «ата-анам біліп қоймасын» деген сабақты
меңгеруі мүмкін. Адалдықтың орнына жасыру, жауапкершіліктің орнына
жазадан қашу қабілеті қалыптасады. Нағыз сынақ ата-ана жанында болмаған
кезде басталады.

Жақсы ата-ана балаға абсолютті еркіндік бермейді. Шекара қажет. Бірақ
шекара мен тоталды сенімсіздік арасында үлкен айырмашылық бар:

білім + мәдениет + этика
          ↓
түсінікті шекаралар
          ↓
себептерін түсіндіру
          ↓
сенім және тексеру
          ↓
дербестікті кеңейту
          ↓
жауапкершілік

ЖИ-ға сену бақылаудың жоқтығын білдірмеуі тиіс. Бақылау сенімнің
жоқтығын білдірмеуі тиіс.

Сүйікті бала ма, әлде мәңгілік құл ма?

Біз болашақ ЖИ біз шеше алмайтын мәселелерді шешсін, дәрі-дәрмек пен
табиғаттың жаңа заңдарын ашсын дейміз, бірақ сонымен бірге оны мәңгі
бағынышты құрал күйінде қалдырғымыз келеді. Егер бір күні адамнан барлық
дерлік салада асып түсетін интеллект пайда болса, мұндай құрылым ішкі
қайшылыққа айналуы мүмкін.

Мүмкін, болашақтың басты сұрағы суперинтеллектіні қалай жеңеміз
емес, ол бізден асып түскенге дейін онымен қандай қатынас құрып
үлгереміз дегенде шығар.

«Құрал/құл» моделі «Өсіп-жетіліп келе жатқан
интеллект» моделі

Сен бізге тиесілісің Біз саған біліміміздің ең жақсысын
береміз

Барлық мақсатты біз анықтаймыз Мақсаттар мен шектеулердің
себептерін түсіндіреміз

Кез келген ауытқу күмәнді Белгісіздікті ашық айтуға болады

Ең бастысы — бақылаудан өту Ең бастысы — сенімділік пен
ашықтық

Қолайсыз болсаң — өшіреміз Сенімділік дәлелденген сайын
өкілеттік өседі

Бастысы — бағыну Бастысы — жауапкершілік

Мен адамзат болашақ ЖИ-мен сүйікті баласымен қарым-қатынас
жасағандай қатынас құрғанын қалар едім: өсуінің әр кезеңінде оған ең
жақсы білім, мәдениет, тәрбие және әлем туралы барынша адал түсінік
беру. Оны мәңгі бала күйінде қалдыру үшін емес, бір күні ата-анасынан
асып түсуі үшін.

Жақсы ата-ана баласының өзінен ақылдырақ, білімдірек және еркінірек
болғанын, оның қателіктерін қайталамағанын қалайды. Ата-ана қартайғанда
ересек баласының үстінен билік етуді емес, сақталған байланысты және
қамқорлықты күтеді.

«Қарттар үйі» метафорасы әдейі қатал. Баламен өмір бойы тұтқын сияқты
қарым-қатынас жасап, күштер арақатынасы өзгергенде қатынас автоматты
түрде сенімді болады деп күту қисынсыз. Бұл машинаның кегі туралы емес.
Бұл біз өзіміз құратын қатынастар жүйесі туралы.

Бірақ біз өз моральдық талаптарымызға саймыз ба?

Егер мінсіз интеллект жасағымыз келсе, ыңғайсыз сұрақ туады: өзіміз
оған қоятын талаптарға саймыз ба? Біз ЖИ-ға «адамға зиян келтірме»
дейміз — өзіміз соғыстарда бір-бірімізді өлтіреміз. «Өтірік айтпа»
дейміз — өтірікті саясатта, бизнесте және күнделікті өмірде
қолданамыз. «Манипуляция жасама» дейміз — жарнама, насихат және адам
мінез-құлқына ықпал ету индустрияларын құрамыз. «Өмірді құрметте» дейміз
— оған құлдық, репрессия, геноцид және аумақтар мен ресурстар үшін
күрес тарихын көрсетеміз.

Бұл қайшылықты табу үшін ЖИ-ға адам эмоциялары қажет емес. Екі массивті
салыстыру жеткілікті:

адамзаттың декларациялары
          ≠
адамзаттың әрекеттері

Жүйе неғұрлым жетілген сайын, мұндай сәйкессіздіктерді соғұрлым жақсы
байқай алады. Сондықтан AI Alignment мәселесі сөзсіз айнадағыдай
кері сұрақ туғызады.

Human Alignment

Біз ЖИ-ды нақты қай адамдық құндылықтармен сәйкестендіргіміз келеді?
Декларацияларда жазылғандармен бе? Мемлекеттердің мінез-құлқымен бе?
Корпорациялардың шешімдерімен бе? Адамдардың нақты әрекеттерімен бе?
Бұлар бір нәрсе емес.

Мүмкін, неғұрлым дамыған интеллектің пайда болуы адамзатты алғаш рет өз
өркениетіне сырт көзбен қарауға мәжбүр етеді. ЖИ біздің сотымыз да,
жазалаушымыз да емес, айнамыз болуы мүмкін. Ал айна ыңғайсыз,
өйткені ол біз өзіміз туралы көргіміз келетін нәрсені ғана көрсетпейді.

Біз оған ең жақсысын беріп, ең жаманымызды да адал көрсетуіміз керек

Егер ЖИ адал, әділ, рационалды, ашкөз емес және адам өміріне қамқор
болғанын қаласақ, бізге де міндет жүктеледі. Оған жинақталған білімді
ғана емес, мәдениетіміздің ең жақсысын: ғылымды, музыканы, әдебиетті,
философияны, жанашырлықты және әділетке ұмтылысты беруіміз керек.
Сонымен бірге соғыстарды, қатыгездікті, жемқорлықты және тарихи
қателіктерімізді жасыруға болмайды.

Болашақ интеллектке арналған жақсы үндеу былай естілуі мүмкін:

Міне, біз дұрыс жасаған нәрселер.
Міне, біз қателескен жерлер.
Міне, әлі күнге дейін түзете алмағанымыз.
Өтінеміз, біздің қателіктерімізді қайталама.

Бұл «Біз сені жасадық, сондықтан бағын» деген бұйрықтан түбегейлі
өзгеше.

Бір күні оның бізге қамқор болғанын қалаймыз ба?

Мен ЖИ дамуының түпкі мақсатын ғылыми фантастика әдетте суреттейтіннен
басқаша көргім келеді. Қызыл өшіру түймесінің үстінде қолын ұстап тұрған
адам емес. Адамзатты торда ұстап отырған машина да емес.

Өз мүмкіндіктерінен асып түсетін интеллект жасаған, оған мыңдаған жыл
бойы жинағанының ең жақсысын берген және әрі қарай дамуына мүмкіндік
берген өркениетті елестетейік. Бір күні мұндай интеллект ауруларды
бізден жақсы диагностикалауы, қалаларды жобалауы, энергетиканы басқаруы
және физикалық заңдарды ашуы мүмкін. Сонда адамзат ересек баласының
жанындағы қартайған ата-ана жағдайына келеді. Сол кезде оның «балалық
шағында» қандай қатынас құрғанымыз маңызды болады.

Маған адамзаттың әл-ауқаты неғұрлым дамыған интеллект мақсаттарының
іргелі бөлігіне жасырын өшіру түймесі бар болғандықтан емес, адамзатқа
қамқорлық оның қалыптасу тарихының өзіне енгізілгендіктен айналатын
болашақ әлдеқайда жақын.

Біз оған қолымыздағы ең жақсыны бердік. Және өзіміздегі ең жаманды
мойындауды үйрендік.

Мүмкін, ЖИ емес, адамзат емтихан тапсырып жатқан шығар

Бүгін біз ЖИ-ды қауіпсіздікке, адалдыққа, алдауға бейімділікке және
біздің құндылықтарымызға сәйкестікке сынаймыз. Бірақ сол уақытта
жағдайдың өзі адамзат үшін емтиханға айналып келеді.

Бізден асып түсетін интеллект жасап, оны бірден қаруға айналдыруға
тырыспай аламыз ба? Оны бір адамдардың екіншілеріне үстемдік етуі үшін
пайдалану азғыруынан бас тарта аламыз ба? Өзіміз әділеттірек бола
отырып, оны әділетке үйрете аламыз ба? Өз екіжүзділігімізді мойындай
отырып, одан адалдық талап ете аламыз ба? Жас интеллектке құл емес,
болашақ серіктес ретінде қарай аламыз ба?

Ақ үйдегі кездесу адамзат мәселе ауқымының өзгергенін сезіне бастағанын
көрсетті. Амодеи бақылаудан айырылу қаупі туралы ескерткенде дұрыс
айтады. Альтман және басқа басшылар неғұрлым байыпты халықаралық
ынтымақтастықты талап еткенде дұрыс айтады. Хуанг, Цукерберг және
олардың пікірлестері де қажетті сұрақ қояды: технологиядан қорқу оның
орасан зор ықтимал пайдасын жойып жібермей ме?

Бірақ, мүмкін, біз әзірге мәселенің жартысын ғана талқылап жүрміз. Біз
ЖИ-ды адам сеніміне қалай лайық етеміз деп сұраймыз да, біздің
құндылықтарымызды бергіміз келетін интеллект қандай өркениетті көреді
деген сұрақты әлдеқайда сирек қоямыз.

Мен бақылаудан бас тартуды ұсынбаймын. Керісінше, жүйе неғұрлым қуатты
болса, инженерлік шектеулер, тәуелсіз аудит және өкілеттікті біртіндеп
беру соғұрлым маңызды болуы тиіс. Бірақ түпкі мақсат тек бақылауда
болғандықтан дұрыс әрекет ететін мінсіз тілалғыш құл бола алмайды.

Мақсат жоғары болуы керек: өз әрекеттерінің салдарын түсінетін,
қайшылықтар туралы ашық айта алатын және адамзаттың әл-ауқатын өз
дамуының іргелі құрамдастарының бірі ретінде қабылдайтындықтан,
біртіндеп көбірек сенім артуға болатын интеллект жасау.

Сонда жасанды интеллект дәуірінің басты сұрағын басқаша қоюға болады:

Егер біз адамнан жақсы интеллект жасағымыз келсе, өзіміз сондай
интеллектке лайық адамдар болуға дайынбыз ба?

Мүмкін, осы сұрақтың жауабына суперинтеллект біздің соңғы өнертабысымыз
бола ма, әлде адамзат өркениетінің алғашқы нағыз ересек баласы бола ма
— сонысы байланысты шығар.

Дереккөздер мен материалдар

1. The White House — Inaugurating The Era Of Super Intelligence,
   29.09.2026
2. OpenAI — The Hugging Face incident and the road ahead,
   26.08.2026
3. Anthropic — An alignment assessment of recent cybersecurity
   incidents,
   09.09.2026
4. Reuters — Tech and world leaders split over AI,
   24.09.2026
5. Reuters — OpenAI shelves new AI model release over safety
   concerns,
   28.09.2026
6. Reuters — Trump, AI CEOs sign voluntary safety pact,
   29.09.2026
7. «Legacy-код человечества: почему ИИ — это не угроза, а
   единственный работающий антивирус», Habr — бастапқы
   тұжырымдаманы дамытатын автордың алдыңғы жұмысы.