„Neural Dawn“ ir „Arm“: neurotinklai perrašo mobiliųjų žaidimų taisykles tiesiai mūsų akyse

Išmanieji telefonai jau seniai peržengė paprastų skambučių aparatų ribas, tačiau tai, ką šiandien stebime mobiliųjų žaidimų industrijoje, labiau primena mokslinę fantastiką, virstančią realybe. Naujasis „Sumo Digital“ studijos kūrinys „Neural Dawn“ tapo ta bandomąja aikštele, kurioje Arm pademonstravo savo naujos kartos dirbtinio intelekto ir grafikos technologijų integraciją. Tai nėra šiaip dar vienas evoliucinis žingsnis pirmyn – tai radikalus architektūrinis lūžis, įrodantis, kad ateities mobilieji žaidimai bus ne tik renderuojami, bet pažodžiui „išprotaujami“ dirbtinio intelekto.

Šio technologinio šuolio šerdyje slepiasi ambicingas „Arm Neural Technology“ sprendimas, pirmą kartą integruojantis specializuotus neuroninius greitintuvus tiesiai į būsimos kartos „Arm Mali“ vaizdo plokštes (GPU). Žaidimas „Neural Dawn“ įeina į istoriją kaip pirmasis mobilusis projektas, kuris realiuoju laiku naudoja pažangią „Unreal Engine MegaLights“ apšvietimo technologiją, anksčiau reikalavusią galingų stalinių kompiuterių resursų. Užuot pasikliovus vien grubia procesoriaus jėga, čia pasitelkiamas hibridinis modelis: dalis grafinio darbo perkeliama DI branduoliams, o tai leidžia dramatiškai pakeisti aparatinės įrangos apkrovos balansą.

Rezultatai, kuriuos pateikia VideoCardz apžvalgininkai, kalba patys už save – naujoji architektūra sugeba sumažinti tradicinį GPU darbo krūvį net iki 50 procentų. Toks efektyvumas pasiekiamas naudojant „Neural Super Sampling“ (NSS) algoritmą, kuris leidžia žaidimą renderuoti, pavyzdžiui, žema 540p raiška, o vėliau, naudojant išmanųjį kadrų rekonstravimą, vaizdą pakelti iki nepriekaištingos 1080p kokybės. Viskas vyksta vos per 4 milisekundes vienam kadrui, todėl žaidėjas vizualiai praktiškai nepastebi jokio skirtumo nuo natūralios raiškos, tačiau džiaugiasi dvigubai išaugusiu kadrų per sekundę skaičiumi.

Nuo teorinių algoritmų iki stabilių kadrų realybėje

Žinoma, skeptikai iškart primins apie technologines rizikas, susijusias su dirbtiniu kadrų generavimu. Kaip pastebi Android Authority specialistai, bandymai pasiekti 60 ar 120 kadrų per sekundę greitį iš žemo bazinio 30 kadrų lygio visada slepia pavojų padidinti signalo vėlavimą (input lag), kas paverčia žaidimo valdymą „gumbuotu“ ir nerangiu. Būtent todėl „Arm“ glaudžiai bendradarbiauja su kūrėjais, kad neuroniniai tinklai būtų tiesiogiai sujungti su judesio vektorių (motion vectors) generavimu aparatinėje įrangoje, taip minimizuojant vaizdo dubliavimąsi ar artefaktus.

Šis sisteminis požiūris apima ne tik pačius lustus, bet ir atvirą programinės įrangos ekosistemą. „Arm“ jau išleido „Neural Graphics Development Kit“ rinkinį bei aktyviai stumia specialius mašininio mokymosi plėtinius į „Vulkan“ API standartą, kad šie neuroniniai greitintuvai veiktų kaip standartiniai iškviečiami vienetai (dispatchable units). Galutiniam vartotojui tai reiškia viena – mūsų kišenėse esantys telefonai netrukus galės sukti visiškai spindulių sekimo (ray tracing) metodu apdorotą grafiką su fotorealistišku apšvietimu, neišlydydami baterijos per pirmąsias penkiolika žaidimo minučių.

Užkulisių inžinerija: Norint suprasti, kaip „Neural Dawn“ sugeba išgauti tokį vizualinį detalumą iš vos kelių vatų energijos biudžeto, būtina nusileisti iki pat registru lygio architektūros. Šiuolaikiniai mobilieji vaizdo procesoriai tradiciškai dūsta ties kadrų buferio (framebuffer) pralaidumo riba, kai kalba pasuka apie dinaminį apšvietimą. Integruotas „Arm“ sprendimas šią problemą sprendžia perkeldamas skaičiavimus iš standartinių slankiojo kablelio (FP32) ALU vienetų į specializuotus INT8 ir FP16 tensorinius matricų daugintuvus, esančius tame pačiame luste. Šis perėjimas prie mažesnio tikslumo duomenų formatų drastiškai sumažina atminties magistralės apkrovą ir leidžia atlikti milijardus operacijų per sekundę tiesiogiai spartinančiojoje atmintyje (SRAM), visiškai neliečiant energijai imlios sisteminės RAM.

Sistemos inžinieriams didžiausias iššūkis visada buvo sinchronizacija tarp tradicinio grafinio konvejerio (graphics pipeline) ir asynchroninių mašininio mokymosi (ML) užduočių. „Neural Dawn“ variklyje tai išspręsta naudojant „Vulkan API“ pagrindu sukurtus Compute Shaders, kurie vykdymo metu dinamiškai persipina su geometrijos apdorojimo etapais. Vietoj to, kad lauktų, kol visas kadras bus pilnai sugeneruotas, NSS algoritmas pradeda kadrų rekonstravimą fragmentų šešėliavimo (fragment shading) stadijoje, naudodamas laikinąsias (temporal) koordinates iš praėjusių trijų kadrų. Tai leidžia pasiekti nulinį papildomą vėlavimą, nes neuroninis tinklas veikia lygiagrečiai su likusiu grafiniu konvejeriu.

Geometrijos tankinimas ir atminties valdymas

Kitas kritinis optimizavimo etapas apima išmanųjį geometrijos filtravimą prieš pat jai patenkant į rasterizavimo etapą. Naudojant aparatinio lygio „mesh shading“ technologiją, žaidimo variklis dinamiškai atmeta tuos poligonus, kurie nėra matomi kameros lauke arba yra užgožti kitų objektų. Šis procesas yra valdomas mikrokodu, kuris tiesiogiai bendrauja su „Arm“ atminties valdymo bloku (MMU), optimizuodamas tekstūrų puslapių kėlimą į atmintį (texture paging). Dėl to pavyksta išvengti staigių kadrų dažnio šuolių (stuttering), kurie dažnai pasitaiko atviro pasaulio mobiliuosiuose žaidimuose, kai fone kraunami nauji resursai.

Galiausiai, sėkmė priklauso nuo to, kaip efektyviai programinė įranga sugeba išnaudoti aparatinius resursus per žemo lygio tvarkykles. Inžinieriai pritaikė specialius registrų perskirstymo algoritmus, kurie užkerta kelią registrų badui (register pressure) vykdant sudėtingus spindulių sekimo (ray tracing) skaičiavimus. Kiekvienas spindulio ir geometrijos susikirtimo testas yra supakuojamas į mažus duomenų paketus, pritaikytus SIMD (Single Instruction, Multiple Data) instrukcijoms, o tai leidžia maksimaliai užpildyti visus prieinamus GPU vykdymo blokus ir pasiekti neprilygstamą energetinį efektyvumą.

Skaityti tarp eilučių: Nors „Arm“ ir žaidimų kūrėjų demonstracijos piešia idealią mobiliosios grafikos ateitį, reali situacija išmaniųjų telefonų rinkoje verčia į šiuos pažadus žvelgti su sveika skepticizmo doze. Pirmiausia, stulbinantys laboratoriniai efektyvumo rodikliai dažnai atsitrenkia į negailestingą fizikos sieną, kai technologiją bandoma perkelti į masinės gamybos įrenginius. Skirtingai nuo konsolių ar asmeninių kompiuterių, telefonai neturi aktyvaus aušinimo sistemų, todėl bet koks intensyvus tensorinių branduolių naudojimas ilgainiui sukelia procesoriaus spartos ribojimą dėl perkaitimo (thermal throttling), kas nubraukia visus pradinius kadrų dažnio laimėjimus po keliolikos minučių intensyvaus veiksmo.

Kita didelė prieštara slypi pačioje mobiliųjų žaidimų ekosistemoje ir jos fragmentacijoje. „Neural Dawn“ kūrėjų naudojami žemo lygio optimizavimo algoritmai reikalauja labai specifinės aparatinės įrangos architektūros, kurią šiuo metu gali pasiūlyti tik patys brangiausi flagmanai. Vidutinės klasės įrenginių savininkai, sudarantys liūties dalį mobiliųjų žaidėjų rinkos, greičiausiai liks už borto, nes jų turimi lustai tiesiog neturės fizinių matricinių greitintuvų šiems triukams atlikti. Tai sukuria situaciją, kai žaidimų studijoms tampa ekonomiškai nenaudinga investuoti milžiniškus resursus į technologijas, kurias realiai įvertinti galės tik nedidelė dalis auditorijos.

Galiausiai, dirbtinio intelekto pagrindu veikiantis kadrų generavimas ir vaizdo rekonstravimas iš esmės yra vizualinis kompromisas, o ne tikrasis našumo padidinimas. Nors NSS algoritmai sugeba apgaubti akį gražiu vaizdu, jie neišvengiamai įneša papildomų artefaktų greitai besikeičiančiose scenose, o kadrų generavimo kuriamas signalo vėlavimas gali sugadinti patirtį dinamiškuose žaidimuose. Kol aparatinės įrangos gamintojai bando užmaskuoti žalią lustų galią dirbtinio intelekto magija, tikroji inžinerinė pažanga lieka priklausoma nuo to, ar pavyks rasti efektyvesnių būdų valdyti pačią puslaidininkių litografiją ir energijos sąnaudas.

„Galiausiai, visa ši revoliucija veda prie to, kad netrukus kišenėje nešiosimės superkompiuterį, kuris naudos pažangiausius kosminius algoritmus tik tam, kad kuo gražiau ir fotorealistiškiau susprogdintų spalvotus saldainius mūsų ekrane – ir visa tai darys tol, kol po pusvalandžio išsikraus baterija.“

Vyr. redaktorius Artūras Malašauskas, DI sistemų integratorius, sukaupęs daugiau nei 20 metų patirties kuriant gamybinio lygio žiniatinklio inžinerijos sprendimus. Jis projektavo, diegė ir plėtė verslo klasės „Python“/„PHP“ sistemas logistikos, SaaS bei viešojo sektoriaus klientams. Pastaruosius metus jis specializuojasi išskirtinai DI integracijų srityje: diegia atvirojo kodo didžiuosius kalbos modelius (LLM), kuria generatyvinių medijų (vaizdo, garso, video) srautus bei projektuoja daugiagentines darbo eigas realioms gamybinėms aplinkoms. Jo standartas: atkuriamumas, saugumas ir ekonomiškai efektyvi išvestis – jokio „vaporware“. Artūras dokumentuoja bei vertina naujus DI įrankius, atskirdamas patvirtintas galimybes nuo rinkodarinio triukšmo. Techninis redaktorius svetainėse: ai-naujienos.lt, ai-verslas.lt, muza-ai.eu. Susisiekite per „LinkedIn“.