Täiustatud tehisintellekti mudelite, nagu OpenAI ChatGPT ja Google’i Gemini Ultra, koolitamine nõuab miljoneid dollareid, kusjuures kulud kasvavad kiiresti.
Kuna arvutuslikud nõudmised suurenevad, suurenevad nende treenimiseks vajaliku arvutusvõimsuse kulud hüppeliselt. Vastuseks sellele mõtlevad tehisintellektiettevõtted ümber, kuidas nad generatiivseid tehisintellektisüsteeme treenivad. Paljudel juhtudel hõlmavad need strateegiaid arvutuskulude vähendamiseks, arvestades praeguseid kasvutrajektoore.
Nagu visuaalkapitalisti Dorothy Neufeld näitab järgmisel joonisel, on Stanfordi ülikooli 2024. aasta tehisintellekti indeksi aruande analüüsi põhjal täiustatud tehisintellekti mudelite koolituskulud hüppeliselt kasvanud.
Kuidas määratakse koolituskulud
AI Index tegi koostööd uuringufirmaga Epoch AI, et hinnata AI mudeli koolituskulusid, mis põhinesid pilvearvutuste rendihindadel. Peamised analüüsitud tegurid hõlmavad mudeli treeningu kestust, riistvara kasutusmäära ja treeningriistvara väärtust.
Kuigi paljud on spekuleerinud, et tehisintellekti mudelite koolitamine on muutunud üha kulukamaks, puuduvad neid väiteid toetavad põhjalikud andmed. Tehisintellekti indeks on nende hinnangute üks haruldasi allikaid.
Õhupallitreeningu kulud
Allpool näitame peamiste inflatsiooniga kohandatud tehisintellekti mudelite koolituskulusid alates 2017. aastast:
Eelmisel aastal maksis OpenAI GPT-4 treenimine hinnanguliselt 78.4 miljonit dollarit, mis on järsk tõus Google’i PaLM (540B) mudelist, mis maksis vaid aasta varem 12.4 miljonit dollarit.
Perspektiivi jaoks oli 2017. aastal välja töötatud varajase tehisintellekti mudeli Transformer koolituskulud 930 dollarit. See mudel mängib olulist rolli paljude tänapäeval kasutatavate suurte keelemudelite arhitektuuri kujundamisel.
Google’i tehisintellekti mudel Gemini Ultra maksab veelgi rohkem, vapustava 191 miljoni dollariga. 2024. aasta alguse seisuga edestab mudel GPT-4 mitmel mõõdikul, eriti massiivse multitegumtöö keele mõistmise (MMLU) võrdlusaluses. See võrdlusalus on oluline mõõdupuu suurte keelemudelite võimaluste mõõtmiseks. Näiteks on see tuntud teadmiste ja probleemide lahendamise oskuste hindamise poolest 57 ainevaldkonnas.
Tulevaste tehisintellekti mudelite koolitamine
Neid väljakutseid arvesse võttes leiavad tehisintellektiettevõtted uusi lahendusi keelemudelite koolitamiseks, et võidelda kasvavate kuludega.
Nende hulka kuuluvad mitmed lähenemisviisid, näiteks väiksemate mudelite loomine, mis on mõeldud konkreetsete ülesannete täitmiseks. Teised ettevõtted katsetavad oma sünteetiliste andmete loomist, et neid tehisintellekti süsteemidesse sisestada. Selget läbimurret pole aga veel näha.
Tänapäeval on sünteetilisi andmeid kasutavad tehisintellekti mudelid näidanud, et tekitavad, kui neid teatud viipadega küsitakse, käivitades nn mudeli kokkuvarisemise.
