Kā mainās cenu prognozēšana ar neironu tīkliem
Galvenie atklājumi, rīki un tendences, ko esam apkopojuši no pētījumiem un praktiskas pieredzes šajā jomā.
Modeļu hierarhija
Kurš pieejas līmenis sniedz precīzākos rezultātus
Piramīda attēlo precizitātes pieaugumu pret sarežģītību — augstāki slāņi prasa vairāk datu un aprēķinu resursu.
Par šo apskatu
Kas ir iekļauts un ko nedrīkst palaist garām
Šis apskats apkopo vissvarīgākos atklājumus no pēdējā gada pētniecības un prakses dziļās mācīšanās pielietojumā cenu prognozēšanā. Aptvertās tēmas ietver gan teorētiskos sasniegumu, gan konkrētus rīkus, ko speciālisti izmanto ikdienā. Mēs necentāmies aptvert visu — tikai to, kam ir praktiska nozīme.
Katrs apskats sākas ar konkrētu jautājumu: vai šis modelis vai paņēmiens darbojas ārpus laboratorijas apstākļiem? Daudzas metodes, kas izskatās lieliski pētniecības rakstos, sabrūk, tiklīdz dati kļūst trokšņaini vai neregulāri. Tāpēc uzsvars ir uz atkārtojamību un robustumu.
Kopš Zdravonek dibināšanas 2020. gadā esam ievērojuši, ka lielākās problēmas nav algoritmu trūkums — tās ir datu sagatavošana, pareiza validācija un modeļa interpretācija. Šie trīs aspekti ir šī gada apskata centrā.
- Laika rindu priekšapstrādes metodes ar reāliem piemēriem
- Hiperparametru optimizācija ar Optuna un Ray Tune
- Modeļu interpretācija ar SHAP vērtībām
- Spekulatīvi nākotnes scenāriji bez datu pamata
- Garantēti rezultāti vai peļņas solījumi
Galvenās tēmas šajā gadā
Trīs jomas, kurās notika vislielākā attīstība un kurās mēs redzam visnozīmīgāko praktisko pielietojumu.
Datu kvalitāte un laika rindu inženierija
Lielākā daļa modeļu kļūmju rodas nevis arhitektūras izvēlē, bet gan nepareizā datu apstrādē. Šogad parādījās vairāki strukturēti ietvari tam, kā rīkoties ar trūkstošajiem novērojumiem, svārstīgu izlases biežumu un izlēcieniem, kas nav kļūdas, bet reāli notikumi.
PriekšapstrādeTemporal Fusion Transformers praksē
TFT arhitektūra, ko sākotnēji publicēja Google pētnieki, tagad ir pieejama ar stabilām Python bibliotēkām. Pirmais solis — saprast, kad šī arhitektūra patiešām palīdz un kad vienkāršāks LSTM modelis sniedz pietiekamu precizitāti ar mazāku datu apjomu un ātrāku apmācību.
ArhitektūraValidācijas protokoli laika rindām
Klasiskā kross-validācija laika rindām nedarbojas — tā noplūst nākotnes informāciju. Expanding window un purged k-fold metodes kļuvušas par standartu. Šogad parādījās arī detalizētas diskusijas par to, cik lielas validācijas kopas faktiski nepieciešamas dažādos kontekstos.
NovērtēšanaKo rāda šī gada pētījumi
Laika rindu prognozēšanas pētījumi šajā gadā bija ražīgi. Vairāk nekā 40 nozīmīgi raksti nonāca publiskajā domēnā, un daži no tiem tieši mainīja to, kā praktiķi strukturē savus darba procesus. Izceļas trīs tendences.
Pirmkārt, modeļa sarežģītība ne vienmēr nozīmē labāku precizitāti. Vairāki pētījumi salīdzināja vienkāršus statistiskos modeļus ar dziļiem tīkliem un atklāja, ka uz īsiem horizontiem — līdz 14 dienām — klasiskās metodes bieži uzvar vai vienādi spēlē. Otrkārt, eksogēnie mainīgie (laika apstākļi, sezonalitāte, īpaši notikumi) sniedz vislielāko uzlabojumu tieši tur, kur modeļi iepriekš bija vājākie.
Atklājumu apskats
Zem 5000 apmācības paraugiem lielākajai daļai dziļo modeļu nav priekšrocību pār gradient boosting metodēm. Šis slieksnis ir svarīgs, plānojot projektu.
Priekšapmācīti modeļi palīdz, ja avota un mērķa domēni ir strukturāli līdzīgi. Starp nozarēm ar atšķirīgiem sezonalitātes cikliem uzlabojumi nav garantēti.
Konfidences intervālu ģenerēšana kļuvusi praktiskāka ar Conformal Prediction pieejām. Šī metode neprasa speciālu arhitektūru un darbojas ar jebkuru modeļa tipu.
Uzmanības mehānismi izrādās noderīgāki gariem atkarības lokiem (virs 60 soļiem). Īsākiem lokiem rekurentu tīklu efektivitāte joprojām ir salīdzināma.
Dropout un weight decay konfigurācija laika rindām atšķiras no attēlu klasifikācijas. Standarta noklusējumi no PyTorch dokumentācijas bieži rada pārmācīšanās pazīmes laika rindu datos.
Dalībnieku pieredze
Atsauksmes no cilvēkiem, kuri piedalījās darbnīcās un izmantoja apgūtās metodes savā darbā.
LSTM modeļa izveide manā uzņēmumā bija kaut kas, ko atliku gadiem. Pēc praktiskās nodarbības par datu sagatavošanu viss kļuva skaidrāks — galvenokārt saprata, ko dara nepareizi ar apmācības un validācijas kopām.
Materiāli par TFT arhitektūru bija precīzāki nekā lielākā daļa angļu valodas resursu, ko biju lasījusi. Īpaši novērtēju sekciju par conformal prediction — to nekur citur nebiju redzējusi tik saprotami izklāstītu.
Pirmajās divās nodarbībās bija jāpārskata Python pamati, kas man kā pieredzējušam lietotājam bija lieki. Taču sākot ar trešo sesiju — validācija un hiperparametri — saturs kļuva patiešām nozīmīgs un praktisks.
Reālu datu kopas izmantošana apmācībā bija tieši tas, kas nepieciešams. Nekas nesalīdzinās ar datiem, kuros ir troksnis un trūkstošas vērtības. Vismaz pēc darbnīcas zinu, ko meklēt, kad modelis uzvedas negaidīti.