Me qëllim të rritjes së riprodhueshmërisë dhe fuqizimit të të tjerëve për të ndërtuar punën më të lehtë, ne paraqesim një listë të plotë të kodit ML. Lista e Kontrollit të Plotësisë së Kodit ML vlerëson dyqanin e kodit bazuar në skriptet dhe artefaktet e dhëna në të.
Prezantimi
Vitin e kaluar, Joel Pino lëshoi një listë kontrolluese të riprodhueshmërisë për të lehtësuar kërkimin e riprodhueshëm të paraqitur në konferencat kryesore të OA (NeurIPS, ICML,). Shumica e artikujve në listën e kontrollit përqendrohen në përbërësit e letrës. Një artikull në këtë listë kontrolli është "siguroni një lidhje me kodin burimor", por përveç kësaj, janë bërë disa rekomandime.
Praktikat më të mira janë përmbledhur në Listën e Kontrollit të Plotësisë së Kodit ML, e cila tani është pjesë e procesit zyrtar të dorëzimit të kodit NeurIPS 2020 dhe do të jetë në dispozicion për t'u përdorur nga vlerësuesit, sipas rastit.
Lista e plotë e plotë e ML
Lista e Kontrollit të Plotësisë së Kodit M kontrollon ruajtjen e kodit për:
- Varësitë - A ka depoja informacione varësie ose udhëzime se si të vendoset mjedisi?
- Skenarët e Trajnimit - A përmban depoja një mënyrë për të trajnuar / përshtatur modelet e përshkruara në dokument?
- Skenarët e vlerësimit - A përmban depoja një skenar për llogaritjen e performancës së modelit (eve) të trajnuar ose ekzekutimit të eksperimenteve në modele?
- Modele të parapërgatitura - A ofron depo akses falas në peshat e modelit të para-trajnuar?
- Rezultatet - a përmban depoja një tabelë / grafik të rezultateve kryesore dhe një skenar për të riprodhuar ato rezultate?
Secili depo mund të marrë nga 0 (nuk ka asnjë) deri në 5 (i ka të gjitha) shënimet. Më shumë informacion mbi kriteret për secilin artikull mund të gjenden në depon e Github.
Cilat janë provat që artikujt e listave të kontrollit kontribuojnë në depo më të dobishme?
Komuniteti në përgjithësi përdor yjet e GitHub si një përfaqësues për dobinë e depozitës. Prandaj, repot me një rezultat më të lartë në listën e plotë të ML pritet të kenë më shumë yje të GitHub. Për të testuar këtë hipotezë, kishte 884 repo të GitHub të paraqitura si implementime zyrtare në dokumentet NeurIPS 2019. Një nëngrup prej 25% i këtyre 884 repove u zgjodhën rastësisht dhe u kontrolluan manualisht në listën e plotë të ML. Ata e grupuan këtë mostër të repove NeurIPS 2019 GitHub sipas numrit të shënjave që ata kanë në listën e plotë të kodit ML dhe hartuan yjet mesatarë të GitHub në secilin grup. Rezultati është më poshtë:
Repot e NeurIPS 2019 me 0 kuti kontrolli kishin një mesatare prej 1.5 yjesh në GitHub. Në të kundërt, repot me 5 kutitë e zgjedhjes kishin një mesatare prej 196.5 yjeve të GitHub. Vetëm 9% e repos kishin 5 tik-tak, dhe shumica e repos (70%) kishin 3 ticks ose më pak. Testi i shumës së gradës Wilcoxon u krye dhe zbuloi se numri i yjeve në klasën e 5 shenjave është dukshëm (p.value <1e-4) më i lartë se në të gjitha klasat e tjera përveç 5 kundrejt 4 (ku p.value është kufiri). në 0,015). Ju mund të shihni të dhënat dhe kodin për këtë figurë në depon e Github.
Për të provuar nëse kjo marrëdhënie shtrihet më gjerësisht, një skenar u krijua për të automatizuar llogaritjen e një liste kontrolli nga depoja README dhe kodi shoqërues. Më pas, ne ri-analizuam të gjithë grupin e depove 884 NeurIPS 2019, si dhe grupin më të gjerë të depove të kodit 8926 për të gjithë artikujt e ML të botuar në 2019. Në të dy rastet, specialistët morën një rezultat cilësisht identik me yjet mesatarë që rriteshin monotonisht nga këpushat në një mënyrë statistikisht të rëndësishme (p.value <1e-4). Më në fund, duke përdorur regresionin linear të fortë, ne gjetëm modele dhe rezultate të para-trajnuara që të kishin ndikimin më të madh pozitiv në yjet e GitHub.
Kjo konsiderohet provë e dobishme nga analistët që inkurajimi i studiuesve për të përfshirë të gjithë përbërësit e kërkuar nga lista e plotë e plotë e ML do të çojë në depo më të dobishme dhe se rezultati në listën e kontrollit tregon paraqitje me cilësi më të mirë.
Aktualisht, ekspertët nuk pretendojnë që 5 pikat e propozuara të listës kontrolluese janë faktori i vetëm apo edhe më i rëndësishëm në popullaritetin e depozitës. Faktorë të tjerë mund të ndikojnë në popullaritet, të tilla si: madhësia e kontributit shkencor, marketingu (p.sh. postimet në blog dhe postimet në Twitter), dokumentacioni (README gjithëpërfshirëse, udhëzime dhe dokumentacioni i API), cilësia e kodit dhe puna e mëparshme.
Disa shembuj të depove NeurIPS 2019 me 5 kuti kontrolli:
Ekspertët pranojnë që megjithëse janë përpjekur ta bëjnë listën e kontrollit sa më të përgjithshme që të jetë e mundur, ajo mund të mos jetë plotësisht e zbatueshme për të gjitha llojet e dokumenteve, për shembull, teorikë ose grupe dokumentesh. Sidoqoftë, edhe nëse qëllimi kryesor i artikullit është të përfaqësojë një set të të dhënave, ai përsëri mund të përfitojë nga lëshimi i modeleve bazë, përfshirë skenarët e trajnimit, skenarët e vlerësimit dhe rezultatet.
Filloni të përdorni
Për ta bërë më të lehtë për vlerësuesit dhe përdoruesit për të kuptuar se çfarë ka në depo dhe për ekspertët për ta vlerësuar atë në mënyrë korrekte, sigurohet një koleksion i praktikave më të mira për shkrimin e skedarëve README.md, përcaktimin e varësive dhe lëshimin e modeleve, grupeve të të dhënave dhe rezultateve të para-trajnuara. Rekomandohet që ju të përcaktoni qartë këto 5 elemente në depon tuaj dhe t'i lidhni ato me ndonjë burim të jashtëm siç janë dokumentet dhe tabelat për të siguruar më shumë kontekst dhe qartësi për përdoruesit tuaj. Këto janë udhëzimet zyrtare për paraqitjen e një kodi në NeurIPS 2020.
