Forarbejdede aerosolprodukter

30+ års produktionserfaring
Svage baselinjer og rapporteringsbias fører til overoptimisme i maskinlæring af væskelaterede delvise differentialligninger.

Svage baselinjer og rapporteringsbias fører til overoptimisme i maskinlæring af væskelaterede delvise differentialligninger.

Tak fordi du besøgte Nature.com. Den version af browser, du bruger, har begrænset CSS -support. For de bedste resultater anbefaler vi, at du bruger en nyere version af din browser (eller deaktiverer kompatibilitetstilstand i Internet Explorer). I mellemtiden, for at sikre løbende støtte, viser vi stedet uden styling eller JavaScript.
En af de mest lovende anvendelser af maskinlæring i beregningsfysik er den accelererede løsning af delvis differentialligninger (PDE'er). Hovedmålet med en maskinlæringsbaseret delvis differentiel ligningopløsning er at producere løsninger, der er nøjagtige nok hurtigere end standard numeriske metoder til at tjene som en baseline-sammenligning. Vi foretager først en systematisk gennemgang af maskinlæringslitteraturen om løsning af delvis differentialligninger. Af alle de papirer, der rapporterede om brugen af ​​ML til at løse væske delvise differentialligninger og hævde overlegenhed over standardnumeriske metoder, identificerede vi 79% (60/76) sammenlignet med svage basislinjer. For det andet fandt vi bevis for udbredt rapporteringsbias, især i udfaldsrapportering og publikationsbias. Vi konkluderer, at forskning i maskinlæring om løsning af delvis differentialligninger er alt for optimistisk: svage inputdata kan føre til alt for positive resultater, og rapportering af bias kan føre til underrapportering af negative resultater. I vid udstrækning ser disse problemer ud til at være forårsaget af faktorer, der ligner tidligere reproducerbarhedskriser: efterforskerens skøn og positive resultatforspænding. Vi opfordrer til kulturel ændring i bottom-up for at minimere partisk rapportering og strukturel reform af top-down for at reducere perverse incitamenter til at gøre det.
Listen over forfattere og artikler genereret af den systematiske gennemgang såvel som klassificeringen af ​​hver artikel i den tilfældige prøve er offentligt tilgængelig på https://doi.org/10.17605/osf.io/gq5b3 (ref. 124).
Den kode, der er nødvendig for at gengive resultaterne i tabel 2, findes på GitHub: https://github.com/nickmcgreivy/weakbaselinesmlpde/ (ref. 125) og på kode Ocean: https://codeocean.com/capsule/9605539/ Træ/ v1 (link 126) og https://codeocean.com/capsule/0799002/tree/v1 (link 127).
Randall, D., og Welser, K., The Irreproduceribility Crisis in Modern Science: Årsager, konsekvenser og veje for reform (National Association of Scientists, 2018).
Ritchie, S. Science Fiction: Hvordan svig, bias, stilhed og hype undergraver søgningen efter sandheden (Vintage, 2020).
Åbent videnskabeligt samarbejde. Evaluering af reproducerbarhed i psykologisk videnskab. Science 349, AAAC4716 (2015).
Prinz, F., Schlange, T. og Asadullah, K. Tro det eller ej: Hvor meget kan vi stole på offentliggjorte data om potentielle lægemiddelmål? Nat. Præsten "Opdagelsen af ​​narkotika." 10, 712 (2011).
Begley, KG og Ellis, LM hæver standarderne inden for præklinisk kræftforskning. Nature 483, 531–533 (2012).
A. Gelman og E. Loken, Garden of Forking Paths: Hvorfor flere sammenligninger er et problem, selv uden "fiskeriekspeditioner" eller "p-hacks" og præformede forskningshypoteser, vol. 348, 1–17 (Institut for Statistik, 2013).
Karagiorgi, G., Kasecka, G., Kravitz, S., Nachman, B. og Shi, D. Maskinlæring på jagt efter ny grundlæggende fysik. Nat. Læge i filosofi i fysik. 4, 399–412 (2022).
Dara S, Damercherla S, Jadhav SS, Babu CM og Ahsan MJ. Maskinlæring i opdagelse af medikamenter: En gennemgang. Atif. Intel. Red. 55, 1947–1999 (2022).
Mather, As og Coote, ML Deep Learning in Chemistry. J.Chemistry. underrette. Model. 59, 2545–2559 (2019).
Rajkomar A., ​​Dean J. og Kohan I. Machine Learning in Medicine. New England Journal of Medicine. 380, 1347–1358 (2019).
Grimmer J, Roberts ME. og Stewart BM Machine Learning in Social Sciences: En agnostisk tilgang. Præsten Ann Ball. videnskab. 24, 395–419 (2021).
Jump, J. et al. Lav meget nøjagtige proteinstruktur forudsigelser ved hjælp af Alphafold. Nature 596, 583–589 (2021).
Gundersen, OE, Coakley, K., Kirkpatrick, K., og Gil, Y. Kilder til irreproducerbarhed i maskinlæring: en gennemgang. Fortryk tilgængelig på https://arxiv.org/abs/2204.07610 (2022).
Scully, D., Snook, J., Wiltschko, A. og Rahimi, A. Winner's Curse? Om hastighed, fremskridt og strenghed af empirisk bevis (ICLR, 2018).
Armstrong, TG, Moffat, A., Webber, W. og Zobel, J. Ikke-additive forbedringer: Foreløbige søgeresultater siden 1998. 18. ACM-konference om informations- og videnstyring 601–610 (ACM 2009).
Kapoor, S. og Narayanan, A. Lækage- og reproducerbarhedskriser inden for maskinlæringsbaseret videnskab. Mønstre, 4, 100804 (2023).
Kapoor S. et al. Reform: Videnskabelige rapporteringsstandarder baseret på maskinlæring. Fortryk tilgængelig på https://arxiv.org/abs/2308.07832 (2023).
Demasi, O., Cording, C. og Recht, B. Menneskelig sammenligning kan føre til falsk optimisme inden for medicinsk maskinlæring. PLOS ONE 12, E0184604 (2017).
Roberts, M., et al. Almindelige faldgruber og bedste praksis til brug af maskinlæring til at detektere og forudsige COVID-19 fra røntgenstråler i brystet og computertomografi. Nat. Maks. Intel. 3, 199–217 (2021).
Winantz L. et al. Forudsigelige modeller til diagnose og prognose for Covid-19: En systematisk gennemgang og kritisk vurdering. BMJ 369, M1328 (2020).
Whalen S., Schreiber J., Noble WS og Pollard KS, der overvinder faldgruerne ved at bruge maskinlæring i genomik. Nat. Pastor Ginette. 23, 169–181 (2022).
Atris N. et al. Bedste praksis til maskinlæring i kemi. Nat. Kemisk. 13, 505–508 (2021).
Brunton SL og Kutz JN lovende retninger til maskinlæring af delvis differentialligninger. Nat. beregne. videnskab. 4, 483–494 (2024).
Vinuesa, R. og Brunton, SL forbedrer beregningsvæskedynamikken gennem maskinlæring. Nat. beregne. videnskab. 2, 358–366 (2022).
Comeau, S. et al. Videnskabelig maskinlæring med fysisk informerede neurale netværk: hvor vi er nu og hvad der er næste. J. Science. beregne. 92, 88 (2022).
Duraisamy, K., Yaccarino, G. og Xiao, H. Turbulensmodellering i datatiden. Revideret udgave af Ann. 51, 357–377 (2019).
Durran, DR Numeriske metoder til løsning af bølgeforligninger i geofysisk hydrodynamik, vol. 32 (Springer, 2013).
Mishra, S. En maskinlæringsramme til accelererende datadrevet beregning af differentialligninger. matematik. ingeniør. https://doi.org/10.3934/mine.2018.1.118 (2018).
Kochikov D. et al. Maskinindlæring - Acceleration af beregningsvæskedynamik. proces. National Academy of Sciences. videnskab. US 118, E2101784118 (2021).
Kadapa, K. Machine Learning for Computer Science and Engineering - En kort introduktion og nogle nøgleproblemer. Fortryk tilgængelig på https://arxiv.org/abs/2112.12054 (2021).
Ross, A., Li, Z., Perezhogin, P., Fernandez-Granda, C., og Zanna, L. Sammenlignende analyse af maskinindlæring af havundergridparameterisering i idealiserede modeller. J.Adv. Model. jordsystem. 15. E2022MS003258 (2023).
Lippe, P., Wieling, B., Perdikaris, P., Turner, R. og Brandstetter, J. PDE -forfining: Opnå nøjagtige lange ekstruderinger med en neural PDE -solver. 37. konference om neurale informationsbehandlingssystemer (Neurips 2023).
Frachas, PR et al. Backpropagation -algoritme og reservoirberegning i tilbagevendende neurale netværk til forudsigelse af kompleks spatiotemporal dynamik. Neuralt netværk. 126, 191–217 (2020).
Raissi, M., Perdikaris, P. og Karniadakis, GE Physics, Computer Science, Neural Networks: En dyb læringsramme til løsning af fremad og omvendte problemer, der involverer ikke -lineære delvise differentialligninger. J. Computer. Fysik. 378, 686–707 (2019).
Grossmann, TG, Komorowska, UJ, Lutz, J. og Schönlieb, K.-B. Kan fysikbaserede neurale netværk overgås endelige elementmetoder? Ima J. Applications. matematik. 89, 143–174 (2024).
De la Mata, FF, Gijon, A., Molina-Solana, M. og Gómez-Romero, J. Fysikbaserede neurale netværk til datadrevet modellering: fordele, begrænsninger og muligheder. Fysik. A 610, 128415 (2023).
Zhuang, P.-Y. & Barba, LA En empirisk rapport om fysikbaserede neurale netværk i flydende modellering: faldgruber og skuffelser. Fortryk tilgængelig på https://arxiv.org/abs/2205.14249 (2022).
Zhuang, P.-Y. og Barba, LA -forudsigelige begrænsninger af fysisk informerede neurale netværk på Vortex -dannelse. Fortryk tilgængelig på https://arxiv.org/abs/2306.00230 (2023).
Wang, S., Yu, H. og Perdikaris, P. Hvornår og hvorfor pinns undlader at træne: et neuralt tangentkerneperspektiv. J. Computer. Fysik. 449, 110768 (2022).
Krishnapriyan, A., Gholami, A., Zhe, S., Kirby, R., and Mahoney, MW Characteristics of possible failure modes in physical information neural networks. 35. konference om Neural Information Processing Systems Vol. 34, 26548–26560 (Neurips 2021).
Basir, S. og Senokak, I. En kritisk undersøgelse af fejltilstande i fysikbaserede neurale netværk. I AIAA Scitech 2022 Forum 2353 (Ark, 2022).
Karnakov P., Litvinov S. og Koumoutsakos P. Løsning af fysiske omvendte problemer ved at optimere diskrete tab: hurtig og nøjagtig læring uden neurale netværk. behandle. National Academy of Sciences. videnskab. Nexus 3, PGAE005 (2024).
Gundersen OE grundlæggende principper for reproducerbarhed. Phil.Cross. R. Shuker. A 379, 20200210 (2021).
Aromataris E og Pearson A. Systematiske anmeldelser: En oversigt. Ja. J. Nursing 114, 53–58 (2014).
Magiera, J., Ray, D., Hesthaven, JS og Rohde, K. Begrænsningsbevidste neurale netværk til Riemann-problemet. J. Computer. Fysik. 409, 109345 (2020).
Bezgin DA, Schmidt SJ og Adams NA-datadrevet fysisk informeret endeligt volumenkredsløb for ikke-klassiske reducerede spændingsstød. J. Computer. Fysik. 437, 110324 (2021).


Posttid: SEP-29-2024