Нова инициатива, ръководена от екипа зад Retraction Watch, се насочва срещу погрешни или фалшифицирани медицински изследвания – с подкрепа от близо 1 милион долара.
Центърът за научна почтеност (Center for Scientific Integrity) стартира Medical Evidence Project – двугодишно усилие за откриване на медицински публикации с вредно влияние върху здравните насоки – и гарантиране, че обществото научава за тях.
С подкрепа от грант от $900,000 от Open Philanthropy и екип от до петима изследователи, проектът ще използва съдебно-метанаучни инструменти за откриване на проблеми в научни статии и ще докладва откритията чрез Retraction Watch – водещият сайт за наблюдение на научната почтеност.
„Създадохме Центъра за научна почтеност като дом на Retraction Watch, но винаги сме се надявали да направим повече в сферата на отговорността в научните изследвания,“ сподели Иван Орански, изпълнителен директор на Центъра. „Проектът Medical Evidence ни позволява да подкрепим критичния анализ и публичното разкриване на резултатите.“
Според сп. Nature, фалшивите или изкривени научни публикации изопачават метаанализи – прегледи, които комбинират резултати от множество изследвания с цел да се направят по-надеждни изводи. Само едно-две фалшиви изследвания могат да обърнат посоката на здравната политика.
Пример за последици: през 2009 г. европейски здравен стандарт препоръча употреба на бета-блокери по време на некардиохирургични операции, базирайки се на изследвания от началото на века, които по-късно бяха оспорени. Независим анализ предполага, че тази препоръка може да е допринесла за до 10,000 смъртни случая годишно във Великобритания.
Проектът, ръководен от Джеймс Хийдърс, консултант по научна почтеност, планира разработване на софтуерни инструменти, анализ на сигнали от анонимни податели и заплащане на независими рецензенти за проверка на съмнителни публикации. Целта е да се идентифицират поне 10 грешни метаанализа годишно.
Тимът работи в особено критичен момент. Както съобщи Gizmodo, академичната среда вече е залята от генерирана от ИИ псевдонаука, която прониква дори в рецензирани списания. Изследване, публикувано в Misinformation Review към Харвард, установява, че две трети от проверени статии в Google Scholar съдържат признаци на текст, създаден от ИИ – включително 14.5% свързани със здравето.
Проблемът се задълбочава, защото Google Scholar не прави разлика между рецензирани изследвания и предварителни публикации или студентски работи. А когато такива материали попаднат в метаанализи или се цитират от лекари, последиците могат да бъдат сериозни. Както казва един изследовател пред Gizmodo:
„Ако не можем да сме сигурни, че прочетеното изследване е истинско, рискуваме да взимаме решения на база грешна информация.“
Подобни случаи вече са факт. През 2021 г. Springer Nature оттегли над 40 публикации от Arabian Journal of Geosciences, които звучали толкова абсурдно, че приличали на AI-генерирани текстови шаблони. Миналата година Frontiers изтегли статия с анатомично невъзможни AI-генерирани изображения на плъши гениталии.
Навлизаме в ерата на дигитални фосили, в която моделите на изкуствен интелект, обучени с уеб съдържание, започват да възпроизвеждат несъществуващи научни термини. Пример: в началото на тази година екип учени открива объркани фрази от биологична статия от 1959 г., вградени в отговорите на езикови модели като GPT-4o на OpenAI.
На този фон мисията на Medical Evidence Project изглежда повече като спешна намеса, отколкото като рутинно почистване. Екипът се бори с потоп от фалшива информация, която се крие на видно място – и която, ако бъде възприета без проверка, може да доведе до реални вреди за здравето.
