Учёные о улучшении воспроизводимости в гидрологических исследованиях
В шести авторитетных журналах по гидрологии и водным ресурсам, опубликованных в 2017 году, предполагаемый процент исследований, результаты которых могли быть полностью воспроизведены, составлял только от 0,06 до 6,8 процента. Этот низкий уровень воспроизводимости не редкость в гидрологических исследованиях — факт, который многие ученые с готовностью признают. Тем не менее, команда исследователей из Университета штата Юта, возможно, нашла решение сделать эти исследования более воспроизводимыми.
В своей статье «Оценка доступности данных и воспроизводимости результатов исследований в гидрологии и водных ресурсах», опубликованной 26 февраля в журнале Nature’s Scientific Data , соавторы Дэвида Розенберга разработали инструмент онлайн- опроса для оценки воспроизводимости опубликованных исследований. Команда рецензировала 360 статей из шести журналов, посвященных водным ресурсам, опубликованных в 2017 году. Из 360 статей они могли полностью воспроизвести результаты только четырех статей.
«Наш инструмент исследования разбивает концепцию научной воспроизводимости на конкретные компоненты доступности данных, воспроизводимости результатов и воспроизводимости результатов», — сказал Розенберг, доцент кафедры гражданского и экологического проектирования в УрГУ. «Затем мы предлагаем, как авторы, журналы, спонсоры и учреждения могут использовать инструмент опроса, чтобы повысить низкие показатели воспроизводимости».
Авторы говорят, что воспроизводимость может быть разбита на три компонента:
- Доступны ли данные, модели, код, инструкции по применению и другие артефакты, использованные в работе?
- Можно ли использовать артефакты для воспроизведения опубликованных результатов?
- Могут ли результаты быть воспроизведены с новыми наборами данных?
Инструмент онлайн-опроса команды состоит из 15 вопросов и предоставляет контрольный список основных элементов, необходимых для доступности артефактов и воспроизводимости результатов. Артефакты — это общий термин для всех данных, программного обеспечения, моделей, кода, указаний и других материалов, необходимых для воспроизведения результатов в рамках исследования.
Команда обнаружила, что около 70 процентов отобранных статей заявили, что некоторые материалы были доступны, но только около 48 процентов материалов можно было найти в Интернете. Только около шести процентов из отобранных статей делали артефакты общедоступными, и только один процент из отобранных статей делали артефакты доступными и могли быть полностью воспроизведены.
Авторы сказали, что во многих статьях отсутствовали указания для получения результатов. По их словам, если авторы дают указания, количество статей, которые можно протестировать на воспроизводимость, удвоится. Статьи, в которых были доступны все артефакты, имели шанс 6 на 10 воспроизвести некоторые или все результаты. В двух журналах, опрошенных группой, требовались статьи, в которых указывалось, как можно получить доступ к артефактам, а в четырех журналах поощрялись заявления. Ни один журнал не требовал, чтобы авторы делали все артефакты доступными.
Инструмент опроса может помочь распознавать и поощрять авторов к достижению определенных уровней воспроизводимости. Например, авторы могут использовать инструмент опроса, чтобы самостоятельно оценить воспроизводимость своих результатов. Розенберг и его команда также рекомендуют систему медалей для распознавания различных уровней воспроизводимости:
- Бронзовая медаль: все артефакты доступны в статье или в открытых репозиториях
- Серебряная медаль: все артефакты доступны и результаты полностью воспроизводимы
- Золотая медаль: результаты полностью воспроизводимы, и общие результаты могут быть воспроизведены в разных условиях с одинаковыми или разными артефактами
Розенберг рекомендует размещать значки с медалями рядом со статьями в Интернете, чтобы узнавать авторов за их работу по воспроизведению и облегчать читателям поиск лучших методов воспроизведения. Розенберг и его команда присвоили четыре серебряные медали и шесть бронзовых медалей из 360 статей, которые они рассмотрели. Награждение золотыми медалями за воспроизводимость результатов остается важным направлением будущей работы.
«Мы надеемся, что инструмент опроса поможет авторам, журналам, спонсорам и учреждениям сделать научную работу более воспроизводимой», — сказал Розенберг. «Мы приветствуем обсуждение, чтобы улучшить инструмент опроса и улучшить воспроизводимость нашей науки».
