Про современную науку

Всяческий Бред - Идти на Главную Страницу >>>


Полезные Сведенья
Кухонная Философия
Общество и его пороки
Еда и Питье
"Веселые" Картинки

Пишите Письма



April 24, 2016

Last summer, the Open Science Collaboration announced that it had tried to replicate one hundred published psychology experiments sampled from three of the most prestigious journals in the field. Scientific claims rest on the idea that experiments repeated under nearly identical conditions ought to yield approximately the same results, but until very recently, very few had bothered to check in a systematic way whether this was actually the case. The OSC was the biggest attempt yet to check a field’s results, and the most shocking. In many cases, they had used original experimental materials, and sometimes even performed the experiments under the guidance of the original researchers. Of the studies that had originally reported positive results, an astonishing 65 percent failed to show statistical significance on replication, and many of the remainder showed greatly reduced effect sizes.

Their findings made the news, and quickly became a club with which to bash the social sciences. But the problem isn’t just with psychology.


Paradoxically, the situation is actually made worse by the fact that a promising connection is often studied by several independent teams. To see why, suppose that three groups of researchers are studying a phenomenon, and when all the data are analyzed, one group announces that it has discovered a connection, but the other two find nothing of note. Assuming that all the tests involved have a high statistical power, the lone positive finding is almost certainly the spurious one. However, when it comes time to report these findings, what happens? The teams that found a negative result may not even bother to write up their non-discovery. After all, a report that a fanciful connection probably isn’t true is not the stuff of which scientific prizes, grant money, and tenure decisions are made.

And even if they did write it up, it probably wouldn’t be accepted for publication. Journals are in competition with one another for attention and “impact factor,” and are always more eager to report a new, exciting finding than a killjoy failure to find an association. In fact, both of these effects can be quantified. Since the majority of all investigated hypotheses are false, if positive and negative evidence were written up and accepted for publication in equal proportions, then the majority of articles in scientific journals should report no findings. When tallies are actually made, though, the precise opposite turns out to be true: Nearly every published scientific article reports the presence of an association. There must be massive bias at work.


But, and there is no putting it nicely, deliberate fraud is far more widespread than the scientific establishment is generally willing to admit. One way we know that there’s a great deal of fraud occurring is that if you phrase your question the right way, ­scientists will confess to it. In a survey of two thousand research psychologists conducted in 2011, over half of those surveyed admitted outright to selectively reporting those experiments which gave the result they were after. Then the investigators asked respondents anonymously to estimate how many of their fellow scientists had engaged in fraudulent behavior, and promised them that the more accurate their guesses, the larger a contribution would be made to the charity of their choice. Through several rounds of anonymous guessing, refined using the number of scientists who would admit their own fraud and other indirect measurements, the investigators concluded that around 10 percent of research psychologists have engaged in outright falsification of data, and more than half have engaged in less brazen but still fraudulent behavior such as reporting that a result was statistically significant when it was not, or deciding between two different data analysis techniques after looking at the results of each and choosing the more favorable.


If peer review is good at anything, it appears to be keeping unpopular ideas from being published. Consider the finding of another (yes, another) of these replicability studies, this time from a group of cancer researchers. In addition to reaching the now unsurprising conclusion that only a dismal 11 percent of the preclinical cancer research they examined could be validated after the fact, the authors identified another horrifying pattern: The “bad” papers that failed to replicate were, on average, cited far more often than the papers that did! As the authors put it, “some non-reproducible preclinical papers had spawned an entire field, with hundreds of secondary publications that expanded on elements of the original observation, but did not actually seek to confirm or falsify its fundamental basis.”

What they do not mention is that once an entire field has been created—with careers, funding, appointments, and prestige all premised upon an experimental result which was utterly false due either to fraud or to plain bad luck—pointing this fact out is not likely to be very popular. Peer review switches from merely useless to actively harmful. It may be ineffective at keeping papers with analytic or methodological flaws from being published, but it can be deadly effective at suppressing criticism of a dominant research paradigm. Even if a critic is able to get his work published, pointing out that the house you’ve built together is situated over a chasm will not endear him to his colleagues or, more importantly, to his mentors and patrons.


Полная статья по ссылке. Если вы совсем не понимаете английский оно вам возможно и ни к чему.

Но суть кратко в том, что в рамках проекта "Open Science Collaboration" ученые попытались повторить сотни опубликованных экспериментов, делали точно по описанию и иногда даже с участием тех, кто их изначально проводил. И выяснилось, что аж в 65% случаев с психологическими экспериментами результаты повторить не удается. И к сожалению, дело не ограничивается психологией. Чуть лучше дела в фармакологии, но тоже плохо. Меньше всего эта проблема в физике, но и там не идеально.

Воспроизводимость результатов эксперимента - одна из базовых концепций науки, если вы не в курсе. Если нельзя в точности повторить эксперимент и получить такой же точно результат, то выводы, которые из него сделали, можно смело считать херней. Так вот, повторяю, обнаружилось, что значительный процент публикаций описывает эксперименты, которые не удается повторить.

Но автор статьи копает глубже. Он указывает, что сложившаяся в современной науке система не только не служит взаимной проверке результатов, как следовало бы, но и прямо препятствует продвижению непопулярных теорий.

Тэги: Apr2016 Общество Полезные сведенья

posted by cm at April 25, 2016 Свернуть
Некоторое время поработав в науке, могу сказать, что да, явление действительно имеет место быть. В моей области даже такое произошло. Один заслуженный проффесор, выйдя на пенсию, сделал на главной отраслевой конференции доклад, который вскрыл проблемы в базе данных, на которой базировались множество изысканий последних 10-15 лет, ставя под вопрос интерпретацию их результататов. Тут две вещи особенно важны - он дождался пенсии, став таким образом независимым от научного общества, и донес информацию в виде доклада, который не проходит настолько жесткий контроль, как побликация.

А для неопубликованных результатов даже окрывали как-то сетевой научный журнал. Но, насколько я знаю, особой популярности он не сыскал.

В целом же, по моему мнению, не стоит излишне драматизировать ситуацию. Очень хорошо, что находятся исследователи, обращающие внимание на подобные вещи и вносящие вклад в улучшение качества научных работ, но система все равно работает скорее хорошо чем плохо, пусть даже и с этими ~10% махинаций и прочими издержками.
posted by мини_я at April 25, 2016 Свернуть
"система все равно работает скорее хорошо чем плохо" - это просто потому, что альтернатив нет. Она работает лучше, чем ее отсутствие.
posted by cm at April 27, 2016 Свернуть
Да, все верно.

пользователь: пароль:
регистрироваться  Залогинится под OpenID


Jun2020   May2020   Apr2020   Mar2020   Feb2020   Jan2020   Dec2019   Nov2019   Oct2019   Sep2019   Aug2019   Jul2019   Jun2019   May2019   Apr2019   Mar2019   Feb2019   Jan2019   Dec2018   Nov2018   Oct2018   Sep2018   Aug2018   Jul2018   Jun2018   May2018   Apr2018   Mar2018   Feb2018   Jan2018   Dec2017   Nov2017   Oct2017   Sep2017   Aug2017   Jul2017   Jun2017   May2017   Apr2017   Mar2017   Feb2017   Jan2017   Dec2016   Nov2016   Oct2016   Sep2016   Aug2016   Jul2016   Jun2016   May2016   Apr2016   Mar2016   Feb2016   Jan2016   Dec2015   Nov2015   Oct2015   Sep2015   Aug2015   Jul2015   Jun2015   May2015   Apr2015   Mar2015   Feb2015   Jan2015   Dec2014   Nov2014   Oct2014   Sep2014   Aug2014   Jul2014   Jun2014   May2014   Apr2014   Mar2014   Feb2014   Jan2014   Dec2013   Nov2013   Oct2013   Sep2013   Aug2013   Jul2013   Jun2013   May2013   Apr2013   Mar2013   Feb2013   Jan2013   Dec2012   Nov2012   Oct2012   Sep2012   Aug2012   Jul2012   Jun2012   May2012   Apr2012   Mar2012   Feb2012   Jan2012   Dec2011   Nov2011   Oct2011   Sep2011   Aug2011   Jul2011   Jun2011   May2011   Apr2011   Mar2011   Feb2011   Jan2011   Dec2010   Nov2010   Oct2010   Sep2010   Aug2010   Jul2010   Jun2010   May2010   Apr2010   Mar2010   Feb2010   Jan2010   Dec2009   Nov2009   Oct2009   Sep2009   Aug2009   Jul2009   Jun2009   May2009   Apr2009   Mar2009   Feb2009   Jan2009   Dec2008   Nov2008   Oct2008   Sep2008   Aug2008   Jul2008   Jun2008   May2008   Apr2008   Mar2008   Feb2008   Jan2008   Dec2007   Nov2007   Oct2007   Sep2007   Aug2007   Jul2007   Jun2007   May2007   Apr2007   Mar2007   Feb2007   Jan2007   Dec2006   Nov2006   Oct2006   Sep2006   Aug2006   Jul2006   Jun2006   May2006