Falcão (falcao) wrote,
Falcão
falcao

  • Mood:
  • Music:

тест о тесте

Этот пост относится к логической тематике, поэтому идёт без "замка".

Не так давно я во многих блогах видел обсуждение следующей задачи, условие которой можно увидеть на картинке:



Я оставил несколько комментов по этому поводу здесь, а также здесь. Помимо той задачи, которой посвящена картинка, там обсуждались её "вариации". Сам по себе вопрос, как мне кажется, несложный, и в целом тут совершенно ясно, как надо рассуждать. Но мне бросилось в глаза одно обстоятельство: когда речь идёт о ситуациях "естественных" или "нормальных", то люди обычно рассуждают правильно и не испытывают особых трудностей. Однако в случаях "аварийных", когда становится ясно, что с условием "что-то не то", у многих рассуждения начинают "пробуксовывать". Кто-то "ходит по кругу", кто-то делает не вполне обоснованные выводы, кто-то путает одно с другим. Поэтому я решил написать этот пост, чтобы "снять" все вопросы. Те ошибки, которые совершались в процессе обсуждения, носили обычно не логический, а методологический характер. То есть они относились к "ошибкам деятельности". Это происходит очень часто (я бы даже сказал, что почти всегда), когда люди увлекаются "содержательной" стороной рассуждений и забывают, что мы вообще при этом делаем? Пытаемся ответить на какой-то вопрос, или разбираем одну из "версий", или анализируем то, как следует "правильно" поступать в той или иной ситуаций?

Особого внимания заслуживает вопрос о трактовке тех или иных понятий, а также (что в первую очередь важно с методологической точки зрения) "очерёдности" их введения. Это всё я тоже хочу проанализировать "по ходу дела".

Прежде всего, я начну с обсуждения самого условия. Есть тест с 4 вариантами ответов на вопрос. Выбирается "случайно" один из пунктов (с одинаковой вероятностью, что подразумевается); ответ оценивается как "правильный" или "неправильный". Оценивается "кем-то" и "как-то", и это надо иметь в виду, "абстрагируясь" на время от сути. (Отказ от последнего, кстати, является очень распространённым препятствием на пути к решению: люди уже начинают "делать выводы", не отдавая себе должного отчёта, о чём они.) Исходя из ответов опрошенных, далее оцениваются "шансы". Если из 100 отвечающих 30 ответили "правильно", то шансы составляют 30%. Важно заметить, что ответы должны оцениваться, а без этого ни о каких "шансах" говорить просто невозможно.

Не лишне будет сделать несколько замечаний общего характера по поводу тестов как таковых. Прежде всего, можно ввести такое понятие как "классический" тест. Это когда даётся 4 варианта ответа, и ровно один из них является правильным. В таком случае шансы угадать ответ при случайном выборе составляют, очевидно, 25%. Легко заметить также, что предложенный выше тест не может оказаться "классическим". В противном случае оказалось бы, что правильных ответов два (A и D), что сразу же приводит к противоречию.

Но в принципе нет ничего удивительного в том, что тест может оказаться "неклассическим". Например, может быть задан вопрос о местонахождении Эйфелевой башни с вариантами ответа, где она находится. Если эти варианты таковы: A) в Париже, B) в столице Франции, C) в Берлине, D) в Праге, то при "стандартном" толковании и при отсутствии "подвохов", каждый из ответов A, B соответствует действительности. И потому должен засчитываться как "правильный". Здесь 50% "роботов" имеют шансы дать правильный ответ.

Замечу здесь, что во всех случаях выбирается только один из предложенных ответов -- именно это соответствует условию исходной задачи. В принципе, конечно, возможны такие тесты, где требуется указать все верные пункты, но эти ситуации находятся вне нашего рассмотрения. (Сделать всё это возможно, но при этом сильно усложнится описание "правил игры", включая принцип "случайного" выбора.)

Наконец, вполне мыслима и такая ситуация, когда нам предлагают тест, где нет ни одного правильного варианта. Если на вопрос об авторстве "Евгения Онегина" нам предложат что-нибудь типа A) Шекспир B) Гораций С) Державин D) Маяковский, то понятно, что 0% опрошенных ответит правильно, выбирая из этих ответов. Это выглядит совершенно бесспорно, и при этом не надо задаваться вопросом "а как же быть?" Важно понимать, что эта проблема перед нами не стоит: мы не участвуем здесь в чём-то типа ЕГЭ, а всего лишь "со стороны" оцениваем шансы кого-то, кто это делает.

Думаю, всем должно быть понятно, что и в предложенной выше задаче ситуация ровно такая же: ни один из предложенных ответов не может оказаться правильным "по факту". И потому окончательным ответом будет именно 0%, и ничего более.

А теперь я хочу рассмотреть две "модификации" задачи, но прежде надо ввести понятие "некорректного" теста. Таковым мы будем считать тест, где авторы считают правильным то, что на самом деле правильным не является, или когда они не считают правильным то, что является таковым "по факту". Те примеры тестов, где есть два верных ответа из четырёх, или где ни одного верного ответа не приведено -- там авторы нигде не "грешат" против истины. Да, в тесте с "Онегиным" они ставят в трудное положение того, кто вынужден дать неверный ответ. И такой тест, конечно, язык не поворачивается назвать "корректным". Но авторы при этом могут сказать: ну и что такого -- мы и сами не считаем автором известного романа в стихах никого из названных литераторов! И отвечать там вообще ничего не нужно -- вопрос полагается пропустить. Конечно, это "на грани фола", но это принципиально отличается от ситуации, когда верным считался бы ответ "Гораций", или Эйфелева башня считалась бы находящейся в Берлине.

Таким образом, я хочу подвести к следующей мысли: следует исходить из предположения, что тест как минимум не является "некорректным" в упомянутом выше смысле. Я сейчас вспомнил, что один из комментаторов задавал где-то вопрос о том, в каком смысле тот или иной ответ понимается как "правильный". Ведь в этом есть некоторая проблема, потому что интерпретаций возможно как минимум две: "правильный" с точки зрения авторов теста (то есть "зачётный", засчитываемый в качестве правильного), и правильный "на самом деле", то есть соответствующий действительности (или не вступающий с ней в противоречие). Но хотя толкований два, и хотя оба должны быть нами "задействованы" (я уже отмечал, что без первого из этих толкований исчезает смысл понятия "шансов"), но они должны совпадать по смыслу -- в предположении, что тест не является заведомо некорректным.

А теперь, с учётом сделанных замечаний, я последовательно рассмотрю две "вариации". Одна из них была указана в посте Аввы. Это когда вопрос тот же, что на картинке, но вариантами ответов служат такие:

A) 25% B) 50% C) 60% D) 50%

Здесь довольно просто разобраться в сути, но я не уверен, что для всех было бы легко сформулировать "итог". В отличие от предыдущей задачи, которая имеет ровно одно решение и ровно один ответ (то есть 0%), здесь возможных решений имеется несколько, и задача состоит в их нахождении. Общее понимание такое: "решить задачу" (какую бы то ни было) означает описать все ситуации, удовлетворяющие условию. В "классических" задачах обычно бывает так, что ситуация всего одна. Но их может быть и несколько -- например, во всем известном примере из школьной программы: у квадратного уравнения может иметься два решения ("корня"), может быть всего одно, а может не быть ни одного. И вот на таком знакомом примере легко проследить довольно простую вещь. Если нам дают решить квадратное уравнение, то эта задача всегда имеет "решение", понимаемое как предъявление полного списка ответов. Который может оказаться и "пустым". Здесь нужно просто различать два понятия: "решение" как процесс "думания" над задачей (его уместно было бы назвать "решанием"), и "решение", понимаемое как "частное решение", то есть одно из возможных решений, удовлетворяющее всем поставленным условиям. А таковых может оказаться одно, или больше одного, либо вообще ни одного.

В свете этого, проанализируем новый вариант задачи. Мы пока ничего не знаем насчёт того, что авторы полагают "правильным". Но мы знаем то, что среди указанных вариантов, они вправе считать "правильными" от 0 до 4 ответов включительно (независимо от сути теста). При этом "шансы" ответить правильно будут составлять либо 0%, либо 25%, либо 50%, либо 75%, либо 100%. Никакие другие ответы (типа 33%) действительности соответствовать в принципе не могут. А из указанных пяти ответов нужно просто проверить каждый на "корректность".

Возможно ли, что ответ составляет 0%? Да, если авторы теста считают, что правильных ответов в их списке нет. Это возможно? Да, возможно. Тем самым имеем одно "частное решение".

Может ли быть так, что ответом является 25%? Опять-таки, да, и это в том случае, если авторы в качестве правильного ответа засчитывают пункт A (и ничего более). Это даёт второе "частное решение".

Ответ "50%" также будет соответствовать действительности, если авторы засчитывают в качестве "правильного" выбор как пункта B, так и пункта D (но при этом, конечно, не засчитывают других пунктов). Это приводит к третьему "частному решению".

Больше решений нет, потому что 75% или 100% может получиться только при условии, что авторы три или четыре ответа засчитывают отвечающим. Но тогда получилось бы, что засчитываются ответы, не соответствующие "правде" -- ведь ни варианта "75%", ни варианта "100%" в списке нет! Если кому-то покажется, что авторам достаточно считать "правильными" пункты A, B и D, когда число правильно ответивших составит 75%, то это неверно. Такая авторская "позиция" ведёт к заведомой "некорректности". Правилен ответ 75%, а засчитываются почему-то ответы совершенно с другими числами (25 и 50).

Итак, "модифицированная" задача имеет ровно три (частных) решения, и мы их только что перечислили.

Мне же наиболее интересным кажется вот какой вариант задачи (его предлагал рассмотреть один из участников "англоязычного" обсуждения, на которое имеется ссылка в посте Аввы):

A) 25% B) 50% C) 0% D) 25%

(Отличие от "оригинальной" задачи в том, что в пункте C число 60 заменили на ноль.) Здесь тот же анализ показывает, что "частных решений" вообще нет. Ответ "0%" правильным быть не может, так как его дадут 25% опрошенных. Ответ "25%" дадут 50% опрошенных, то есть он тоже не подходит. Ответ "50%" дадут 25% опрошенных, то есть и он не будет "правильным". Мы перечислили здесь все ответы из списка. Но если в списке нет правильного ответа -- по мнению авторов (это тоже логически возможный вариант, и его мы обязаны учесть), то 0% опрошенных ответят правильно. Это означает, что авторы не засчитывают в качестве правильного пункт C, что приводит к выводу о "некорректности" и такого теста.

Какой же верный вывод из этого всего? Такой, что данная задача уже не имеет ни одного "частного" решения. Что бы ни засчитывали авторы в качестве "правильных" вариантов (включая случай, когда они не засчитывают вообще ничего), их мнение будет "некорректно". То есть либо что-то неверное будет засчитываться как верное, либо что-то объективно верное не будет признаваться таковым.

Разумеется, это не есть какое-то "противоречие" в окружающей нас действительности. К противоречию нас здесь приводит только предположение о том, что какое-то (частное) решение есть. (Требуется, кстати, некоторый уровень "контроля" над собственными мыслями, чтобы осознавать тот факт, что такое предположение мы неявно делали, начиная рассуждать о "гипотетическом" решении.) В итоге же получается доказательство того, что решений данная задача не имеет (проводимое по принципу "рассуждения от противного"). Установив отсутствие решений, мы тем саму задачу в итоге "решили".

В заключение скажу только одну фразу: задачи такого типа мне нравятся прежде всего тем, что в них возможно разобраться совершенно "исчерпывающе". Конечно, мы всегда какие-то "неявные" предположения добавляем. Например, когда отбрасываем случай "некорректных" тестов. Но это более чем напрашивающаяся мысль, потому что анализировать нечто заведомо "некорректное" (типа того, что авторы взяли и объявили правильным ответ "91%" чисто "волюнтаристски") -- это неинтересный вид деятельности. При таких условиях вообще любые варианты становятся возможными, и исчезает "интрига". Которая почти всегда сводится к отделению "возможного" от "невозможного".
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 99 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →