Про мівіну, яку вішають на вуха

Автор: Ігор Лікарчук, доктор педагогічних наук, професор

Останніми днями уважно вивчаю оприлюднене дослідження щодо ставлення до НМТ.

Оскільки я не є фаховим соціологом, а маю досвід насамперед у сфері освітнього оцінювання та тестології, попросив ChatGPT допомогти мені подивитися на це дослідження очима соціолога та методолога.

Нижче публікую текст, підготовлений за результатами нашої дискусії із ChatGPT. Ці думки не претендують на істину в останній інстанції, але містять низку запитань, які, на мою думку, заслуговують на обговорення.

«Що можна і чого не можна стверджувати на підставі оприлюдненого дослідження щодо НМТ

Аналізуючи оприлюднені результати дослідження про ставлення до НМТ, варто розрізняти дві різні речі: власне результати дослідження і їхню публічну інтерпретацію.

З представлених даних справді випливає, що значна частина респондентів підтримує НМТ як механізм вступу до закладів вищої освіти. Однак із цього автоматично не випливає висновок про відсутність проблем у нинішній моделі НМТ або про її беззаперечну ефективність.

Більше того, самі оприлюднені результати містять низку показників, які дозволяють побачити ситуацію значно складнішою.

Наприклад, лише 47% учнів вважають шкільну підготовку достатньою для успішного складання НМТ. Водночас 44% оцінюють її як недостатню, а ще 8% не визначилися з відповіддю.

Залежно від інтерпретації це можна подати двома способами.

Перший: думки учнів розділилися майже порівну.

Другий: більше половини учнів не готові однозначно підтвердити, що школа самостійно забезпечує якісну підготовку до вступного тестування.

Обидва висновки формально ґрунтуються на тих самих цифрах.

Подібна ситуація і з питанням репетиторства.

У презентації зазначено, що 44% учнів користуються послугами репетиторів. Однак без тексту анкети неможливо зрозуміти, що саме автори вкладали в поняття «репетиторство».

Чи враховувалися групові заняття? Онлайн-курси? Підготовчі програми університетів? Освітні платформи? Відповіді на ці питання відсутні.

Тому інтерпретація самого показника залишається проблематичною.

Ще важливішим є те, якої інформації у звіті немає.

Для професійної оцінки якості будь-якого соціологічного дослідження зазвичай необхідні:

* повний текст анкети;

* точні формулювання запитань;

* структура вибірки;

* перехресні таблиці відповідей;

* інформація про пропуски та відмови;

* опис методики обробки результатів.

У доступній презентації значна частина цієї інформації відсутня.

Через це неможливо повною мірою оцінити валідність окремих висновків і перевірити, чи справді отримані відповіді вимірюють саме ті явища, про які йдеться у висновках.

Також варто звернути увагу на те, що дослідження переважно вимірює ставлення до НМТ як механізму вступу.

Натомість воно майже не відповідає на питання, які сьогодні активно обговорюються в освітянському середовищі:

* наукова обґрунтованість шкалювання результатів;

* вплив НМТ на зміст шкільного навчання;

* роль репетиторства;

* якість тестових завдань;

* можливості апеляції;

* справедливість порівняння результатів різних сесій тестування.

Саме тому результати дослідження слід розглядати як джерело важливої інформації про суспільні настрої, але не як остаточну відповідь на питання про якість та ефективність нинішньої моделі НМТ.

Головний висновок, який можна зробити на підставі оприлюдених матеріалів, полягає в іншому:

дослідження заслуговує на уважне вивчення, але для повноцінної професійної оцінки його результатів необхідне оприлюднення повного звіту, анкети та всіх методичних матеріалів.

У сфері оцінювання існує простий принцип: якість тесту неможливо оцінити без аналізу самого тесту.

У соціології діє аналогічне правило: результати опитування неможливо повноцінно оцінити без ознайомлення з інструментом, яким ці результати були отримані». 

Ось такою є відповідь ChatGPT. 

Не бачу потреби її коментувати. 

Лише зроблю висновок про… мівіну.

Є  українська приказка про те, що означає, коли на вуха вішають локшину

Мівіна - не локшина. На мою думку, вона від хорошої локшини значно гірша. Тим більше, дуже шкода, коли саме її намагаються навішати на вуха.

І дуже шкода, коли саме її намагаються видати за повноцінну страву. Особливо тоді, коли йдеться про настільки важливі для суспільства питання, як освіта та вступ до університетів.