Система диагностики образовательных результатов является важным компонентом любой технологии обучения и требует значительного обновления и развития в связи с изменением подходов к выделению образовательных результатов. Анализ научно-педагогической литературы, электронных ресурсов позволили выявить ряд противоречий: между необходимостью развития и совершенствования системы адаптивного тестирования образовательных результатов (предметных-личностных-метапредметных) в условиях реализации ФГОС ОО и недостаточной проработанностью теоретических и практических аспектов данного вопроса; между возможностью реализации обучающей и диагностической функций при использовании адаптивных тестов и имеющимися системами тестирования образовательных результатов, в которых в основном реализуется контролирующая функция. Одним из значимых противоречий развития системы образования в процессе его модернизации является требование реализации личностно ориентированного подхода, а значит, учета личностных, в первую очередь, психических особенностей обучающихся, связанных с познавательной деятельностью, с одной стороны, и отсутствием средств их учета при диагностике образовательных результатов, с другой. Еще больше это противоречие усилилось на новом этапе развития диагностики, характеризующимся внедрением информационных технологий в процесс контроля, в большей степени, – тестирования. Компьютеризация контроля знаний и активное развитие тестовых технологий, а также потребность в совершенствовании процесса тестирования, в повышении его эффективности путем быстрого реагирования на уровень предметной подготовки испытуемых в процессе предъявления заданий обусловили необходимость разработки адаптивных тестов. Традиционно при разработке систем адаптированного тестирования в качестве основы для дифференциации заданий рассматривается их уровень сложности. Однако, этого, очевидно, недостаточно. В настоящее время важным является создание таких условий, при которых каждый учащийся сможет достичь максимально высокого для него уровня образовательных результатов в наиболее комфортном для него режиме за счет личностной ориентированности обучения вообще и построения системы контроля в частности. Это предполагает учет специфики познавательной деятельности каждого обучающегося, определяемой способами восприятия, переработки, хранения и воспроизводства информации, т.е. когнитивного стиля обучающегося. История разработки компьютерных адаптивных тестов ведется с 1970-х гг. В отличие от линейной структуры бумажного теста и его компьютеризированных версий, компьютерные адаптивные тесты (КАТ) имеют максимальную степень адаптивности. Они могут быть адаптированы для каждого студента в соответствии с его уровнем подготовки и способности к решению заданий разного уровня сложности. Таким образом, компьютерные адаптивные тесты (КAT) – это компьютерные тесты, которые созданы и адаптированы специально для каждого испытуемого на основе оценивания способностей тестируемого, и исходя из ответов на предыдущих шагах [1]. На преимущества компьютерных адаптивных тестов указывают все исследователи, занимающиеся проблемой. Так, Фленс и соавторы [2] показали, что по сравнению с бумажно-карандашными опросниками количество использованных предметов, основанных на процедурах CAT, уменьшается на 26–44 %, а некоторые эмпирические исследования [3–5] показали, что CAT может уменьшить количество элементов и время тестирования на 50 % и более без ухудшения точности измерений, и что CAT достаточно гибок, чтобы его можно было настроить для обеспечения оценки всех тестируемых. с одинаковой точностью, независимо от того, что все они могут быть потенциально представлены с различными предметами. Linacre [6] указала, что программы CAT могут улучшить валидацию, снизить нагрузку на людей и обеспечить более высокую точность измерений. Разработке адаптивных тестов с различными целями посвящены исследования отечественных и зарубежных исследователей. Так, рассматривались вопросы использования компьютерных адаптивных тестов при оценке знания английского языка и применения теории вероятности для подтверждения достоверности результатов такого тестирования [7]. Также изучалась комплексная задача определения уровня знаний обучаемого по результатам выполнения тестовых заданий, при этом были рассмотрены процедура построения оценок для заданного объема тестирования и процедура рекуррентного оценивания [8], оценка результатов обучения по отдельным дисциплинам студентов технических вузов [9]. В последнее время появились исследования, посвященные оценке интернет-зависимости с использованием систем адаптивного тестирования [10]. Не менее активно обсуждаются вопросы конструирования структуры компьютерного адаптивного теста. Так, в [9] предложена универсальная модель дифференциального оценивания знаний для применения в различных системах оценивания, а также простая для использования при реализации систем адаптивного тестирования знаний. В последнее десятилетие предлагается использование модели адаптивного тестирования на основе тестлетов [11], многосегментное компьютеризированное адаптивное тестирование для образовательных целей [12]. Несмотря на достаточно большое количество подходов в исследованиях к разработке содержания и структуры компьютерных адаптивных тестов, в руководствах по созданию компьютерных адаптивных тестов (например, [9]) в абсолютном большинств исследований основой для разработки заданий адаптивном тестировании образовательных целей является уровень их сложности. Несмотря на то, что в [12] подчеркивается, что изначально CAT была разработана как индивидуальная система тестирования, которая фокусируется на эффективной оценке способностей студента [13–15], тем не менее предъявление заданий обучающимся зависит от успешности выполнения ими предыдущих и определяется уровнем сложности заданий. В работе G. Gage Kingsbury, Steven L. Wise [16] вводятся три новые меры адаптации теста. Эти меры основаны на объеме информации, которую тест предоставляет отдельным испытуемым. Подводя итоги, можно сказать, что ни в одном из исследований нам не удалось найти постановки проблемы конструирования адаптивных тестов на основе учета индивидуальных особенностей обучаемых, за исключением успешности выполнения ими заданий разного уровня сложности. Исследования в области психологии (А. А. Реан, С. И. Розум, А. С. Потапов, М. А. Холодная и др.) указывают на различия в восприятии информации разными людьми ввиду особенностей строения и функционирования головного мозга. В частности, работа учащихся с информацией в предпочитаемой (или не предпочитаемой) форме влияет на результаты обучения. Поэтому помимо уровня сложности тестовых заданий, являющегося достаточно очевидным показателем, используемым при конструировании адаптивных тестов, целесообразно выделение по крайней мере еще одного основания для типизации заданий – это форма представления информации в заданиях, связанная с модальностями. В процессе обучения математике и естественно-научным дисциплинам выделяют три формы представления информации: вербальную (задания, основная информация в которых, представлена посредством слов), символьную (задания, основная информация в которых представлена посредством символов) и образно-графическую (задачи, основная информация в которых представлена посредством графических образов, но в этом случае могут присутствовать и пояснения в другой форме). В 2010–2016 гг. с нашим участием было проведено локальное исследование, которое продемонстрировало продуктивность построения системы адаптивных тестов на основе комбинации двух оснований: формы представления информации и уровня сложности [17]. Это исследование было продолжено в 2018–2020 гг. с расширением предметного содержания и возраста участников. Кроме выделенных уже оснований построения адаптивного теста было рассмотрено такое основание как три вида мышления: алгоритмическое, логическое и функционально-графическое. Точнее, их элементы. В качестве элементов функционально-графического мы рассматривали: умение воспринимать графическую информацию; умение переводить информацию, представленную в графическом виде, к другому виду (вербальному, символьному) и наоборот; умение преобразовывать график в график; умение выполнять различные преобразования информации, представленной в неграфическом виде (вербальном, аналитическом), посредником которых выступает график. Под восприятием графической информации понимаем способность считывать с графика, изображающего какие-либо явления природы, общества и т. д., необходимую информацию. Кроме того, заметим, что при первом и втором преобразованиях посредником может выступать информация, представленная любым способом, а именно аналитически, вербально или графически. В качестве элементов логического мышления рассматриваем следующие: умение анализировать условие математической задачи с указанной целью; умение делать выводы; умение обосновывать свои высказывания; умение выбирать нужные обоснования из нескольких предложенных; умение вести доказательные рассуждения. В качестве элементов алгоритмического мышления: умение выполнять действия по указанному алгоритму (знакомому или незнакомому); умение составлять новые алгоритмы, нацеленные на реализацию поставленных целей; умение оценивать длительность осуществления алгоритма и его сложность. Под алгоритмом решения задачи будем понимать понятное предписание, указывающее, какие операции и в какой последовательности необходимо выполнить с данными, чтобы решить любую задачу данного типа. Кроме формы представления информации и выделения отдельных видов мышления достаточно продуктивной представляется идея построения системы диагностики результатов обучения с учетом когнитивных стилей. Так, в исследованиях [18, 19] была показана положительная и значимая связь между когнитивными стилями и академическими достижениями школьников. В зависимости от специфики содержания учебного предмета и возраста учащихся могут быть выбраны те или иные стили. Таким образом, в нашем исследовании мы понимаем адаптивный тест как реализуемую на компьютере систему тестовых заданий различного типа (условие, требования и ответы в которых представлены в разной форме: образно-графической, символьной, вербальной и с ориентацией на разные виды мышления и на разные когнитивные стили), позволяющую предъявлять задания определенного уровня сложности в зависимости от результатов выполнения предыдущего задания. В качестве еще одной задачи построения системы адаптивного тестирования мы рассматриваем задачу более полной реализации, помимо диагностической, обучающей функции тестирования, т. е. повышение уровня усвоения учебного содержания. Методология и методы исследования. В процессе исследования были поставлены следующие вопросы: 1. Влияет ли использование адаптивных тестов как элемента текущего контроля при обучении математике на эффективность обучения, выражающуюся в более высоком уровне освоения предметного содержания? 2. Влияет ли использование адаптивных тестов на развитие умения решать задачи, ориентированные на использование различных видов мышления (алгоритмического, логического и функционально-графического)? 3. Для поиска ответа на вопрос в 2019 г. нами было организовано и проведено экспериментальное исследование на материале алгебры и начал анализа в старших классах средней школы (16–17 лет). В исследовании приняли участие 222 человека (110 – 10 класс и 112 – 11 класс) различных ОУ. Перед началом обучения учащимся были предложена диагностическая работа на материале основной школы. В ходе анализа их решения было сделано заключение, что учащиеся: 1) не умеют выделять этапы и отдельные действия при решении задачи (56 %); 2) не умеют до конца грамотно обосновывать свои высказывания (72 %); 3) не всегда правильно применяют теоретические знания (79 %); 4) решают все задания по преимуществу аналитическим способом, не рассматривая другие (86 %). Кроме того, по результатам выполнения работы для каждого учащегося был определен его «профиль». Для организации обучения из учащихся были сформированы по две группы в каждом классе: (54+56 в 10 классе и 56+56 в 11 классе). Уровень успеваемости учащихся контрольных и экспериментальных групп был примерно одинаковым. Первая группа учащихся (контрольная) на протяжении полугодия обучалась без использования адаптивных тестов как элемента текущего контроля, а вторая группа (экспериментальная) обучалась с использованием системы адаптивных тестов. Каждый тест состоял из 27 заданий (по три задания на каждый из трех видов мышления трех уровней сложности) с кратким ответом в форме числа или предполагающие множественный выбор. Всего было составлено восемь тестов для каждого класса. По ходу эксперимента фиксировалась индивидуальная траектория прохождения теста каждым учащимся. В конце обучения всем учащимся была предложена контрольная работа с одинаковым содержанием для контрольной и экспериментальной групп. Для статистической проверки гипотезы об эффективности использования адаптивных тестов в процессе обучения был использован критерий Пирсона или как его еще называют «критерий 2 » с вероятностью ошибки ,0 05 (или с достоверностью 95 %). Результаты экспериментального исследования и данные, полученные в ходе статистической проверки, позволили сформулировать следующие выводы: адаптивные тесты являются эффективным средством текущего контроля в процессе обучения математике в основной и старшей школе на базовом уровне; их систематическое использование позволяет большинству учащихся повысить уровень сформированности умения решать задачи, условие в которых представлено в разной форме, а также развить. Полученные результаты позволяют сделать предположение о продуктивности построения системы адаптивных тестов по математике с ориентацией на диагностическую и обучающую функции для средней школы на основе комбинации трех оснований: формы представления информации, ориентации заданий на задействовании механизмов одного из трех типов мышления: алгоритмического, логического, функционально-графического. Кроме того, частичная апробация идеи построения адаптивного теста на основе трех выделенных оснований на содержании предметов естественнонаучного цикла (физики и химии), позволяет расширить эту работу на их содержание в рамках средней школы.
Список литературы
1. Almond R. G., Mislevy R. J. (1999). Graphical models and computerized adaptive testing. Appl. Psychol. Meas. 23 223–237. 10.1177/0146621615590401.
2. Flens G., Smits N., Carlier I., van Hemert A. M., de Beurs E. (2016). Simulating computer adaptive testing with the mood and anxiety symptom questionnaire // Psychol. Assess. 28:953. 10.1037/pas0000240.
3. Weiss D. J., Kingsbury G. G. Application of computerized adaptive testing to educational problems. J. Educ Measure. 1984. 21. P. 361–375. URL: https://doi.org/ 10.1111/j.1745-3984.1984.tb01040.x.
4. Kingsbury G. G., Хаузер Р. Л. Разработка компьютеризированных адаптивных тестов для школьников // Драсгов Ф., Олсон-Бьюкенен Дж. Б., редакторы. Инновации в компьютерной оценке. Махвах (Нью-Джерси): Эрлбаум; 1998. С. 93–116.
5. NJ. Thissen, RJ Mislevy, J Wainer. Testing algorithms. In: Wainer H. Computerized adaptive testing: A primer D, 2000. Erlbaum Hillsdale. P. 101–133.
6. Linacre JM (2000). Компьютерное адаптивное тестирование: методика, время которой пришло», в статье «Разработка компьютерных тестов успеваемости в средней школе», MESA Research Memorandum Vol. 69 eds Chae S., Kang U., Jeon E., Linacre JM (Seoul: Komesa Press).
7. Золотова М. В., Делягина Л. К., Каминская Н. В., Мартьянова Т. В. Компьютерные адаптивные тесты и достоверность результатов тестирования по английскому языку // Вестник Нижегородского университета им. Н. И. Лобачевского. 2014.
8. Баранов Н. А., Маслякова И. Н. Оценивание уровня знаний обучаемого по результатам тестирования с непрерывным показателем качества // Научный вестник МГТУ ГА. Сер.: Прикладная математика. Информатика. 2009. № 145.
9. Белоус Н. В., Куцевич И. В., Куцевич Н. Н. Моделирование процесса проведения и оценивания практикумов по компьютерной дискретной математике с использованием адаптивного тестирования // Математические машины и системы. 2009. № 3.
10. Zhang Y., Wang D., Gao X., Cai Y., Tu D. Development of a Computerized Adaptive Testing for Internet Addiction // Front Psychol, V. 10. 2019, PMC6514228
11. Frey A., Seitz N.-N., Brandt S. Testlet-Based Multidimensional Adaptive Testing // Front Psychol. 2016. 7 : 1758. URL: https://doi.org/10.3389/fpsyg.2016.01758.
12. Eggen Theo J. H. M. Multi-Segment Computerized Adaptive Testing for Educational Testing Purposes // Front. Educ., 11 December 2018, 3: 111. doi: 10.3389 / feduc. 2018.00111
13. Lord F. M. (1970). Some test theory for tailored testing // Computer-Assisted Instruction, Testing, and Guidance, ed W.H. Holtzma (New York, NY: Harper and Row), 139–183.
14. Van der Linden, W. J., and Glas, C. A. W. (eds.). (2010). Elements of Adaptive Testing. NewYork, NY: Springer. doi: 10.1007/978-0-387-85461-8
15. Wainer, H. (Ed.). (2000). Computerized adaptive testing. A primer, 2nd Edn. Hilsdale, NJ: Lawrence Erlbaum Associates. doi: 10.4324/9781410605931
16. G. Gage Kingsbury, Steven L. Wise. Three Measures of Test Adaptation Based on Optimal Test Information. Journal of Computerized Adaptive Testing. Vol 8, N 1 (2020)
17. Родионова (Чибичян) М. С. Методика использования адаптивных тестов при обучении алгебре и началам анализа // Научное мнение. 2016. № 13. С. 79–84. URL: https://elibrary.ru/item.asp?id=27297906.
18. Poh Bee Theen and Melissa Ng Lee Yen Abdullah (2008). The Effect of Gender, Ethnicity and Cognitive Styles on Achievement in General Paper // Jurnal Pendidik dan Pendidikan, Jul 23, 123–140, 2008.
19. Ramlah Jantan dan Md. Nasir Masran (2007). Relationship Between Students’ Cognitive Style and Teachers’ Teaching Style With Their Mathematic Achievement. Grant Research Report for Sultan Idris Education University.Tg. Malim : UPSI
