Оценка поиска детьми информации в Интернете важна в целом ряде исследовательских задач: выявление отношения к релевантным страницам в браузере с целью улучшения качества этих страниц в поисковых системах (González-Ibáñez et al., 2016), проектирование страниц поисковых систем [Bilal, 2000], оценка учителями возможности успешного решения заданий и понимания библиотекарями действий детей в каталогах (Fidel et al., 1999; Shen, 2018).
В свою очередь, оценка поиска детьми информации в интернете имеет в основе изучение использования различных каталогов. Так, в начале 90-х годов внимание уделялось структуре он-лайн каталогов как на компьютере, так и на разных носителях, например CD-ROM. В 1993 г. исследование тенденций в изучении школьных библиотечных медиа показало, что 22 % исследований, проведенных в 1987–1991 гг., изучали потребности пользователей этих систем и их поисковое поведение (Grover, Fowler, 1993).
Именно поэтому оценку стратегий поиска информации школьниками проводят библиотекари, интересующиеся возможностями детей ориентироваться в сложных каталогах, учителя, которые хотят понять, насколько ученики способны выполнять предлагаемые им задания, а также представители поисковых систем, стремящиеся создать наиболее удобные условия поиска необходимого контента в процессе конкуренции за потребителя. В ходе этих исследований были предложены продуктивные методы, которые могут быть полезны исследователям, интересующимся тем, как люди ищут информацию, необходимую для исполнения поставленных целей и принимают решения в отношении выбора той или иной информации для дальнейшей работы.
Иногда применяют имитационные задачи вне Интернета (Borlund, 2003; Scharinger et al., 2016), но чаще испытуемые выполняют реальные задачи, поставленные перед ними. В первом случае все испытуемые находятся в абсолютно одинаковых условиях, во втором случае можно наблюдать реальный поиск решения.
Методы исследования можно условно разделить на программные, инструментальные и методы наблюдения.
Примером программного исследования стратегий поиска информации может быть исследование когнитивного, аффективного и физического поведения детей при использовании конкретного Интернет-продукта – поисковой системы Yahooligans!, которая предназначена для поиска информации по конкретной поисковой задаче (Bilal, 2000). В исследовании приняли участие двадцать два ученика седьмого класса средней школы, расположенной в Ноксвилле (штат Теннесси, США). Когнитивные стратегии и физическое поведение были зафиксированы с помощью Lotus ScreenCam, программного пакета на базе Windows, который захватывает и воспроизводит действия, записанные в веб-браузерах, таких, как Netscape. Эмоциональное состояние оценивалось индивидуально с помощью интервью после выполнения поиска. Методика WebTraversalMeasure использовалась для измерения эффективности поиска детьми в Yahooligans! С помощью разработанного опросника оценивали также опыт в использовании интернета, знание программ. Полученные данные были рекомендованы для обучения пользователей Интернета и проектирования поисковых систем.
В исследованиях, опирающихся на наблюдение, чаще всего, особенно на ранних этапах, когда Интернет еще не был обыденным явлением, опрашивали библиотекарей (Kuhlthau, 1994) и учителей, которые наблюдали за детьми во время работы в классе или библиотеке. Так, F.F. Jacobson и E.N. Ignacio (1997), основываясь на оценках библиотекаря и его комментариях к выполненным заданиям учеников в процессе поиска информации в Интернете, а также эссе учеников, рефлексирующих свои действия, оценили поисковое поведение старшеклассников. Среди полученных выводов авторы отметили, что, в отличие от детей младшего школьного возраста (Kafai, Bates, 1997), старшеклассники могли выработать четкие критерии для различения «хороших» и «плохих» веб-страниц для поиска и следовать им в своих действиях.
В работе, имеющей целью описать поисковое поведение учеников и предложить разработчикам внести конкретные изменения в дизайн веб-сайта, которые могут улучшить опыт обучения студентов (Fidel et al., 1999), участвовали старшеклассники одной из школ Западного Сиэтла (штат Вашингтон, США). В ней использовали наблюдение и интервью. Эксперимент интересен тем, что для решения задачи были привлечены аспиранты Высшей школы библиотечно-информационных наук при Вашингтонском университете, записанные на курс по анализу поискового поведения. Участники курса, семь аспирантов и преподаватель, стали исследовательской группой. Аспиранты прошли обучение качественным и полевым методам исследования и после первоначального общения с библиотекарем и учителем в средней школе договорились о сотрудничестве.
Полевые мероприятия включали в себя: наблюдение поведения учеников в классе, а также индивидуальное поведение за терминалом компьютера. В последнем случае ребенок решал заданную задачу и вслух объяснял свои действия. Полученные данные аспиранты обсуждали совместно с руководителем курса. Для аспирантов были разработаны планы наблюдения за тремя поисковыми сессиями. В рамках подготовки команда посетила школу и встретилась с библиотекарем, учителем и учащимися, обучающимися в классе. Во время этой первой встречи с классом группа представила себя и объяснила цель и характер исследования. Затем учитель пригласил учащихся принять участие в исследовании (Fidel et al., 1999).
Каждую неделю учитель объяснял ученикам задание в классе. Затем учащиеся отправлялись в библиотеку, в отдельный компьютерный зал. Каждый аспирант сидел рядом с учеником, которого он наблюдал на протяжении всего проекта, записывал на аудиопленку комментарии учащегося о процессе поиска. В начале каждой сессии учащемуся задавали два вопроса: «Что вы планируете делать? Что вы думаете там найти?» В конце сессии учащиеся отвечали на три вопроса: «Нашли ли вы то, что искали? Это то, что вы ожидали найти? Как вы относитесь к поискам?»
В исследовании использовался метод case-study с контролируемым сравнением (Fidel, 1984). После первого поиска каждый аспирант дал описание поиска, который он (она) наблюдал, основываясь на расшифрованных вербальных протоколах, заметках, сделанных во время и после поиска, а также на доступных бумажных документах, таких, как распечатки веб-страниц, которые использовал учащийся, или копии заметок, сделанных аспирантом во время поиска. После второго поиска каждый аспирант написал отчет, в котором описал схему поиска школьника. В конце периода наблюдения и после интервью с учащимся, аспирант писал отчет о кейсе, описывающем поисковое поведение школьника. Перед завершением проекта каждый школьник получал копию отчета по кейсу с описанием своего поискового поведения. Аспиранты попросили школьников сделать любые комментарии, которые они пожелают, но самое главное – определить, насколько достоверным было описание их поиска. Все школьники были довольны отчетами и утверждали, что отчеты описывали их точно.
E. Foss с соавторами (2012) провели исследование в домах у 38 подростков с использованием знакомых им компьютеров. Участвовали два психолога: один проводил интервью, второй делал пометки. Сеанс снимался на камеру. Респондент показывал, как он обычно пользуется интернетом, отвечал на вопросы, выполнял задачи поиска. При кодировании видео использовалась рабочая модель Beyer и Holtzblatt, в которой можно выделить несколько критериев (поток, последовательность, артефакт и культура), позволяющих оценить веб-поисковое поведение подростка. Два исследователя независимо друг от друга закодировали все видео, а затем встретились, чтобы повторно просмотреть видео и прийти к согласию относительно ролей каждого респондента.
В некоторых исследованиях пользовались только опросниками. Например, оценивая связь между стратегиями поиска информации в интернете и академической самоэффективностью, каждый из параметров изучали с помощью специально подготовленных опросников (Shen, 2018). Китайским ученикам задавали вопросы: Q1 способствует ли поиск информации в интернете, связанной со школой, академической самоэффективности детей? Q2 каковы модели поиска информации в Интернете у китайских студентов? Q3 влияет ли стиль поиска информации в интернете на соотношение между школьным поиском информации в интернете и академической самоэффективностью? При этом контролировали гендерные и возрастные параметры, а также социально-экономический уровень семьи.
В общей сложности в исследовании приняли участие 586 учащихся Пекина 4–6- х классов от 8 до 13 лет. Академическая самоэффективность измерялась субшкалой самоэффективности опросника мотивированных стратегий обучения (MSLQ) (Printrich, De Groot, 1990). В работе были получены связи между определенным типом стратегии и школьной самоэффективностью.
Наконец, следующая группа исследований использовала инструментальные методы для понимания того, как ученики ищут информацию в интернете и принимают решения относительно ее релевантности. При этом используют оценку времени пребывания на странице (Fox et al., 2005), вероятность клика на строчку (Joachims, 2002; Agichtein et al., 2006; Jung et al., 2007), показатели различных датчиков, например, айтрекер, кожногальваническая реакция (КГР), электроэнцефалография (ЭЭГ), запись электрокардиограммы (ЭКГ), электромиограммы (ЭМГ). Многие исследователи используют и томографию (Arapakis, 2009; Moshfeghi et al., 2013; Golenia et al., 2015; Kauppi et al., 2015).
Наиболее часто оценивались параметры, связанные с привлечением внимания к странице в Интернете. Чаще всего для этого применялся ай-трекер, данные которого могли сопоставляться с каким-то дополнительным исследованием познавательной активности человека. Так, G. Slanzi с соавторами (2017) изучали размер зрачка ребенка с помощью ай-трекера и изменения на ЭЭГ, оценивая ведущие ритмы.
В исследовании принял участие 21 человек. Показана связь между заинтересованностью страницей и размером зрачка: вероятность клика на странице коррелировала с размером зрачка: чем он больше, тем вероятнее клик, позволяющий остановиться на станице. Параметры ЭЭГ оказались в этом исследовании менее значимыми. В исследовании М.К. Eckstein с соавторами (2017) изучались параметры айтрекинга, которые могли быть полезными при поиске в интернете. Было показано, что значимые изменения можно получить, оценивая расширение зрачков и спонтанное моргание. Расширение зрачков модулируется мозговой системой, берущей начало в голубом пятне (locus coeruleus), медиатором которой является норадреналин. Она контролирует физиологическое возбуждение и внимание и используется в качестве меры субъективной сложности задачи, умственных усилий и нейронного усиления (AstonJones, e.a., 1999; Yu, Dayan, 2005). Спонтанное моргание глаз коррелирует с уровнем дофамина в центральной нервной системе и может выявить процессы, лежащие в основе обучения и целенаправленного поведения (Westbrook, Braver, 2016). Три параметра: фиксация взгляда, расширение зрачков и частота моргания – являются неинвазивными и взаимодополняющими параметрами, имеющими понятные нейронные основания.
Одновременное применение ай-трекера и оценки ЭЭГ активности резко повышает возможность выявления релевантности информации для испытуемого. Так, J.E. Golenia с соавторами (2015) смогли в таком эксперименте предсказать подкатегорию, выбранную при классификации испытуемым изображений.
Сочетанная запись кожногальванической реакции и активности мышц лица (электромиография) также могут выявлять релевантность воспринимаемой информации (Barral et al., 2015).
Применение функциональной магнитнорезонансной томографии (фМРТ) позволило выявить заинтересованные мозговые регионы при рассмотрении изображений (Moshfeghi et al., 2013). Значимые результаты для прогнозирования релевантного изображения давала и магнитоэнцефалография (МЭГ) (Kauppi et al., 2015).
Некоторые исследователи применяют сочетание многих типов записей физиологических параметров для определения воспринимаемой релевантности в веб-поиске (González-Ibáñez et al., 2016). Так, в этом исследовании испытуемым было предложено ранжировать страницы интернета по релевантности отношения к их собственному аспирантскому исследованию. Хотя при этом все аспиранты выполняли разные задания, каждый из них был мотивирован для ее решения. В этом исследовании, которое длилось 30 минут (без включения времени установления и калибровки ЭЭГ и ай-трекера), участники сначала сохраняли ключевые фрагменты (сниппеты) со страниц, которые они считали релевантными. Затем они оценивали релевантные страницы по 5-балльной шкале Лайкерта.
При этом были использованы программное обеспечение для захвата экрана, регистратор нажатий клавиш и мыши, веб-камера высокого разрешения, физиологический датчик Bitalino для захвата электрокардиограммы пользователей (ЭКГ) и кожногальванической реакции (КГР), ай-трекер, мобильная гарнитура NeuroSky MindWave (сухой датчик ЭЭГ). В сочетании всех этих приборов оценивали уровни внимания, медитации и интенсивность моргания. Было показано, что уровень внимания выше на релевантных страницах.
В настоящее время существует множество типов исследований когнитивных стилей и стратегий, которые применяют учащиеся при поиске в интернете. В процессе этих исследований были предложены весьма продуктивные методы, которые могут быть полезны исследователям, интересующимся тем, как люди ищут информацию, необходимую для достижения поставленных целей, и принимают решения в отношении выбора той или иной информации для дальнейшей работы. Каждый тип исследования позволяет решить набор конкретных задач. Наиболее эффективны методы, сочетающие наблюдение, опросники и инструментальные методы.
Литература
- Agichtein E., Brill E., Dumais S. Improving web search ranking by incorporating user behavior information // Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval. New York: ACM, 2006. P. 19–26.
- Arapakis I., Konstas I., Jose J.M., Kompatsiaris I. Modeling facial expressions and peripheral physiological signals to predict topical relevance // Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval. New York: ACM, 2009. P. 728–729.
- Aston-Jones G., Rajkowski J., Cohen J. Role of locus coeruleus in attention and behavioral flexibility // Biological Psychiatry. 1999. Vol. 46. P. 1309–1320. DOI: 10.1016/S0006-3223(99)00140-7
- Barral O., Eugster M.J., Ruotsalo T., Spapé M.M., Kosunen I., Ravaja N., Kaski S., Jacucci G. Exploring peripheral physiology as a predictor of perceived relevance in information retrieval // Proceedings of the 20th International Conference on Intelligent User Interfaces. New York: ACM, 2015. P. 389–399.
- Bilal D. Children’s Use of the Yahooligans! Web Search Engine:I. Cognitive, Physical, and Affective Behaviors on Fact-Based Search Tasks // Journal of the American society for information science. 2000. Vol. 51(7). P. 646–665. Borlund P. The IIR evaluation model: a framework for evaluation of interactive information retrieval systems // Information research. 2003. Vol. 8(3). P. 203–210.
- Eckstein M.K., Guerra-Carrillo B., Miller Singley A.T., Bunge S.A. Beyond eye gaze: What else can eyetracking reveal about cognition and cognitive development? // Developmental cognitive neuroscience. 2017. V. 25. P. 69–91. DOI: 10.1016/j.dcn.2016.11.001
- Fidel R. The case study method: A case study // Library and Information Science Research. 1984. Vol. 6. P. 273–288.
- Fidel R., Davies R.K., Douglass M.H., Holder J.K., Hopkins C.J., Kushner E.J., Miyagishima B.K., Toney K.D. A Visit to the Information Mall: Web Searching Behavior of High School Students // Journal of the American society for information science. 1999. Vol. 50(1). P. 24–37.
- Foss E., Druin A., Yip J., Ford W., Golub E., Hutchinson H. Adolescent search roles // Journal of the American Society for Information Science and Technology. 2012. Vol. 64(1). P. 173–189.
- Fox S., Karnawat K., Mydland M., Dumais S., White T. Evaluating implicit measures to improve web search // ACM Transactions on Information Systems (TOIS). 2005. Vol. 23(2). P. 147–168.
- Golenia J.E., Wenzel M., Blankertz B. Live Demonstrator of EEG and Eye-Tracking Input for Disambiguation of Image Search Results // Symbiotic Interaction. Springer International Publishing, 2015. P. 81–86.
- González-Ibáñez R., Escobar-Macaya M., Manriquez M. Using low-cost electroencephalography (EEG) sensor to identify perceived relevance on Web Search // ASIST. 2016, October 14–18.
- Grover R., Fowler S.G. Recent trends in school library media research // School Library Media Quarterly. 1993. Vol. 21. P. 241–249. Jacobson F.F., Ignacio E.N. Teaching reflection: Seeking and evaluation in a digital library environment // Library Trends. 1997. Vol. 45. P. 771–802.
- Joachims T. Optimizing search engines using clickthrough data // Proceedings of the eighth ACM SIGKDD international conference on Knowledge discovery and data mining. New York: ACM, 2002. P. 133–142.
- Jung S., Herlocker J.L., Webster J. Click data as implicit relevance feedback in web search // Information Processing & Management. 2007. Vol. 43(3). P. 791–807.
- Kafai Y., Bates M.J. Internet Web searching in the elementary classroom: Building a foundation for information literacy // School Library Media Quarterly. 1997. Vol. 25. P. 103–111.
- Kauppi J.P., Kandemir M., Saarinen V.M., Hirvenkari L., Parkkonen L., Klami A., Hari R., Kaski S. Towards brain-activity-controlled information retrieval: Decoding image relevance from MEG signals // NeuroImage. 2015. Vol. 112. P. 288–298.
- Kuhlthau C.C. Students and the information search process: Zones of intervention for librarians // Advances in Librarianship. Vol. 18. Ed. by I.P. Godden. New York: Academic Press, 1994. P. 57–72.
- Moshfeghi Y., Jose J.M. An effective implicit relevance feedback technique using affective, physiological and behavioural features // Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval. New York: ACM, 2013. P. 133– 142.
- Printrich P.R., De Groot E.V. Motivational and self-tegulated learning components of classroom academic performance // Journal of Educational Psychology. 1990. Vol. 82(1). P. 33–40.
- Scharinger C., Kammerer Y., Gerjets P. Fixation-Related EEG Frequency Band Power Analysis: A Promising Neuro-Cognitive Methodology to Evaluate the Matching-Quality of Web Search Results? // Communications in Computer and Information Science. Ed. by C. Stephanidis. Vol. 617. Cham: Springer International Publishing, 2016. P. 245–250. DOI: 10.1007/978-3- 319-40548-3_41
- Shen C.-X. Does school-related Internet Information seeking improve academic self-efficacy? The moderating role of internet information seeking styles // Computers and human behavior. 2018. Vol. 86. P. 91–98.
- Slanzi G., Balazs J.A., Velásquez J.D. Combining eye tracking, pupil dilation and EEG analysis for predicting web users click intention // Information Fusion. 2017. Vol. 35. P. 51–57.
- Westbrook A., Braver T.S. Dopamine does double duty in motivating cognitive effort // Neuron. 2016. Vol. 89. P. 695–710. DOI: 10.1016/j.neuron.2015.12.02
- Yu A.J., Dayan P. Uncertainty, neuromodulation, and attention // Neuron. 2005. Vol. 46. P. 681–692. DOI: 10.1016/j.neuron.2005.04.026
https://elibrary.ru/item.asp?id=43963139