Т.В. Великовская

 

Компьютеризация входного тестирования студентов СГА: первые результаты

 

В рамках научного исследования проблемы индивидуализации обучения в СГА ректором СГА М.П. Карпенко была предложена типологическая модель, описывающая совокупность студентов СГА на основе психологических параметров. В качестве психологических параметров распределения студентов по типам выступили такие важные для обучения характеристики познавательной сферы, как уровень развития интеллекта и темп усвоения знаний. Гипотетическая типологическая модель была апробирована и эмпирически подтверждена на материале результатов тестирования, проведенного в 2003 году (методика ТУЗ-В и тест структуры интеллекта Рудольфа Амтхауэра). Для апробации типологической модели была выбрана стандартная бланковая форма тестирования, применяемая традиционно.

Интенсивное внедрение компьютерных технологий в сферы науки и образования приводит к необходимости перевода вступительных диагностических процедур с бланковой на компьютерную основу. Преимущества компьютерной формы вступительного тестирования перед бланковой не нуждаются в отдельном доказательстве. Вот некоторые из них:

  сокращение временных и материальных затрат на проведение тестирования и обработку результатов;

  повышение надежности методики за счет создания единых условий тестирования;

  снижение влияния фактора субъективности экспериментатора во время проведения методики и при оценке результатов;

  расширение возможностей массового тестирования;

  ускорение процесса пополнения баз индивидуальных данных;

  повышение удобства и скорости работы с базами индивидуальных данных;

  повышение надежности хранения данных;

  снижение затрат на ввод данных или пересылку протоколов эксперимента.

Как и любое сложное явление, компьютеризация вступительного психологического тестирования, естественно, имеет свои недостатки. Наиболее критичными представляются недостатки, связанные с отсутствием экспериментатора непосредственно рядом с тестируемым, и в частности с затруднением возможности пошагового контроля за выполнением инструкции. В результате недостатка контроля могут появляться данные, не имеющие диагностической ценности и не подлежащие обработке и анализу. В целях минимизации этого недостатка в программу вступительного тестирования введены дополнительные критерии оценки достоверности данных, а также дополнительные функции контроля за выполнением инструкции испытуемыми.

Компьютерная версия психологических тестов, входящих в блок вступительного тестирования, разработана программистами совместно с психологами в 2002 году. В этот блок вошли методика определения структуры интеллекта Рудольфа Амтхауэра и методика определения индивидуального темпа усвоения знаний на уровне воспроизведения (ТУЗ-В).

Программа психологического тестирования доставляется во все филиалы СГА и устанавливается на все компьютеры, где планируется проводить тестирование. С рабочего места пользователя (в любом филиале СГА) программа подключается к серверу, к единой базе данных. Это необходимо  для идентификации каждого студента, проходящего тестирование, а также для  автоматической передачи результатов тестирования непосредственно в базу данных.

Для того чтобы начать тестирование, студенту необходимо идентифицироваться в базе данных. Для этого в соответствующих полях тестируемый вводит фамилию и уникальный номер контракта, а затем выбирает психологический тест, который он будет сейчас проходить: методику определения индивидуального темпа усвоения знаний или тест структуры интеллекта Рудольфа Амтхауэра.

Перед началом работы с каждым тестом студент проходит этап ознакомления: читает инструкции, знакомится с образцами заполнения тестовых окон. Этот этап сопровождается устной инструкцией лица, проводящего тестирование. Время, отведенное на ознакомление с тестами, программой не ограничено. Программа «компьютерное тестирование» проста в обращении. На экран выводятся все необходимые сведения, инструкции (подсказки) и поля для заполнения.

Результаты тестирования поступают в Головной центр в НИИ психологии обучения и социологии образования, где проходят обработку и анализ.

Программа «Психологические тесты» систематически обновляется под контролем психологов, проходя несколько раз полный цикл от разработчика, через заказчика, потребителя и экспертов, обратно к разработчику – с рекомендациями по усовершенствованию.

Для перевода психологического тестирования на компьютерную основу необходимо сравнить результаты традиционных стандартных бланковых форм тестирования с результатами компьютерных форм тестирования. Это должно быть сделано с целью проверки предположения, что компьютерная и бланковая формы тестирования друг другу соответствуют.

Результаты психологического тестирования студентов-первокурсников по методике ТУЗ-В представлены в табл. 1 (бланковая версия теста) и табл. 2 (компьютерная версия теста).

Таблица 1

Описательная статистика  для показателей ТУЗ-В у первокурсников

С.-Петербургского филиала СГА, бланковая форма тестирования

 

Показатель

Кол-во испыт-х

Среднее значение

Станд.

отклонение

Минимальное значение

Максимальное значение

ТУЗ-В

(понятий в ак. час)

127

26,2

17,3

2,5

138,5(90)

 

 

Таблица 2

Описательная статистика  для показателей ТУЗ-В у первокурсников

разных филиалов СГА, компьютерная форма тестирования

 

Показатель

Кол-во испыт-х

Среднее значение

Станд.

отклонение

Минимальное значение

Максимальное значение

ТУЗ-В

(понятий в ак. час)

2255

35, 1

22,1

2

89

 

 

            Необходимо отметить, что максимальное значение темпа усвоения знаний в бланковой форме тестирования во всей выборке фактически не превосходило 90 единиц (это значение взято в скобки), лишь один испытуемый показал такое высокое значение, как 138,5 понятий в академический час, эта цифра и указана в таблице 1 в графе «Максимальное значение». (Индивидуальный результат этого испытуемого отчетливо виден на рисунке 1 отдельно стоящим столбиком справа).

            Сравнивая данные, приведенные в табл. 1 и 2, можно сказать, что по таким параметрам, как среднее значение и стандартное отклонение, наблюдается сдвиг в сторону увеличения показателей: среднее значение темпа усвоения знаний в бланковой версии теста равно 26,2 понятий в академический час, в компьютерной – 35,1 понятий в академический час. Стандартное отклонение в выборке, проходившей бланковое тестирование, равняется 17,3, компьютерное тестирование – 22,1.

            Надо заметить, что сдвиг в сторону увеличения этих показателей, вероятно, является достаточно стабильным. Об этом можно говорить, сравнивая данные компьютерного тестирования по методике ТУЗ-В 2003 года с данными 2001 и 2002 годов, когда проводились первые апробации компьютерной версии методики ТУЗ-В, сначала на небольшой выборке, затем на значительной. В 2001 году среднее значение составило 34,0 понятий в академический час, в 2002 году – 38,92 понятий в академический час. Величина среднего стандартного отклонения в компьютерном варианте методики ТУЗ-В в 2001 году составила 22,9, в 2002 году – 26,26.

            На рис. 1 и 2 графически отображены распределения результатов тестирования по методике ТУЗ-В.

 

 

Рис. 1. Распределение значений показателей ТУЗ-В  (бланковое тестирование)

 

 

 

 

 

Рис. 2. Распределение значений показателей ТУЗ-В  (компьютерное тестирование)

 

            Сравнивая общую картину распределения значений бланкового (рис. 1) и компьютерного (рис. 2) тестирования по методике ТУЗ-В, можно увидеть, что на обоих рисунках кривая распределения воспроизводит один и тот же левосторонне-асимметричный профиль (близкий к гамма-распределению).

            Левосторонний сдвиг кривой относительно нормального распределения, вероятнее всего, обусловлен законом ограничения запоминаемых единиц информации (количество единиц информации, которые могут быть запомнены без дополнительных мнемических приемов, и качественно воспроизведены, в большинстве случаев равняется 7+2).

            Результаты психологического тестирования студентов-первокурсников по методике Амтхауэра представлены в табл. 3 (бланковая версия теста) и табл. 4 (компьютерная версия теста).

Таблица 3

Описательная статистика  для показателей индекса интеллекта (тест Амтхауэра) у первокурсников С.-Петербургского филиала СГА, бланковая форма тестирования

 

Показатель

Кол-во

испыт-х

Среднее значение

Станд. отклонение

Минимальное значение

Максимальное значение

Индекс интеллекта IQ (услдиницы)

127

73,8

19,9

31

119

 

 

 

Таблица 4

Описательная статистика  для показателей индекса интеллекта (тест Амтхауэра) у первокурсников разных филиалов СГА, компьютерная форма тестирования

 

Показатель

Кол-во

испыт-х

Среднее значение

Станд. отклонение

Минимальное значение

Максимальное значение

Индекс интеллекта IQ (услдиницы)

2377

76,4

20,3

31

119

 

            Так же как и по результатам сравнения двух версий предыдущего теста (табл. 1 и 2), при сравнении табл. 3 и 4 видно, что основные статистические показатели (среднее значение и стандартное отклонение) в компьютерном варианте несколько выше, чем в бланковом. Среднее значение показателя интеллекта в бланковой форме тестирования равно 73,8 условных единиц, в компьютерной форме – 76,4 условных единиц. Стандартное отклонение в бланковой и компьютерной версиях равно, соответственно, 19,9 и 20,3. Этот факт говорит в пользу предположения о некоторой стабильности сдвига статистических показателей, при прохождении компьютерных версий тестирования, в сторону увеличения.

Таблица 4

Описательная статистика  для показателей индекса интеллекта (тест Амтхауэра) у первокурсников разных филиалов СГА, компьютерная форма тестирования

 

Показатель

Кол-во

испыт-х

Среднее значение

Станд. отклонение

Минимальное значение

Максимальное значение

Индекс интеллекта IQ (услдиницы)

2377

76,4

20,3

31

119

 

            На рис. 3 представлена гистограмма распределения значений результатов бланкового тестирования по методике определения уровня интеллекта, на рис. 4 – распределение значений результатов компьютерного тестирования по тому же тесту.

Рис. 3. Распределение значений показателей IQ (бланковое тестирование)

 

Рис. 4. Распределение значений показателей IQ (компьютерное тестирование)

 

 

На обоих рисунках (3 и 4) наблюдается картина нормального распределения, то есть результаты бланкового и компьютерного тестирования по интеллектуальному тесту описываются одинаковой кривой распределения.

Совпадение картины распределения значений уровня интеллекта в бланковой и компьютерной версиях теста, в сочетании со схожестью остальных статистических показателей, так же, как и в случае с методикой ТУЗ-В, говорит в пользу предположения о взаимном соответствии результатов разных форм тестирования.

 

Выводы

 

            Сравнивая результаты вступительного психологического тестирования, полученные традиционным бланковым и инновационным компьютерным способом, можно сделать следующие выводы:

            1. По каждому тесту картина распределения значений в разных версиях тестов сходна, т.е. компьютерное тестирование воспроизводит специфическую картину кривой распределения результатов бланкового тестирования. Этот факт говорит в пользу того, что при учете сдвига, описанного в п.(2), компьютерные версии этих методик в том виде, в котором они на данный момент существуют, и применяются для тестирования студентов СГА, адекватны, пригодны к применению и не требуют принципиальных изменений. Рекомендации по доработке компьютерных вариантов методик лежат в области лишь технических вопросов и касаются только проблемы оптимизации процедуры тестирования.

            2. В результате сравнения разных форм тестирования по обеим рассматриваемым методикам выявлен сходный в обоих случаях сдвиг статистических показателей: повышение среднего значения и увеличение стандартного отклонения. Наличие и вероятную стабильность этого сдвига подтверждают также и данные компьютерного тестирования по методике ТУЗ-В за прошлые годы.

В целях снижения процента данных, не имеющих диагностической ценности, следует ввести более строгий контроль за выполнением компьютерных тестов.

 

Рекомендации по контролю для тестеров

 

1. В течение процедуры тестирования внимательно следить за тем, чтобы испытуемые не имели возможности фиксировать (записывать) информацию, предназначенную для запоминания.

2. Перед началом тестирования предупреждать испытуемых о запрограммированных критериях оценки достоверности:

Критерий времени (уже запрограммирован). Смысл критерия в том, что если время, затраченное испытуемым на заучивание, меньше эмпирически выработанного определенного значения, тест считается непройденным и повторяется снова. Этот критерий относится к тесту ТУЗ-В. В тесте Амтхауэра временной критерий, наоборот, состоит в ограничении времени, отведенного на решение тестовых заданий.

            Критерий значений (планируется к введению в программу). Если значения, которые показывает результат теста, являются нереально высокими или нереально низкими, данные считаются недостоверными, тест – непройденным и повторяется снова. Этот критерий относится ко всем тестам.

 

Рекомендации по контролю для разработчиков компьютерной программы тестирования

 

            В добавление к уже разработанному критерию достоверности – критерию времени, желательно ввести в программу тестирования еще один, описанный выше критерий значений. В таком случае программа будет автоматически отсекать заведомо недостоверные по значениям и заведомо нечитаемые данные, вынуждая испытуемых проходить тестирование до тех пор, пока оно не будет пройдено честно, с соблюдением инструкций.