Показать сообщение отдельно
Старый 18.01.2010, 11:14   #1
tipatov
Эксперт HR-Лиги
 
Аватар для tipatov
 
Регистрация: 14.03.2007
Адрес: г. Харьков
Сообщений: 1,593
Вы сказали Спасибо: 2
Поблагодарили 943 раз(а) в 347 сообщениях
По умолчанию Тесты, методики, ключи… и ошибки в них

Коллеги, добрый день.

Тесты, которым мы доверяем…
А ведь иногда со мной переставали общаться, когда я говорил о том, что в методиках допущены ошибки. Еще бы, коллега несколько лет применял методику и даже не мог себе позволить усомнится в «священной корове»…
Почему многие наши коллеги берут тестовые методики на веру?
· не могут даже позволить себе сомнения (по аналогии как в советские времена большинство людей свято верили тому, что написано в газетах);
· не умеют перепроверять ключи в методиках (так как это больше под силу технарям, математикам… а не гуманитариям);
· «а вот нечего использовать общедоступные методики и ключи – нужно ПОКУПАТЬ тесты и тогда будет все в порядке»…
---------------------------
Так уж я устроен. Я делюсь.
Очередная статья, которую я пишу -
· о конкретных ошибках в конкретных популярных тестовых методиках,
· об алгоритме, как самому распознавать эти ошибки, перепроверяя ключи к методикам

Приведу только один пример об ошибках в ключах к методике. О других ошибках подробнее будет в статье. В то же время, Вы, HR-коллеги, наверняка тоже встречались с такими ошибками. Имеет смысл поделиться опытом и рассказать о них в «общую копилку HR».

1. Итак, одна из последних методик, которую я запускал в режиме онлайн - методика диагностики уровня эмоционального выгорания В. В. Бойко.
По ключам: показатель выраженности каждого симптома колеблется в пределах от 0 до 30 баллов, но в одной из шкал находим сразу 2 ошибки:
· ответ на 72 вопрос повторяется дважды (а этого не может быть, каждый ответ принадлежит к конкретной шкале)
· максимальная сумма баллов в одной из шкал равна 33 (а не 30, как заявлено в условиях)



2. Выявляем, что ответ на 71 вопрос нигде не учтен, вместо него как раз дважды упоминается ответ на 72-й вопрос.
3. Вес одного из вопросов указан неправильно. Каждый вариант ответа предварительно оценен компетентными судьями тем или иным числом баллов - указывается в "ключе" рядом с номером суждения в скобках. Это сделано потому, что признаки, включенные в симптом, имеют разное значение в определении его тяжести. Максимальную оценку - 10 баллов получил от судей признак, наиболее показательный для симптома.
Судя по предыдущим шкалам чаще всего веса ответов распределяются как:
· 1 ответ в 10 баллов
· 2 ответа в 5 баллов
· 2 ответа в 3 балла
· 2 ответа в 2 балла
делаем вывод - в нашей найденной ошибке неправильно указан вес одного из ответов в 5 баллов. Это один из вопросов под номером: 11, 47 или 59.

Смотрим саму шкалу и ключи. Очевидно, что вопрос под номером 11 должен быть с весом 2, а не 5. Вопросы № 47 и 59 более показательны для этой шкалы.

Личностная отстраненность (деперсонализация):
+ 11 (2),+ 23 (3).+ 35 (3),+ 47 (5),+ 59 (5),+ 71 (2),+ 83 (10)
11. Я откровенно устал от человеческих проблем, с которыми приходится иметь дело на работе.
23. Общение с партнерами побудило меня сторониться людей.
35. Партнерам по работе отдаешь внимания и заботы больше, чем получаешь от них признательности.
47. По работе встречаются настолько неприятные люди, что невольно желаешь им чего-нибудь плохого.
59. Иногда иду на работу с тяжелым чувством: как все надоело, никого бы не видеть и не слышать.
71. Работа с людьми (партнерами) очень разочаровала меня.
83. Работа с людьми плохо повлияла на меня как профессионала - обозлила, сделала нервным, притупила эмоции.

---------------------------
Итак, если вы используете данный тест – внесите поправки в ключи.

Почему появляются такие ошибки? Как их можно выявить?
Высказать свое мнение об ошибках в тестах или привести свой пример вы можете здесь: http://b-t.com.ua/mail_kontakt/
или здесь на форуме
__________________
с уважением, Типатов Николай / контакты в профиле
tipatov вне форума   Ответить с цитированием
Эти 2 пользователя(ей) сказали «Спасибо» tipatov за это полезное сообщение:
EllE HRD (18.01.2010), Катерина (18.01.2010)