СООБЩЕСТВО КАДРОВИКОВ И СПЕЦИАЛИСТОВ ПО УПРАВЛЕНИЮ ПЕРСОНАЛОМ
|
|
|
|
Инструменты HR-менеджера Обзоры заработных плат, тесты, опросники, анкеты, используемые вами в работе с персоналом |
|
Опции темы |
18.01.2010, 11:14 | #1 |
Эксперт HR-Лиги
Регистрация: 14.03.2007
Адрес: г. Харьков
Сообщений: 1,593
Вы сказали Спасибо: 2
Поблагодарили 943 раз(а) в 347 сообщениях
|
Тесты, методики, ключи… и ошибки в них
Коллеги, добрый день. Тесты, которым мы доверяем… А ведь иногда со мной переставали общаться, когда я говорил о том, что в методиках допущены ошибки. Еще бы, коллега несколько лет применял методику и даже не мог себе позволить усомнится в «священной корове»… Почему многие наши коллеги берут тестовые методики на веру? · не могут даже позволить себе сомнения (по аналогии как в советские времена большинство людей свято верили тому, что написано в газетах); · не умеют перепроверять ключи в методиках (так как это больше под силу технарям, математикам… а не гуманитариям); · «а вот нечего использовать общедоступные методики и ключи – нужно ПОКУПАТЬ тесты и тогда будет все в порядке»… --------------------------- Так уж я устроен. Я делюсь. Очередная статья, которую я пишу - · о конкретных ошибках в конкретных популярных тестовых методиках, · об алгоритме, как самому распознавать эти ошибки, перепроверяя ключи к методикам Приведу только один пример об ошибках в ключах к методике. О других ошибках подробнее будет в статье. В то же время, Вы, HR-коллеги, наверняка тоже встречались с такими ошибками. Имеет смысл поделиться опытом и рассказать о них в «общую копилку HR». 1. Итак, одна из последних методик, которую я запускал в режиме онлайн - методика диагностики уровня эмоционального выгорания В. В. Бойко. По ключам: показатель выраженности каждого симптома колеблется в пределах от 0 до 30 баллов, но в одной из шкал находим сразу 2 ошибки: · ответ на 72 вопрос повторяется дважды (а этого не может быть, каждый ответ принадлежит к конкретной шкале) · максимальная сумма баллов в одной из шкал равна 33 (а не 30, как заявлено в условиях) 2. Выявляем, что ответ на 71 вопрос нигде не учтен, вместо него как раз дважды упоминается ответ на 72-й вопрос. 3. Вес одного из вопросов указан неправильно. Каждый вариант ответа предварительно оценен компетентными судьями тем или иным числом баллов - указывается в "ключе" рядом с номером суждения в скобках. Это сделано потому, что признаки, включенные в симптом, имеют разное значение в определении его тяжести. Максимальную оценку - 10 баллов получил от судей признак, наиболее показательный для симптома. Судя по предыдущим шкалам чаще всего веса ответов распределяются как: · 1 ответ в 10 баллов · 2 ответа в 5 баллов · 2 ответа в 3 балла · 2 ответа в 2 балла делаем вывод - в нашей найденной ошибке неправильно указан вес одного из ответов в 5 баллов. Это один из вопросов под номером: 11, 47 или 59. Смотрим саму шкалу и ключи. Очевидно, что вопрос под номером 11 должен быть с весом 2, а не 5. Вопросы № 47 и 59 более показательны для этой шкалы. Личностная отстраненность (деперсонализация): + 11 (2),+ 23 (3).+ 35 (3),+ 47 (5),+ 59 (5),+ 71 (2),+ 83 (10) 11. Я откровенно устал от человеческих проблем, с которыми приходится иметь дело на работе. 23. Общение с партнерами побудило меня сторониться людей. 35. Партнерам по работе отдаешь внимания и заботы больше, чем получаешь от них признательности. 47. По работе встречаются настолько неприятные люди, что невольно желаешь им чего-нибудь плохого. 59. Иногда иду на работу с тяжелым чувством: как все надоело, никого бы не видеть и не слышать. 71. Работа с людьми (партнерами) очень разочаровала меня. 83. Работа с людьми плохо повлияла на меня как профессионала - обозлила, сделала нервным, притупила эмоции. --------------------------- Итак, если вы используете данный тест – внесите поправки в ключи. Почему появляются такие ошибки? Как их можно выявить? Высказать свое мнение об ошибках в тестах или привести свой пример вы можете здесь: http://b-t.com.ua/mail_kontakt/ или здесь на форуме
__________________
с уважением, Типатов Николай / контакты в профиле |
18.01.2010, 15:40 | #2 |
Эксперт HR-Лиги
Регистрация: 30.05.2006
Адрес: Киев
Сообщений: 1,020
Вы сказали Спасибо: 720
Поблагодарили 671 раз(а) в 253 сообщениях
|
Николай, мне кажется, и гуманитарий может легко найти ошибки – было бы желание.
Я когда-то пользовалась тестом командности Белбина. И вот уж не помню, почему – закрались подозрения, что в моем варианте есть ошибки... Нашла оригинальный вариант на английском языке и нашла не только ошибки в подсчетах (в моем варианте), но и такие неточности перевода, которые меняли смысл фразы и, соответственно, всего ответа. Также нашла как-то ошибки в подсчетах результатов по тесту Томаса (том варианте, который был у меня). Там все просто: элементарный подсчет по колонкам: где сумма баллов должна быть одинаковая, в двух колонках отличалась на 1 балл. Поправила... А сколько людей пользуются, считают и потом делают выводы на основе ошибочных интерпретаций! И – не дай бог! – принимают важные для кого-то решения!...
__________________
Будьте реалистами — требуйте невозможного! (Че) |
Этот пользователь сказал Спасибо Катерина за это полезное сообщение: | EllE HRD (18.01.2010) |
18.01.2010, 17:43 | #3 | |
Эксперт HR-Лиги
Регистрация: 14.03.2007
Адрес: г. Харьков
Сообщений: 1,593
Вы сказали Спасибо: 2
Поблагодарили 943 раз(а) в 347 сообщениях
|
Цитата:
Когда программируешь онлайн-тест – волей/не волей а приходится ключи перепроверять. Да. это грустно. Такие случаи встречаются. Остается надеяться, что ошибка в ключе (например 1 из 8) не сильно искажает картину. Плюс "практические поправки", которые мы сами часто вносим со временем, наблюдая статистику. С переводом тоже вы правы. Вот сейчас работаем над методикой «карьерные якоря».
__________________
с уважением, Типатов Николай / контакты в профиле |
|
19.01.2010, 11:04 | #4 |
Новый участник HR-Лиги
Регистрация: 19.01.2010
Сообщений: 1
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
|
Тесты, ошибки, реальность
Конечно, Николай абсолютно прав. Добавлю:
1) Ошибки в тестах 2) Что нужно практику? А вот с тем, что "... и гуманитарий может легко найти ошибки – было бы желание" - позвольте не согласиться. Это уж зависит от характера ошибок. Арифметические - и то с трудом. Почему-то народ очень гордится незнанием математики - круто, наверно... Николай нашел эти ошибки (и не только,насколько я знаю), в основном, только потому, что сам программировал обсчёт и потому был вынужден разбираться в ключах и пр. И сам я влез в это дело точно так же - через программирование. Кроме того, для успешности деятельности - любой!? - в ней надо иметь навыки и подготовку. Казалось бы, неплохо быть многосторонним специалистом, "равномерно развитым по всем направлениям". Из школы помним: окружнсть - точки, отстоящие от центра на одном и том же расстоянии. Но спрошу: с чем у вас ассоциируется слово "круглый"? Ну, первая мысль какова? Вот именно - дурак. |