СООБЩЕСТВО КАДРОВИКОВ И СПЕЦИАЛИСТОВ ПО УПРАВЛЕНИЮ ПЕРСОНАЛОМ

На портал Новости Библиотека статей Нормативная база Глоссарий ПРАВИЛА  ФОРУМА

События Производственный календарь Образцы документов Книжная полка

Вернуться   Форум сообщества специалистов по управлению персоналом HR-Лига > Управление персоналом > Инструменты HR-менеджера

Инструменты HR-менеджера Обзоры заработных плат, тесты, опросники, анкеты, используемые вами в работе с персоналом

Ответ
 
Опции темы
Старый 18.01.2010, 12:14   #1
tipatov
Эксперт HR-Лиги
 
Аватар для tipatov
 
Регистрация: 14.03.2007
Адрес: г. Харьков
Сообщений: 1,593
Вы сказали Спасибо: 2
Поблагодарили 943 раз(а) в 347 сообщениях
По умолчанию Тесты, методики, ключи… и ошибки в них

Коллеги, добрый день.

Тесты, которым мы доверяем…
А ведь иногда со мной переставали общаться, когда я говорил о том, что в методиках допущены ошибки. Еще бы, коллега несколько лет применял методику и даже не мог себе позволить усомнится в «священной корове»…
Почему многие наши коллеги берут тестовые методики на веру?
· не могут даже позволить себе сомнения (по аналогии как в советские времена большинство людей свято верили тому, что написано в газетах);
· не умеют перепроверять ключи в методиках (так как это больше под силу технарям, математикам… а не гуманитариям);
· «а вот нечего использовать общедоступные методики и ключи – нужно ПОКУПАТЬ тесты и тогда будет все в порядке»…
---------------------------
Так уж я устроен. Я делюсь.
Очередная статья, которую я пишу -
· о конкретных ошибках в конкретных популярных тестовых методиках,
· об алгоритме, как самому распознавать эти ошибки, перепроверяя ключи к методикам

Приведу только один пример об ошибках в ключах к методике. О других ошибках подробнее будет в статье. В то же время, Вы, HR-коллеги, наверняка тоже встречались с такими ошибками. Имеет смысл поделиться опытом и рассказать о них в «общую копилку HR».

1. Итак, одна из последних методик, которую я запускал в режиме онлайн - методика диагностики уровня эмоционального выгорания В. В. Бойко.
По ключам: показатель выраженности каждого симптома колеблется в пределах от 0 до 30 баллов, но в одной из шкал находим сразу 2 ошибки:
· ответ на 72 вопрос повторяется дважды (а этого не может быть, каждый ответ принадлежит к конкретной шкале)
· максимальная сумма баллов в одной из шкал равна 33 (а не 30, как заявлено в условиях)



2. Выявляем, что ответ на 71 вопрос нигде не учтен, вместо него как раз дважды упоминается ответ на 72-й вопрос.
3. Вес одного из вопросов указан неправильно. Каждый вариант ответа предварительно оценен компетентными судьями тем или иным числом баллов - указывается в "ключе" рядом с номером суждения в скобках. Это сделано потому, что признаки, включенные в симптом, имеют разное значение в определении его тяжести. Максимальную оценку - 10 баллов получил от судей признак, наиболее показательный для симптома.
Судя по предыдущим шкалам чаще всего веса ответов распределяются как:
· 1 ответ в 10 баллов
· 2 ответа в 5 баллов
· 2 ответа в 3 балла
· 2 ответа в 2 балла
делаем вывод - в нашей найденной ошибке неправильно указан вес одного из ответов в 5 баллов. Это один из вопросов под номером: 11, 47 или 59.

Смотрим саму шкалу и ключи. Очевидно, что вопрос под номером 11 должен быть с весом 2, а не 5. Вопросы № 47 и 59 более показательны для этой шкалы.

Личностная отстраненность (деперсонализация):
+ 11 (2),+ 23 (3).+ 35 (3),+ 47 (5),+ 59 (5),+ 71 (2),+ 83 (10)
11. Я откровенно устал от человеческих проблем, с которыми приходится иметь дело на работе.
23. Общение с партнерами побудило меня сторониться людей.
35. Партнерам по работе отдаешь внимания и заботы больше, чем получаешь от них признательности.
47. По работе встречаются настолько неприятные люди, что невольно желаешь им чего-нибудь плохого.
59. Иногда иду на работу с тяжелым чувством: как все надоело, никого бы не видеть и не слышать.
71. Работа с людьми (партнерами) очень разочаровала меня.
83. Работа с людьми плохо повлияла на меня как профессионала - обозлила, сделала нервным, притупила эмоции.

---------------------------
Итак, если вы используете данный тест – внесите поправки в ключи.

Почему появляются такие ошибки? Как их можно выявить?
Высказать свое мнение об ошибках в тестах или привести свой пример вы можете здесь: http://b-t.com.ua/mail_kontakt/
или здесь на форуме
__________________
с уважением, Типатов Николай / контакты в профиле
tipatov вне форума   Ответить с цитированием
Эти 2 пользователя(ей) сказали «Спасибо» tipatov за это полезное сообщение:
EllE HRD (18.01.2010), Катерина (18.01.2010)
Старый 18.01.2010, 16:40   #2
Катерина
Эксперт HR-Лиги
 
Аватар для Катерина
 
Регистрация: 30.05.2006
Адрес: Киев
Сообщений: 1,020
Вы сказали Спасибо: 720
Поблагодарили 671 раз(а) в 253 сообщениях
По умолчанию

Николай, мне кажется, и гуманитарий может легко найти ошибки – было бы желание.

Я когда-то пользовалась тестом командности Белбина. И вот уж не помню, почему – закрались подозрения, что в моем варианте есть ошибки...

Нашла оригинальный вариант на английском языке и нашла не только ошибки в подсчетах (в моем варианте), но и такие неточности перевода, которые меняли смысл фразы и, соответственно, всего ответа.

Также нашла как-то ошибки в подсчетах результатов по тесту Томаса (том варианте, который был у меня). Там все просто: элементарный подсчет по колонкам: где сумма баллов должна быть одинаковая, в двух колонках отличалась на 1 балл. Поправила...

А сколько людей пользуются, считают и потом делают выводы на основе ошибочных интерпретаций! И – не дай бог! – принимают важные для кого-то решения!...
__________________
Будьте реалистами — требуйте невозможного! (Че)
Катерина вне форума   Ответить с цитированием
Этот пользователь сказал Спасибо Катерина за это полезное сообщение:
EllE HRD (18.01.2010)
Старый 18.01.2010, 18:43   #3
tipatov
Эксперт HR-Лиги
 
Аватар для tipatov
 
Регистрация: 14.03.2007
Адрес: г. Харьков
Сообщений: 1,593
Вы сказали Спасибо: 2
Поблагодарили 943 раз(а) в 347 сообщениях
По умолчанию

Цитата:
Сообщение от Катерина Посмотреть сообщение
Николай, мне кажется, и гуманитарий может легко найти ошибки – было бы желание.
Цитата:
Сообщение от Катерина Посмотреть сообщение
И – не дай бог! – принимают важные для кого-то решения!...
многие да, есть и те, у кого трудности, вернее даже не закрадываются подозрения об ошибках. Вот статья как раз и будет в помощь HR - как проверять, как исправлять.
Когда программируешь онлайн-тест – волей/не волей а приходится ключи перепроверять.

Да. это грустно. Такие случаи встречаются.
Остается надеяться, что ошибка в ключе (например 1 из 8) не сильно искажает картину. Плюс "практические поправки", которые мы сами часто вносим со временем, наблюдая статистику.

С переводом тоже вы правы. Вот сейчас работаем над методикой «карьерные якоря».
__________________
с уважением, Типатов Николай / контакты в профиле
tipatov вне форума   Ответить с цитированием
Старый 19.01.2010, 12:04   #4
VPO
Новый участник HR-Лиги
 
Регистрация: 19.01.2010
Сообщений: 1
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
По умолчанию Тесты, ошибки, реальность

Конечно, Николай абсолютно прав. Добавлю:
1) Ошибки в тестах
2) Что нужно практику?
А вот с тем, что "... и гуманитарий может легко найти ошибки – было бы желание" - позвольте не согласиться. Это уж зависит от характера ошибок. Арифметические - и то с трудом. Почему-то народ очень гордится незнанием математики - круто, наверно...
Николай нашел эти ошибки (и не только,насколько я знаю), в основном, только потому, что сам программировал обсчёт и потому был вынужден разбираться в ключах и пр. И сам я влез в это дело точно так же - через программирование.
Кроме того, для успешности деятельности - любой!? - в ней надо иметь навыки и подготовку. Казалось бы, неплохо быть многосторонним специалистом, "равномерно развитым по всем направлениям". Из школы помним: окружнсть - точки, отстоящие от центра на одном и том же расстоянии. Но спрошу: с чем у вас ассоциируется слово "круглый"? Ну, первая мысль какова? Вот именно - дурак.
VPO вне форума   Ответить с цитированием
Ответ


Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Часовой пояс GMT +3, время: 16:23.


Powered by vBulletin® Version 3.8.1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot
2024 © МЕДИА-ПРО 2024 © HR LIGA