Валидность

Содержание
  1. Валидность – определение и понятие в психологии
  2. Что такое валидность?
  3. Валидность в психологии
  4. Валидность теста и методики
  5. Итог
  6. Что такое валидность и валидация и зачем они нужны?
  7. Валидация – что это?
  8. Как проверяется валидность?
  9. Ошибки валидации (ОВ) можно разделить на группы:
  10. В сложных темах есть:
  11. Виды валидности
  12. 4 типа внешних критериев:
  13. Эмпирическая валидность
  14. Конструктная валидность
  15. Валидность “по содержанию”
  16. “Прогностическая” валидность
  17. “Ретроспективная” валидность
  18. Конвергентная и дискриминантная валидность
  19. Что нужно знать о валидности заказчику оценки — FORMATTA
  20. Какие значения может принимать валидность
  21. Виды валидности и критерии для её измерения
  22. Что означают показатели валидности на практике
  23. 3 уровня проверки валидности
  24. 3. Валидность психологического исследования. Виды валидности
  25. Виды
  26. Типы валидности
  27. Внешние критерии
  28. Что такое валидность теста?
  29. Валидность по содержанию
  30. Виды валидности методов исследования

Валидность – определение и понятие в психологии

Валидность

Обычно понятие валидность используется в направлении психологии – психодиагностике.

Здесь используются тесты, методики, которые должны быть обоснованными, соответствующими, достойными того, чтобы ими пользоваться для выявления определенных качеств, характеристик и прочих данных.

Однако существует множество видов валидности, которые указывают на то, что пригодность прослеживается во всех областях жизни.

Интернет-журнал psytheater.com приводит такие элементарные примеры валидности:

  1. Платье должно быть пригодным для носки и объемов тела женщины.
  2. Человек должен обладать профессиональными навыками и знаниями, чтобы выполнять работу.
  3. Инструменты должны выполнять именно ту функцию, которая на них возлагается.

Валидность – это пригодность одного предмета или явления для достижения определенного результата, что помогает решить конкретную задачу.

Если некий предмет или человек не выполняет своей функции, значит, он невалидный, то есть его нужно изменить или заменить.

Такое нередко прослеживается в любовных отношениях людей, когда партнеры не подходят для построения тех отношений, которые нужны их вторым половинкам.

Что такое валидность?

Валидность – это свойство или качество, которое должно указывать на то, что используемая методика, тест, человек, предмет или явление достоверно или пригодно для рассмотрения конкретной характеристики. Другими словами, внешний предмет или человек должен быть ориентирован на то, ради чего его применяют. Он должен наилучшим образом позволять человеку достигать поставленной цели или решать задачу.

К примеру, в применении валидности к тестам, то они должны максимально раскрывать  и рассматривать ту характеристику, которую специалисты хотят изучить. Естественно, что методика, тест и прочее подвергаются постоянному изменению с целью улучшения их валидности, особенно если в процессе их использования наблюдаются различные недочеты и отклонения.

Валидность определяется следующим образом:

  1. Сначала разрабатывается методика, тест, предмет или качества человека, которые должны помогать в решении поставленной задачи.
  2. Затем используется «разработка» на практике, чтобы посмотреть, насколько она пригодна для достижения желаемой цели.

То, что использует человек для решения поставленной цели, должно быть не только валидным, но и надежным, то есть практически в любых ситуациях и отклонениях, форс-мажорных событиях показывать или выдавать правильный результат. Человек должен быть уверен в том, что предмет или качество, методика или явление, которое он использует для решения какой-то задачи, обязательно даст желаемый результат.

Валидность – это результат, которого человек хотел достичь в определенной ситуации, что помогает в решении поставленной задачи.

Если применить валидность к обычной жизни, тогда можно рассмотреть вопрос того, достоин ли человек иметь то, что уже имеет. «Этот человек не достоин того, что у него есть?».

А кто судить этого человека? Скорее всего, тот, кто ему завидует и сам хотел бы иметь такой же успех. Более того, в материальном мире ничего нельзя получить просто так.

Человеку приходится что-то делать, чтобы иметь тот успех, которым он потом обладает. Поэтому человек достоин того успеха, который имеет.

Вопрос заключается в другом: моральными или аморальными поступками человек достиг успеха? Но это выбор каждого отдельного человека.

Если мир дал человеку успех за те аморальные поступки, которые он совершил, значит, он все сделал правильно. Это вам кажутся поступки аморальными.

Но мир не по моральности оценивает поступки каждого человека, а по тому, совершаются ли они и к каким последствиям приводят в тех или иных условиях.

Вы можете поступать морально, если хотите. Но порой важны не методы вашего достижения, а сами достижения.

Если вы поступаете морально, но не имеете успеха, тогда вы – неудачник по сравнению с тем, кто поступал аморально и достиг успеха. Для мира не важна моральность.

Мир понимает только поступки, которые совершает человек, условия, в пределах которых они совершаются, и те последствия, которые достигаются в результате сочетания поступков и условий.

Окружающие люди сперва вас судят по тем достижениям, которые у вас имеются, чтобы определить для себя, общаться с вами дальше или нет. Они на стадии знакомства не интересуются тем, насколько вы моральный человек. Людей интересуют успехи. А как вы их достигли, людей не интересует до тех пор, пока вы не задеваете их собственные интересы.

Вы даже можете дружить с людьми и вести себя аморально. Они могут вас уважать, потому что вы достигаете своих целей. Но так происходит до тех пор, пока вы не задеваете их личную территорию, интересы и личность. Вас будут уважать, даже если вы совершаете аморальные поступки, но при этом никого не задеваете и достигаете успехов.

Так, кто достоин того, что у него есть?

Все люди имеют то, что заслужили. Если вы бедны, то сами заслужили это. Если вы богаты, то заслужили это. Мир дал вам то, к чему вы приложили свои силы, причем сделали это в правильном месте и в правильное время, то есть в условиях, которые согласовались с вашими поступками.

И здесь уже не имеет значения, насколько моральными были поступки. Когда человек достигает успеха, важна не мораль, а достижения. И окружающие люди чаще ценят достижения, а не то, насколько вы моральны.

Ведь можно быть моральным человеком, но жить бедно, в болезнях, впроголодь и без семьи.

Валидность в психологии

В психологии под валидностью понимается то, что экспериментатор использует именно ту методику, которая должна решить поставленную им задачу.

Валидность – это качество методики, которая направлена на изучение именно того, что экспериментатор желает изучить.

Другими словами, методика должна изучать именно темперамент и ничто более, если экспериментатору именно данное качество человека нужно рассмотреть.

В экспериментальной психологии валидность очень важна, поскольку специалисты должны быть уверены в том, что используя тот или иной инструмент для изучения конкретной области человеческой души, они получат достоверные результаты, которые будут касаться именно изучаемого явления.

Валидность проверяется следующим образом:

  1. Оценивание содержательной валидности – используемая методика должна соответствовать тем реалиям, которые есть на самом деле. То есть действительность должна подтверждаться результатами после использования теста.
  2. Оценивание конструктной валидности – изучение тестом именно тех элементов, которые научно доказаны и имеют место быть. Здесь выделяют:
  • Конвергентную валидизацию – когда для изучения конечной характеристики необходимо использование других методик, которые рассматривают начальные данные.
  • Дискриминантная валидизация – при проведении методики не должны рассматриваться качества, которые не связаны с рассматриваемой характеристикой.
  1. Критериальное оценивание – когда полученные результаты соответствуют внешним критериям проявления характеристики.

Однако валидность можно отнести уже не только к чисто экспериментальному исследованию. Нередко валидными должны быть люди в тех отношениях, которые они строят между собой. И здесь следует рассмотреть такие понятия, как «казаться» и «быть».

Очень часто любовные или семейные отношения подвергаются кризису, когда партнеры или супруги подумывают о возможности расставания или некоторого отдаления друг от друга.

Зачастую такие мысли приходят лишь одному партнеру, тогда как второй понимает всю серьезность ситуации и не желает разрушать то, что было построено и благополучно обустроено.

Многие люди очень много сил вкладывают в свои отношения, поэтому любое их разрушение сравнивается с катастрофой или их поражением. И чтобы не быть проигравшим, человек идет на определенные действия.

Одним из методов, к которым могут прибегнуть партнеры, стремящиеся удержать своих любимых рядом с собой, — это стать такими, какими их хотят видеть их вторые половинки.

У каждого человека имеется определенный набор недостатков, которые по каким-то причинам мешают или задевают любимого человека.

Но если в период нормального течения отношений супруги не прислушиваются к мольбам своих любимых, то в момент, когда отношения подвергаются разрушению, они согласны с собой сделать любые изменения, лишь бы любовный или семейный союз не распался.

Таким образом, тот, кто не желает разрывать отношения, становится таким, каким его хотят видеть. Конечно же, эффект будет восхитительным: любимый человек поверит в истинные изменения своего партнера и вернется к нему.

Может показаться, что отношения вышли на новый уровень, ведь один изменился, а второй может пользоваться данными изменениями и жить счастливо. Союз остается нерушим… Но это лишь видимая сторона, которая постепенно разрушается.

Как только тот, кто старается быть таким, каким его хочет видеть другой, устает и возвращается к своему настоящему «Я», которое так не нравилось его спутнику, отношения подвергаются очередному риску расторжения – и на этот раз все может быть окончательным и бесповоротным.

Почему так произошло? Почему, несмотря на все старания и изменения человека, отношения все равно разрушились, как только он устал и стал самим собой? В любом процессе, особенно в любви, всегда принимают участие оба партнера. А значит, вина за распад отношений лежит на мужчине и женщине.

В чем вина того, кто старался измениться? Основная ошибка этого человека заключалась в том, что он старался быть кем-то, но на самом деле не был таким человеком.

Этот человек, стремясь сохранить отношения, решил надеть маску и играть ту роль, которую от него требовали.

Но при этом под этой маской жил настоящий человек, который просто ждал момента, когда маска устанет улыбаться, играть, быть приветливой или просто истреплется, дав возможность настоящему «Я» вырваться наружу.

Человек кажется, но не является. Он старается быть другим, надев на себя одежду Короля или Королевы, но при этом он не является, не чувствует и не уверен, что является тем, какую роль играет. То есть эти изменения происходят для кого-то, а не потому, что сам человек решил изменить самого себя.

Вот почему он начинает казаться, лишь внешне демонстрируя те качества и то поведение, которое от него хотят видеть, но сам человек при этом таковым не является внутри. И когда он устает играть, казаться, тогда исчезает та иллюзия, которая соединяла всех участников процесса.

А если пропадает иллюзия, то пропадает и связь – и людей больше ничего не объединяет.

В чем заключается вина того, кто не менялся, а лишь ожидал изменений партнера? Ответ очень прост: этот человек элементарно не любит своего партнера. Дело в том, что когда человек любит, он старается принять как достоинства, так и недостатки своего партнера.

Когда же человек не любит, тогда все недостатки его спутника раздражают и отталкивают: он хочет, чтобы другой изменился, чтобы эти недостатки не мешали ему «любить» (другими словами, играть в любовь с партнером). Однако недостатки являются неотъемлемой частью любого человека.

И вопрос заключается в том, с чьими недостатками человек готов смириться, а с чьими – нет.

Таким образом, когда партнер старается меняться и быть таким, каким его хотят видеть, он становится симпатичным для того, кто не любит и всего лишь ждет, чтобы другой человек стал для него удобным.

Однако, как только партнер устает и перестает быть тем, каким его хотят видеть, человек на подсознательном уровне снова возвращается к мысли о том, что он не является его любимым, что и толкает «надоевшего играть в любовь» индивида на расторжение отношений.

Как видно, один партнер старается быть кем-то, но внутри таковым не является, а второй не любит и лишь ждет изменений в другом человеке, которые будут удобны только ему. Такие отношения, даже если вначале были идеальными и крепкими, уже не имеют тех истинных связей, которые бы объединяли мужчину и женщину.

К сожалению, следует признать, что совместный путь партнеров окончился и им необходимо расходиться. Рано или поздно это случится в их союзе, какими бы изменениями они ни занимались и в какие бы игры ни играли. Вопрос лишь в том, как долго люди захотят мучить себя и другого партнера ради того, чего уже не вернуть.

Валидность теста и методики

Тесты являются популярными методиками измерения конкретных качеств клиентов при проведении практической работы. Здесь надежность и валидность тестов должна быть стопроцентной. По факту оказывается, что тесты обладают 80% валидностью, что также считается нормальными показателями, поскольку во многом результаты зависят от честности и сознательности самих клиентов, которые проходят тесты.

Нередко нужно использовать несколько тестов, поскольку рассматриваемое качество может проходить в связке с другим качеством, которое уже измеряется другим тестом. Существуют прогностические тесты, которые должны рассматривать, как качество, которым обладает человек, будет проявляться в будущем.

Валидность методики заключается в том, насколько конкретная методика выявляет и измеряет ту характеристику, на которую она направлена. Валидной методика является, когда она реализовывает все возложенные на нее задачи.

Многое при проведении тестов и методик зависит от самих испытуемых, которые дают ответы на поставленные вопросы. Здесь все зависит от того, как сам испытуемый себя воспринимает и оценивает, что будет влиять на его ответы и, соответственно, результаты, которые могут на самом деле немного отличаться от действительности, поскольку базируются на искаженном восприятии человеком самого себя.

Итог

Психология использует такое качество, как валидность, поскольку то, чем пользуется специалист, должно выдавать однозначные и конкретные результаты, которым он может доверять. Валидность – это соответствие, пригодность, достойность, достоверность, то есть качество, которое присутствует в объекте ради достижения конкретной цели, для которого он предназначен.

Что такое валидность и валидация и зачем они нужны?

Валидность

Ксана
(Людмила Лунева)
Веб-дизайнер и разработчик сайтов на wordpress

В последнее время я получила несколько вопросов от пользователей, касающихся валидности моих тем и валидации вообще. В этом посте хочу ответить на них.

Валидация – что это?

Простыми словами, валидация – это процесс проверки кода и приведения его в соответствие с выбранным доктайпом (DTD).

Как проверяется валидность?

Валидность HTML кода проверяется инструментом, который называется валидатором.
Самый известный валидатор w3c – https://www.w3.org.Валидатор w3c производит несколько проверок кода.

Главные из них:

  1. Проверка на наличие синтаксических ошибок:
    Пример c habrahabr.ru/post/101985:
    является корректным синтаксисом, несмотря на то, что является недопустимым HTML-тэгом
    Так что проверка синтаксиса является минимально полезной для написания хорошего HTML-кода.
  2. Проверка вложенности тэгов:
    В HTML документе тэги должны быть закрыты в обратном порядке относительно их открытия. Эта проверка выявляет незакрытые или неправильно закрытые теги.
  3. Валидация html согласно DTD:
    Проверка того, насколько код соответствует указанному DTD – Document Type Definition (доктайпу). Она включает проверку названий тэгов, атрибутов, и «встраивания» тэгов (тэги одного типа внутри тэгов другого типа).
  4. Проверка на наличие посторонних элементов:Она обнаружит все, что есть в коде, но отсутствует в доктайпе.

    Например, пользовательские тэги и атрибуты.

Для проверки валидности CSS кода существует валидатор css – http://jigsaw.w3.org/css-validator.
Валидность кода — это результат механической проверки на отсутствие формальных ОВ, согласно указанного свода правил.

Нужно понимать, что валидация — инструмент, а не самоценность.Верстальщики с опытом обычно знают, где можно нарушить правила валидации HTML или CSS, а где нет, и чем грозит (или не грозит) та или иная ошибка валидации.

Примеры того, когда не валидный код делает сайт:

  • более удобным и быстрым – пользовательские атрибуты для Javascrip/AJAX или
  • SЕО оптимизированным – разметка ARIA.

Понятно, что в валидности ради валидности нет никакого смысла.Как правило, опытные верстальщики придерживаются следующих правил:- В коде не должно быть грубых ошибок.- Незначительные можно допустить, но только по обоснованным причинам.

В отношении допустимости ошибок валидации html/CSS:

Ошибки валидации (ОВ) можно разделить на группы:

  • ОВ в файлах шаблона:Их не сложно найти и исправить.Если, какие то из мелких ошибок помогают сделать сайт более функциональным или быстрым, их можно оставить.
  • ОВ в сторонних скриптах, подключенных на сайте:Например, виджет , скрипт Твиттера или видео-файлы с ютуб.Исправить их никак не удастся, поскольку эти файлы и скрипты находятся на других сайтах и у нас нет к ним доступа.
  • CSS-правила, которые валидатор не понимает:Валидатор проверяет соответствие кода сайта определенной версии HTML или CSS.Если вы использовали в шаблоне правила CSS версии 3, а валидатор проверяет на соответствие версии 2.1, то все правила CSS3 он будет считать ошибками, хотя они таковыми не являются.
  • ОВ, которые поневоле приходится оставлять на сайте, чтобы получить нужный результат. Например:
    • теги noindex. Они не валидны, но очень нужны и с этим приходится мириться.
    • хаки. Чтобы получить корректное отображение сайта в некоторых браузерах, иногда, приходится использовать хаки – код, который понимает только определенный браузер.
  • Ошибки самого валидатора.
    Часто он не видит каких то тегов (например, закрывающих) и сообщает об ОВ там, где ее нет.

Получается, что на работающем сайте практически всегда будут какие-то ОВ.Причем, их может быть очень много.

Например, главные страницы Google , Яндекса и mail.ru содержат по несколько десятков ошибок.

Но, они не ломают отображение сайтов в браузерах и не мешают им работать.

Все написанное выше относится и к моим темам.

В сложных темах есть:

  • WordPress функции (например the_category()), которые дают невалидный код.
  • Вывод видео с видеохостингов, например, с , а в коде очень много ОВ, на которые ни вы, ни я не можем влиять.
  • Кнопки социальных сетей, которые подключаются при помощи скриптов этих сетей и содержат ОВ.
  • Правила CSS3 и HTML5, которые валидаторы старых версий считают ошибками.В то же время, валидаторы версий CSS3 и HTML5 считают ошибками старые правила :).
  • Иногда, чтобы добиться корректного отображения в браузере Internet Explorer или старых версиях других браузеров приходится использовать, так называемые хаки – код, который понимает только определенный браузер, чтобы написать правила отображения сайта именно для этого браузера.

В итоге получить полностью валидный код можно только при верстке очень простых тем, т.е. тем, которые содержат минимальное количество функционала.После окончания верстки любой своей темы я всегда проверяю ее валидатором и исправляю все ОВ, которые можно исправить без потери работоспособности темы.Т.е.

, если стоит выбор между работающим функционалом и валидностью – я выбираю функционал.Если вы верстаете свои темы, советую поступать так же.С моей точки зрения (а также, точки зрения большинства верстальщиков) отношение к валидации html/CSS, как к истине в последней инстанции ошибочно.

В обязательном порядке нужно исправлять только те ОВ, которые:- мешают браузеру корректно отобразить страницу (незакрытые и неправильно вложенные теги).- замедляют загрузку страницы (неправильно подключенные скрипты).- можно исправить, не нарушая работоспособность темы.

Надеюсь, я ответила на все вопросы о валидации.

Виды валидности

Валидность

Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

Проверка валидности методики называется валидизацией.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни.

Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности — рисование, моделирование и т. д.

(для тестов специальных способностей), субъективные оценки (для тестов личности).

4 типа внешних критериев:

  1. критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.

    );

  2. субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);
  3. физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);
  4. критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Эмпирическая валидность

Если в случае с содержательной валидностью оценка теста производится за счет экспертов (устанавливающих соответствие заданий теста содержанию предмета измерения), то эмпирическая валидность измеряется всегда с помощью статистического коррелирования: подсчитывается корреляция двух рядов значений – баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.

Конструктная валидность

Конструктная валидность имеет отношение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение при выполнении теста.

Как особый тип конструктная валидность канонизирована в статье Кронбаха и Миля (1955).

Авторы оценивали с помощью этого типа валидности все тестовые исследования, которые не были прямо направлены на предсказание некоторых значимых критериев. Исследование содержало информацию о психологических конструктахл.

Валидность “по содержанию”

Содержательная валидность требует того, чтобы каждое задание, задача или вопрос, принадлежащие к определенной области, имели равные шансы стать заданиями теста.

Валидность по содержанию оценивает соответствие содержания теста (заданий, вопросов) измеряемой области поведения. Тесты, составленные двумя командами разработчиков, проводятся на выборке испытуемых.

Надежность тестов подсчитывается путем расщепления заданий на две части, в результате чего получают индекс содержательной валидности.

“Прогностическая” валидность

“Прогностическая” валидность определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания.

Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний.

Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования.

Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

“Ретроспективная” валидность

Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д.

у лиц с высокими и низкими на данный момент диагностическими показателями.

Конвергентная и дискриминантная валидность

От того, как психолог определяет диагностический конструкт, зависит стратегия включения в тест определенных пунктов. Если Айзенк определяет свойство «нейротизм» как независимое от экстраверсии-интроверсии, то это означает, что в его опроснике примерно поровну должны быть представлены пункты, с которыми будут соглашаться невротичные интроверты и невротичные экстраверты.

Если же на практике окажется, что в тесте будут преобладать пункты из квадранта «Нейротизм-Интроверсия», то, с точки зрения теории Айзенка, это означает, что фактор «нейротизм» оказывается нагруженным иррелевантным фактором – «интроверсией».

(Точно такой же эффект возникает, если появится перекос в выборке – если в ней будет больше невротичных интровертов, чем невротичных экстравертов.)

Для того чтобы не сталкиваться с такими сложностями, психологи хотели бы иметь дело с такими эмпирическими показателями (пунктами), которые однозначно информируют только об одном факторе. Но это требование реально никогда не выполняется: всякий эмпирический показатель оказывается детерминированным не только тем фактором, который нам нужен, но и другими – иррелевантными задаче измерения.

Таким образом, по отношению к факторам, которые концептуально определяются как ортогональные к измеряемому (встречающиеся с ним во всех комбинациях), составитель теста должен при отборе пунктов применить стратегию искусственного балансирования.

Соответствие пунктов измеряемому фактору обеспечивает конвергентную валидность теста. Сбалансированность пунктов относительно иррелевантных факторов обеспечивает дискриминантную валидностъ. Эмпирически она выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.

Что нужно знать о валидности заказчику оценки — FORMATTA

Валидность

На осенней конференции «Оценка персонала» журнала «Штат» генеральный директор Formatta Евгений Куприянов выступал с докладом о валидности оценки. Мы публикуем текст его выступления. Это не научный доклад, а статья-обзор для заказчиков оценки: на простых и понятных примерах вы узнаете, что такое валидность и при каком показателе валидности оценка экономически оправдана.

Тема валидности становится всё популярнее в HR-сообществе. В 90-е, когда российские компании только начинали привлекать оценку персонала для решения бизнес-задач, акцент делали на разработке инструментов и методов, а их валидность интересовала далеко не всех заказчиков.

Затем стало модно говорить о валидности, и многие провайдеры, пользуясь тем, что заказчики недостаточно разбирались в теме, предъявляли мифические 0,95 как показатель валидности своих инструментов.
Сегодня мы наблюдаем другую тенденцию: академический подход к измерению валидности проник в бизнес.

Всё меньше компаний доверяют мифическим показателям и всё чаще требуют от провайдера результатов исследования валидности оценочного инструмента.

Какие значения может принимать валидность

Валидность — это коэффициент корреляции между результатами оценки и независимым критерием: мы выбираем внешний критерий и смотрим,
насколько результаты оценки ему соответствуют и насколько мы можем доверять прогнозу, который делаем по итогам оценки.

Этот коэффициент принимает значения от минус единицы до единицы. Чем выше валидность, тем выше точность прогноза. Если валидность равна нулю, значит, взаимосвязи между результатами оценки и выбранным критерием нет: количество ошибок и точных прогнозов примерно одинаково. Бывает отрицательная валидность: в этом случае прогноз по итогам оценки будет оправдываться «наоборот».

Валидность бывает нескольких видов — это зависит от внешнего критерия,
с которым сравнивают результаты проведённой оценки. Остановимся подробнее на каждом виде валидности и критериях её измерения.

Виды валидности и критерии
для её измерения

Конструктная валидность — внешним критерием становятся результаты другого инструмента оценки, который измеряет те же характеристики.

К примеру, мы хотим измерить конструктную валидность мотивационного опросника: находим инструмент, которые оценивает те же факторы мотивации, и сравниваем результаты двух инструментов.

Конструктная валидность показывает, насколько они соотносятся между собой.

Конкурентная валидность — сравниваем результаты оценки выбранного инструмента с показателями текущей или прошлой эффективности. Это может быть балл в системе performance management, результаты обучения, показатели продаж, коэффициент удовлетворённости клиента сервисом.

Прогностическая валидность показывает, насколько соотносятся результаты оценки и показатели будущей эффективности сотрудника.

Это самые интересные для компании данные: они говорят, насколько себя оправдает прогноз по результатам оценки. Но прогностическую валидность труднее всего измерить
из-за ограничения выборки.

К примеру, мы оценили 100 продавцов, у 15 из них показатели продаж оказались низкие, скорее всего, мы не сможем оценить их в следующем цикле: их уволят.

Инкрементная валидность — сравниваем, насколько повысилась корреляция
при добавлении нового инструмента в уже существующую оценочную процедуру.

Провайдеры, как правило, считают валидность так, как им удобно и выгодно.Если из всех видов валидности инструмента самые высокие показатели у конструктной, в маркетинговых материалах укажут именно эту цифру.Поэтому всегда уточняйте, о каком виде валидности говорит провайдер,

когда приводит показатель валидности.

Что означают показатели валидности на практике

На практике почти не встречается валидность выше 0,7. Если провайдер заявляет
эту цифру, уточните, о каком виде валидности идёт речь и как она рассчитывалась. Показатель 0,7 может быть только в том случае, если провайдер измерял валидность комбинацией разных оценочных инструментов.

ВалидностьЕсли выбрать 20% лучших сотрудников по итогам оценки
Нет валидности04 из 20 будут в числе лучших
Средняя валидность0,37 из 20 будут в числе лучших
Высокая валидность0,610 из 20 будут в числе лучших
ВалидностьЕсли выбрать 20% лучших сотрудников по итогам оценки
Нет валидности01 из 5 будет в числе худших
Средняя валидность0,31 из 10 будет в числе худших
Высокая валидность0,61 из 50 будет в числе худших

Посмотрим, что означают эти цифры на практике: к примеру, вы оценили 100 сотрудников и выбрали 20 лучших по итогам оценки. Если вы использовали инструмент со средней валидностью, то из выбранных 20 участников только семеро будут в числе лучших 20%.

Если же вы оценивали 100 сотрудников инструментом с высокой валидностью, то в числе 20% лучших окажутся десять из выбранных двадцати по итогам оценки. При этом результаты выше среднего покажут 17 из этих 20 сотрудников.

Если вы знаете валидность инструмента, вы можете посчитать точность прогноза, который сделаете по результатам оценки. К примеру, вы используете инструмент с валидностью 0,3. Разделите этот показатель на 2 и прибавьте 50% — получится 65%. С такой вероятностью прогноз по итогам оценки окажется достоверным,
если за 50% принять случайное угадывание.

3 уровня проверки валидности

Если вы используете инструмент оценки, у вас есть три уровня проверки
его валидности:

Во-первых, вы можете посмотреть, насколько велика валидность метода оценки. К примеру, вы покупаете у провайдера тесты способностей.

Чтобы оценить их валидность, используйте мета-анализы — эта процедура объединяет показатели валидности, полученные на разных инструментах и выборках от нескольких исследователей.

С их помощью вы определите среднюю валидность тестов
как метода оценки. Классическим считается мета-анализ Шмидта и Хантера 1998 года.

Во-вторых, вы можете узнать валидность инструмента — тех конкретных тестов способностей, которые вы покупаете. Эти данные вам должен предоставить провайдер.

Наконец, вы можете посмотреть, насколько конкретный инструмент валиден
для ваших задач.
Чтобы посчитать валидность инструмента на ваших данных:

1. Оцените при помощи инструмента не менее 200 сотрудников одной группы должностей — это минимальная выборка. Чем больше человек вы оцените,
тем более надёжные цифры получите.

2. Выберите критерий, относительно которого будете проверять валидность. Например, оценка результативности руководителем.

3. Оцените надёжность этого критерия. Критерием могут быть объективные данные — например, показатели производительности. В этом случае его можно считать надёжным. Оценка эффективности руководителем — субъективные данные, надёжность этого критерия будет низкой.

4. Посмотрите, нет ли у вас ограничения выборки. Например, если вы используете тесты при подборе, кандидаты с низкими результатами обычно просто не попадают на работу.

5. Проверьте свои данные: насколько они полные, корректные и однородные. Если в качестве внешнего критерия вы выбрали показатели продаж, проверьте, что все данные по продажам соответствуют тому менеджеру, который продавал. Это поможет избавиться от некорректных данных: к примеру, сотрудник в отпуске, а на него записаны продажи другого.

6. Посчитайте сам показатель валидности: обычно это коэффициент корреляции или регрессии, с учётом тех поправок, которые мы упомянули выше. Для начала можно воспользоваться самыми простыми показателями. Например, коэффициентом корреляции Спирмена — его можно посчитать даже в MS Excel.

У вас получился показатель валидности конкретного инструмента на ваших данных. Он показывает, насколько достоверным будет прогноз, который вы сделаете по результатам оценки при помощи этого инструмента.

3. Валидность психологического исследования. Виды валидности

Валидность

Добавлено в закладки: 0

Что такое валидность? Описание и определение понятия.

Валидность – это

1) мера соответствия, которая показывает насколько соответствуют поставленным задачам полученные результаты и разработанная методика исследования;

2) фундаментальное понятие в экспериментальной психологии и психодиагностике. Различают такие типы валидности: валидность по содержанию, конструктивная валидность, прогностическая валидность, валидность по критерию.

Безупречную валидность имеет только теоретический безупречный эксперимент: эксперимент, при котором получаемый эффект вызывает независимую переменную, соответствует полностью реальности, а его итоги поддаются без дополнительных ограничений обобщению.

Вали́дность (англ. validity, от лат. validus — «сильный, здоровый, достойный») — пригодность и обоснованность использования результатов и методик исследования в конкретных условиях.

Более прикладное определение понятия “валидность” – мера соответствия результатов и методик исследования поставленным задачам.

Валидность является фундаментальным понятием психодиагностики, организационной психологии, экспериментальной психологии.

Как в статистике, так и в психологии, валидное измерение — такое измерение, которое измеряет то, что оно обязано измерять (эта узкая трактовка “валидности” – наиболее популярная, она по факту соответствует понятию “конструктная валидность”).

То есть, например, при валидном измерении интеллекта измеряют именно интеллект, а не что-то другое.

Безупречный эксперимент (возможный только в теории) будет иметь безупречную валидность: он точно будет показывать, что экспериментальный эффект вызван изменением независимой переменной, он будет соответствовать полностью реальности, его итоги можно без ограничений обобщить.

Когда говорят о степени валидности, рассматривают то, насколько итоги исследования соответствуют поставленным задачам (но при этом валидность не измеряется в каких-нибудь условных единицах).

Важная особенность валидности – её невозможно единожды установить и использовать это доказательство в качестве финального аргумента “за” качество определенной методики или эксперимента. Валидность нужно постоянно обосновывать новыми данными, в независимых исследованиях перепроверять.

Виды

Многие люди спрашивают: «Валидизация – это что такое». Говорят, что для утонченного ума не существует границ. Методологи как будто состязаются между собой в том, кто больше обнаружит или придумает типов и видов валидности. Каких только наименований не возникло в последнее время! Оказывается, есть:

  • валидность внешняя и внутренняя;
  • конвергентная;
  • дискриминантная;
  • очевидная;
  • факторная;
  • прогностическая;
  • конструктная;
  • критериальная;
  • содержательная и так далее.

Разобраться, а тем более толково отличить одну вариацию от другой, нет никакой возможности. Путаница в определении и классификациях приводит к тому, что разные авторы одной и той же форме валидности приписывают совершенно разнородные способы ее улучшения.

Типы валидности

В разных источниках упоминают различные названия, что может создать определенную путаницу. В экспериментальной психологии ключевые понятия:

  • Внешняя валидность Конструктная валидность
  • Операциональная валидность
  • Дифференциальная валидность
  • Внутренняя валидность
  • Экологическая валидность
  • Инкрементная валидность

Для организационной психологии и психодиагностики более традиционной является классификация из трех главных типов валидности:

  • Конструктная валидность Дивергентная валидность
  • Конвергентная валидность
  • Эмпирическая валидность (Критериальная валидность)

Прогностическая валидность

  • Ретроспективная валидность
  • Текущая валидность
  • Содержательная валидность Очевидная валидность

Мы коротко рассмотрели валидность: типы и способы установления. Оставляйте свои комментарии или дополнения к материалу.

Внешние критерии

Для исполнения прагматической валидизации методики, то есть для оценки ее практической значимости, действенности, эффективности, обычно применяют внешний независимый критерий – показатель выказывания изучаемого качества в будничной жизни.

Таким критерием могут быть и производственные достижения (для технологий профессиональной направленности), и успеваемость (для тестов интеллекта, достижений или способностей к обучению), и эффективность фактической деятельности – моделирование, рисование и так далее (для тестов особых умений), персональные оценки (для проверки личности).

Типы внешних критериев валидизации существуют следующие:

  • мерки выполнения (в их число входить могут такие как, количество реализованной работы, затраченное на обучение время, успеваемость, темп роста квалификации и тому подобное) ;
  • физиологические признаки (применяются при изучении воздействия окружающей среды и иных ситуационных переменных на психику и организм человека) ;
  • замеряются давление крови, частота пульса, симптомы утомления, электросопротивление кожи и так далее;
  • субъективные мерки (включают разнообразные виды ответов, отражающих отношение человека к кому-либо или чему-либо, его взгляды, мнение, предпочтения; как правило, такие мерки получают с помощью анкет, опросников, интервью) ;
  • признаки случайностей (используются, когда цель изучения касается, к примеру, проблемы селекции для работы таких людей, которые несчастным случаям меньше подвержены).

Что такое валидность теста?

Многие люди проходят тесты. Есть специальные психологические тесты, применяемые психологами, и другие, бульварные тесты. Что такое валидность теста, которая является важным ее критерием? Это показатель соответствия характеристики, качества, свойства к тесту, который их измеряет.

Тесты бывают разными. Они используются для измерения психофизиологических параметров человека. Самым высоким показателем валидности остается 80%. Полезность применения тестов становится в том случае, когда они позволяют получить точные данные по тем или иным конкретным характеристикам. Существует несколько подходов при изучении валидности теста:

  1. Конструктивная валидность, которая позволяет более глубоко изучить качества человека в ситуации, деятельности, системе.
  2. Валидность за критерием – изучение параметра в настоящем времени и прогнозирование его в будущем.
  3. Содержательная валидность – соответствие психологических конструктов, их многообразие.
  4. Прогностическая валидность – предсказывает развитие конкретного качества в будущем, что является затруднительным, поскольку оно может развиваться по-разному у разных людей.

Пока надежность и валидность теста не определены, его не применяют в психологической практике. Многое зависит от того, в каких областях применяются тесты. Есть учебные, профессиональные и прочие тесты, которые применяются в отдельных учреждениях для прогнозирования и выявления характеристик претендентов.

На сайте психологической помощи psymedcare.ru вы также можете пройти тесты, которые уже обладают высокой валидностью и показывают достоверные результаты.

перейти наверх

Валидность по содержанию

Вы до сих пор спрашиваете: «Валидизация – это что такое». Рассмотрим содержательную валидность. Она требует того, чтобы каждая задача, вопрос или задание, принадлежащие к установленной области, имели идентичные шансы превратиться в задания теста.

Валидность по содержимому оценивает пригодность сущности теста измеряемой зоне поведения. Поверки, созданные двумя группами разработчиков, проводятся на выборке проверяемых. Надежность тестов калькулируется путем расщепления вопросов на две зоны, в результате чего выходит индекс содержательной валидности.

Виды валидности методов исследования

Выбор методов научного исследования зависит от ряда фактов: области наук (гуманитарные или прикладные), необходимость проведения анализа с расчетной частью или простое сопоставление фактов, наличие конкретных данных для анализа и пр.

Следует отметить, что в одном исследовании выбранный метод может быть валидным, а в ином – вовсе неэффективен. Поэтому валидность выбранной методики следует оценивать в рамках конкретной научной работы, а не в сравнении с иными исследованиями.

В науке выделяют несколько разновидностей валидности методов исследования:

Виды валидности

  • Теоретическая валидность.

Данный вид определяется сопоставлением показателей, рассчитанных с помощью выбранной методики, с аналогичными показателями, рассчитанными по другому методу.

Важно, чтобы рассчитанные параметры были теоретически зависимы, то есть оценивали один и тот же предмет, учитывали одни и те же факторы или схожие факторы влияния, демонстрировали теоретическую зависимость (то есть имели принадлежность к конкретному объекту или суждению).

Этот показатель определяют с помощью корреляции одно и того же показателя или свойства, рассчитываемого с помощью разных методов исследования. При этом важно соблюдение: обе методики должны быть связаны с одной и той же гипотезой или теорией.

Данный критерий рассчитывается или проявляется благодаря действию опытно-логического метода исследования. В частности, он находит отражение на реакции, мышлении, эмоциях, поведении испытуемых объектов. Данный способ применим больше в психологической отрасли, когда требуется оценить реакцию или психологическое состояние человека в конкретной ситуации.

Эмпирическая валидность методов исследования будет выше тогда, когда выбранная методика продемонстрирует тот факт, что полученные данные соответствуют реальным данным испытуемого, то есть во время проведения «чистого» или «естественного» эксперимента: когда поведение объекта в рамках исследования будет полностью совпадать с поведением в реальной жизни.

ПСИХОЛОГ
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: