Multigroup analysis in the context of multilevel analysis to judge if a referent-shift model is needed for measurement of composition emergence
Article Sidebar
Main Article Content
Abstract
This study demonstrates how a multigroup analysis approach is used in the analysis of multilevel data to judge if a referent-shift consensus model is needed to measure a compositional property. A compositional property in multilevel context means that the forms of emergence from individual levels to group levels are isomorphic as individuals interact, communicate perspectives, and iteratively construct a common interpretation, so that all individuals in the collective are similar. The measurement principle for conceptualization of multilevel compositional properties is to use a referent-shift consensus model proposed by Chan(1998). However, if the researcher wants to use the samel construct in individual levels as well as in group levels, she needs to administer the same items to the same individuals again with a change of reference from “group” to “ individual”. It sounds bothersome and creates difficulties in reality. For that reason, researchers often collect data from individuals using self-referenced items, aggregate, and then use the aggregate scores as measures of group level variables. However in these cases, measurement invariance is tacitly assumed across the individual and group levels. We pointed out the problems of this unjustified assumption in analyses of multilevel data, and presented an analytic procedure to test the assumption using multigroup analysis framework. In sum, if measurement invariance across levels is established, researchers can use either a self-referent or a referent-shift data at individual levels and aggregate data at group levels without dual measurement. Moreover, in such a case, using a referent-shift data(‘we’ data) is more appropriate in light of construct validity because of its higher possibility to reveal group effects. If the measurement invariance across levels is not supported, researchers should collect data separately for individual level variables with a self-reference items and for group level variables with group-referenced items.
Metrics
Article Details
This work is licensed under a Creative Commons Attribution 4.0 International License.
제3장 학회지 저작권 및 저작물 이용 방침
제9조(지적 재산 이용 동의와 이용 방침 제정 목적)
① 학회지에 대한 지적 재산 이용 동의와 지적 재산 이용 방침(저작권 규정)은 종이(인쇄 형태) 학회지와 전자(온라인 형태 컴퓨터 프로그램 및 데이터베이스) 학회지로 발행하기 위해 심사ㆍ편집 및 제반 구성에 관한 물리 납본 및 전자 납본, 전자 서지 데이터베이스의 구축(이하 ‘학회의 2차 저작’)을 수행하고 학회 저작물의 2차 가공을 통한 연구결과의 효과적인 확산과 공유, 권리의 보호를 목적으로 한다.
가)저작자가 제출한 원고(컴퓨터 프로그램 및 데이터베이스 저작물: 종이 및 전자 원고, 원고에 수록된 연구결과, 제목, 초록, 저자정보, 키워드, 연구 원문, 연구 원자료(raw data), 표, 통계 실험을 위해 작성한 컴퓨터 프로그램, 기타 첨부자료 등, 이하 원고라고 한다)에 적용한다. 특별한 언급이 없는 경우 전자 원고 파일은 ‘컴퓨터 프로그램’과 동의어로, 연구결과 및 기타 원고의 구성 요소는 ‘데이터베이스’와 동의어로 한다.
나)투고 원고 컴퓨터 프로그램 및 데이터베이스 저작권을 포함한 저작권과 저작 인접권, 그리고 특허와 관련된 권리 및 미공개 정보 보호를 위해 적용한다.
② 연구결과를 활용하여 또 다른 혁신적이고 창의적인 제품 또는 아이디어, 연구결과의 생산 및 상업화를 촉진해 산업 및 조직 심리학이 추구하는 과학자-전문가(scientist-practitioner) 모형을 실현하는 데 목적이 있다.
③ 지적 재산의 보호, 특히 산업재산권의 보호에 관한 파리협약(1967)(이하 파리협약)의 제10조의 2에 언급된 불공정경쟁에 대한 보호를 실현하는 데 목적이 있다.
④ 전자 학회지의 출판 및 유통 결과로 생성한 DOI(Digital Object Identifier) 및 JATS(Journal Archive Tag Suite), 그리고 PDF 및 기타 파일(HTML, XML)의 이용 권한을 설정하는 데 목적이 있다.
가) DOI, JATS, PDF 등에 수록된 제목 및 초록, 키워드, 저자 정보, 원문, 표 및 그림, 연구 관련 자료의 유통과 2차 가공을 통해 연구 결과물의 인용 확산 및 이용을 수락하기 위한 목적이 있다.
제10조(지적 재산 이용 동의와 이용 방침 관련 법령 및 조약 정의) 대한민국 정부와 자유무역협정을 맺은 동맹국 간 자유로운 서지 사항 및 학술자료 유통(이하 ‘오픈 액세스’)을 위하여 국제 협약을 따른다.
① 학술 저작물 저작권 보호를 위해 “문학, 예술 저작물의 보호를 위한 베른 협약”을 따른다.
② 온라인 디지털 환경에서의 저작권 보호를 위해 “세계지적재산권기구 저작권 조약”을 따른다.
③ 저작자의 지적 재산 이용 동의를 통해 저작권법의 범위 내에서 복사, 배포, 전송, 편집, 리믹스, 활용에 이용될 수 있는 콘텐츠인 디지털 공유재를 형성하기 위해 “Creative Commons BY 4.0 라이선스”를 따른다.
제11조(용어 정의와 기본 권리)
① 저작자는 연구 결과물을 만드는 데 기여한 모든 저자를 의미하며, 저작권자의 권리는 1저자와 참여저자, 교신저자에 차등을 주지 아니하고 발생한다.
② 저작물은 저작자가 학회지에 제출한 원고를 의미한다.
가)원고의 지식 재산권 및 저작권은 저작자에게 있다.
나)저작자는 학회에 2차 저작을 승인하거나 거절할 기본 권리가 있다.
③ 학회의 편집
가)한국 산업 및 조직 심리학회는 pISSN 정기간행물로 발행되는 종이 학술지 및 eISSN으로 발행되는 전자 학술지 및 서지 데이터베이스의 구성과 발행, 배포, 전송, 납본, 공유, 확산, 홍보 등 학술지 업무를 수행하고, 저작자가 제출한 원고를 다음의 목적에 활용하기 위해 원고를 심각하게 훼손하지 않는 선에서 학술지 편집권을 행사할 수 있다. 학회는 이 절차에서 Creative Commons BY 4.0 라이선스를 준수한다.
나)학회는 Creative Commons 4.0 BY 라이선스를 준수하고 다음 기술된 행위로 인해 발생한 2차 저작물(이하 ‘학회 저작물’)의 지식 재산권과 저작권은 한국 산업 및 조직 심리학회에 있다.
- 원고 심사 및 출판을 위해 저작자가 제출한 원고의 복제 및 프로그램 이름 형식 변경
- 원고 심사 및 출판을 위해 저작자가 제출한 데이터베이스 구성물의 편집 및 전송
- 원고 심사 및 출판을 위해 저작자가 제출한 원고를 싣는 컴퓨터 프로그램 형태 변경(예: HWP 파일을 DOCX로 변경, DOCX 파일을 JATS 파일로 변경 등)
- 원고 심사자가 심사 및 출판을 위해 제출한 원고에 인용하는 데이터베이스 원본
- 원고 심사 및 출판을 위해 저작자가 제출한 데이터베이스 내 오자 및 오류, 참고문헌의 교정(校正), 미국심리학회 출판 매뉴얼 및 한국심리학회 출판 매뉴얼, 한국 산업 및 조직 심리학회 출판 학회지 편집 규정에 맞지 않는 데이터베이스 원본 교정(矯正)
- 전자 학회지를 JATS, PDF, HTML 및 XML, SQL 형태로 발행하기 위한 데이터베이스 배열과 참고문헌 형식 변경 및 교정
- 종이(인쇄형태) 학회지를 발행하기 위한 데이터베이스의 배열과 판면(版面) 편집
- 최종 학회지 구성을 위해 국제표준기구가 정한 DOI, JATS, PDF, HTML, 및 XML, SQL 형태로 원본 컴퓨터 프로그램 및 데이터베이스를 편집한 2차 컴퓨터 프로그램 및 데이터베이스의 생성
- 학술 논문의 이해를 돕기 위해 편집권을 발동하여 편집위원의 연구 설명 및 관련 연구 제시
④ 학회의 전송 등
가)학회의 2차 저작물을 물리 매체와 온라인ㆍ디지털 매체로 발행하면, 유관 기관은 물리 매체 및 온라인 및 디지털 매체로 발행된 컴퓨터 프로그램(JATS, HTML, XML)과 컴퓨터 프로그램에 수록된 데이터베이스(제목, 초록, 저자 정보, 키워드, 연구 원문, 연구 원자료, 기타 첨부 자료 등)를 다시 가공해 연구 성과물을 검색하고 읽고 인용하며 추천할 수 있도록 학회 저작물을 2차 저작한다.
나)학회 저작물을 2차 저작한 자는 저작자의 연구 결과물 데이터베이스를 구성할 수 있도록 Creative Commons 4.0 BY 라이선스로 발행, 납본, 배포, 전송하고 유통한다.
- 한국 산업 및 조직 심리학회 홈페이지(https://www.ksiop.or.kr) 및 온라인 투고ㆍ심사시스템(https://journal.ksiop.or.kr) 사이트를 통한 온라인 발행ㆍ유통ㆍ홍보
- 외부 기관에 납본ㆍ보존용 배포
|
국내 |
국외 |
|
국립중앙도서관 (http://www.nl.go.kr) 한국ISSN센터 (http://seoji.nl.go.kr) 국회도서관 (https://www.nanet.go.kr) 한국학술지인용색인 (https://www.kci.go.kr) 한국오픈액세스저널디렉터리 (사)한국심리학회 전자 데이터베이스
|
국제ISSN센터 (https://www.issn.org) 오픈 액세스 학회지 디렉터리 (ROAD: https://road.issn.org/) DOI (https://www.doi.org) Crossref (https://www.crossref.org) 오픈 액세스 학회지 디렉터리 DOAJ (https://doaj.org) Web of Science 외부 검색엔진(Google, Bing 등)에 등록ㆍ유통 |
제12조(저작자 권리와 의무)
① 저작자 권리
가)저작자는 학회가 저작자가 제출한 원고를 학술지의 심사, 편집, 구성, 배포, 전송, 유통, 홍보를 위한 목적으로 한 ‘학회의 편집’ 및 Creative Commons BY 4.0 라이선스 조건에 따른 ‘학회의 전송 등’에 대하여 동의를 표현하거나 거부할 수 있다.
나)동료 심사(peer-review) 받지 않은 상태에서 온라인 디지털 사전 발행(pre-print) 형태로 저자 자가 등록(Author self-archiving) 할 수 있다(예: PsyArxiv, ResearchGate, Open Science Framework 등).
다)학회 저작물을 발행 후(post-print) 저자 자가 등록(Author self-archiving)할 수 있다.
라)학회가 정한 학회 학술지 공식 배포 및 전송방법으로서 한국 산업 및 조직심리학회 홈페이지, 한국심리학회지 등을 통하여 온라인 발행이 이루어진 이후(post-print), 저자 자가 등록(Author self-archiving)할 수 있다.
② 저작자 의무
가)Creative Commons 4.0 BY 라이선스 조건에 동의해야 학회지에 발행할 수 있다.
나)원고 파일을 구성하는 컴퓨터 프로그램과 데이터베이스(제목, 초록, 저자 정보, 키워드, 연구 원문, 연구 원자료, 표, 그림, 기타 첨부 자료 등)의 구성에는 다른 저작물의 지식 재산권 침해가 없어야 학회지에 발행할 수 있다.
References
이순묵. (1993). 중급 LISREL. 한국심리학회 동계연수회 자료집.
이순묵. (2010). 역량과 역량관련 프로그램의 타당화를 위한 제안. 한국 심리학회지: 산업 및 조직, 23(3), 551-573.
이순묵. (2014). 구조방정식 모형의 일반화와 차별화: 다집단 분석. 미발간
이순묵, 김한조. (2011). 구조방정식 모형의 일반화 또는 집단차 연구를 위한 다집단 분석의 관행과 문제점. 사회과학(성균관대), 43(1), 63-112.
이순묵, 윤수철, 차정은, 김종남, & 여성칠. (2012). 한국판 CPGI 와 원본척도 (CPGI)간 측정동등성 및 점수연계 가능성. 한국심리학회지: 임상, 31(2), 401-425.
이회영. (2012). 심리적 자본과 조직공정성이 직무만족과 조직몰입에 미치는 영향. 성균관대학교 석사학위 논문.
이회영, 김종규, & 이순묵 (2013). 포스터 발표: 3 분과 산업 및 조직; 심리적 자본과 조직공정성이 직무만족과 조직몰입에 미치는 영향: 다수준적 (multi-level) 고찰. 한국심리학회 연차 학술발표논문집, 2013(1), 314.
최은하 (2012). 팀 유연성에 대한 타당도 분석: 다수준적 관점의 적용. 성균관대학교 석사학위 논문.
최은하, & 구병모 (2013). 포스터 발표: 3 분과 산업 및 조직; 상향적으로 정의되는 팀 유연성의 타당화.
한정원, 이경수, 박찬신, & 손영우 (2009). 조종사의 안전행동을 예측하는 조직의 안전문화와 개인의 안전태도 및 안전동기 간의 관계. 한국심리학회지: 산업 및 조직, 22 (1), 109-129.
한태영, & 김원형 (2006). 권한위임과 조직공정성이 직무효과성에 미치는 영향에 대한 다수준적(multilevel) 고찰. 인사조직연구, 14, 183-216.
홍세희, 황매향, & 이은설 (2005). 청소년용 여성 진로장벽 척도의 잠재평균분석. 교육심리연구, 19(4), 1159-1177.
Bentler, P. M. (1990). Comparative fit indexes in structural models. Psychological bulletin, 107(2), 238.
Bentler, P. M. (1995). EQS structural equations program manual. Multivariate Software.
Bentler, P. M., & Bonett, D. G. (1980). Significance tests and goodness of fit in the analysis of covariance structures. Psychological bulletin, 88(3), 588.
Bliese, P. D. (2000). Within-group agreement, non-independence, and reliability: Implications for data aggregation and analysis. In K. J. Klein & Steve W. J. Kozlowski(Eds.), Multilevel theory, research, and methods in organizations: Foundations, extensions, and new directions(pp. 349-381). San Francisco, CA, US: Jossey-Bass, xxix, 605 pp.
Bovaird, J. A. & Koziol, N. A. (2012). Measurement Models for Ordered-Categorical Indicators. In Hoyle, R. H. (Ed.) Handbook of Structural Equation Modeling. NY: Guilford Press.
Byrne, B. M., Shavelson, R. J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological bulletin, 105(3), 456.
Chan, D. (1998). Functional relations among constructs in the same content domain at different levels of analysis: A typology of composition models. Journal of Applied psychology, 83, 234-246.
Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling, 14(3), 464-504.
Chen, G., Bliese, P. D., & Mathieu, J. E. (2005). Conceptual framework and statistical procedures for delineating and testing multilevel theories of homology. Organizational Research Methods, 8(4), 375-409.
Chen, G., Mathieu, J. E., & Bliese, P. D. (2004). A framework for conducting multilevel construct validation. Research in Multi Level Issues, 3, 273-303.
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural equation modeling, 9(2), 233-255.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Erlbaum.
Cronbach, L. J. (1976). Research on classrooms and schools: Formulation of questions, design and analysis. Occasional Paper of the Stanford Evaluation Consortium, Stanford University.
DeShon, R. P., Kozlowski, S. W., Schmidt, A. M., Milner, K. R., & Wiechmann, D. (2004). A multiple-goal, multilevel model of feedback effects on the regulation of individual and team performance. Journal of Applied Psychology, 89(6), 1035.
Dyer, N. G., Hanges, P. J., & Hall, R. J. (2005). Applying multilevel confirmatory factor analysis techniques to the study of leadership. The leadership quarterly, 16(1), 149-167.
Goldstein, I. L. (1993). Training in organizations: Needs assessment, development, and evaluation. Thomson Brooks/Cole Publishing Co.
Griffin. M. A., & Mason, C. M. (2002). Grouptask Satisfaction : Applying the Construct of Job Satisfaction to Groups. Small Group Research, 33, 271-312.
Guzzo, R. A., Yost, P. R., Campbell, R. J., & Shea, G. P. (1993). Potency in groups: Articulating a construct. British journal of social psychology, 32(1), 87-106.
Heck, R. H. (2001). Multilevel modeling with SEM. New developments and techniques in structural equation modeling, 89-127.
James, L. R. (1982). Aggregation bias in estimates of perceptual agreement. Journal of Applied Psychology, 67, 219-229.
James, L. R., Demaree, R. G., & Hater, J. J. (1980). A statistical rationale for relating situational variables and individual differences. Organizational Behavior and Human Performance, 25(3), 354-364.
James, L. R., Demaree, R. G., &Wolf, G. (1984). Estimating within-group interrater reliability with and without response bias. Journal of applied psychology, 69(1), 85.
James, L. R., & Jones, A. P. (1974). Organizational climate: A review of theory and research. Psychological bulletin, 81(12), 1096.
Jones, A. P., & James, L. R. (1979). Psychological climate: Dimensions and relationships of individual and aggregated work environment perceptions. Organizational behavior and human performance, 23(2), 201-250.
Jöreskog, K. G. (1971). Simultaneous factor analysis in several populations, Psychometrika, 36(4). 409-426.
Kenny, D. A. (2010). Fit measures. http://davidakenny.net/cm/fit.htm.
Kozlowski, S.W. & Hattrup, K. 1992. A disagreement about within-group agreement: Disentangling issues of consistency versus consensus. Journal of Applied Psychology, 77: 161-167.
Kozlowski, S. W. J., Gully, S. M., Nason, E. R., Ford, J. K., Smith, E. M., Smith, M. R., & Futch, C. J. (1994). A composition theory of team development: Levels, content, process, and learning outcomes. In JE Mathieu (Chair), Developmental views of team process and performance. Symposium conducted at the ninth annual conference of the Society for Industrial and Organizational Psychology, Nashville, TN.
Kozlowski, S. W., & Hults, B. M. (1987). An exploration of climates for technical updating and performance. Personnel Psychology, 40(3), 539-563.
Kozlowski, S. W., & Klein, K. J. (2000). A Multilevel approach to theory and research in organizations: Contextual, Temporal, and Emergent Processes. In K. J. Klein & S. W. J. Kozloeski (Eds.), Multilevel Theory, Research, and Methods in Organizations. San Francisco: Jossey-Bass.
Kozlowski, S. W., & Salas, E. (1997). A multilevel organizational systems approach for the implementation and transfer of training. Improving training effectiveness in work organizations, 247, 287.
Kozlowski, S.W.J. (1998, March). Extending and elaborating models of emergent phenomena. Presentation at MESO Organization Studies Group, Arizona State University, Tempe.
Kozlowski, S.W.J. (1999, April). A typology of emergence: Theoretical mechanisms understanding bottom-up phenomena in organizations. In F. P. Morgeson & D.A. Hofmann (Chairs), New perspectives on higher-level phenomenon in industrial/organizational psychology. Symposium conducted at the fourteenth annual conference of the Society for Industrial and Organizational Psychology, Atlanta, GA.
LeBreton, J. M., & Senter, J. L. (2008). Answers to 20 questions about interrater reliability and interrater agreement. Organizational Research Methods, 11, 815-852. doi: 10.1177/10944281 06296642
Lee, B. H. (2003). An Empirical Study of Organizational Commitment: A Multi-Level Approach. Journal of Behavioral and Applied Management, 4(3), 176-188.
Maas, C. J., & Hox, J. J. (2005). Sufficient sample sizes for multilevel modeling. Methodology, 1(3), 86-92.
Marsh, H. W., Lüdtke, O., Robitzsch, A., Trautwein, U., Asparouhov, T., Muthén, B., & Nagengast, B. (2009). Doubly-latent models of school contextual effects: Integrating multilevel and structural equation approaches to control measurement and sampling error. Multivariate Behavioral Research, 44(6), 764-802.
McGehee, W., & Thayer, P. W. (1961). Training in business and industry.
Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525-543.
Moore, D. S. (2010). The basic practice of statistics. (5th Ed.). NY: Freeman & Company.
Moorman, R. H. (1991). Relationship between organizational justice and organizational citizenship behaviors: do fairness perceptions influence employee citizenship?. Journal of applied psychology, 76(6), 845.
Morgeson, F. P., & Hofmann, D. A. (1999). The structure and function of collective constructs: Implications for multilevel research and theory development. Academy of Management Review, 24(2), 249-265.
Muthén, B. O. (1991). Multilevel factor analysis of class and student achievement components. Journal of Educational Measurement, 28(4), 338- 354.
Muthen, B. O. (1994). Multilevel covariance structure analysis. Sociological methods & research, 22(3), 376-398.
Muthen, L. K., & Muthen, B. O. (1998). Mplus [computer software]. Los Angeles, CA: Muthén & Muthén.
Muthén, B. O., & Satorra, A. (1989). Multilevel aspects of varying parameters in structural models. Multilevel analysis of educational data, 87-99.
Muthén, B. O., & Satorra, A. (1995). Technical aspects of Muthén's LISCOMP approach to estimation of latent variable relations with a comprehensive measurement model. Psychometrika, 60(4), 489-503.
Myers, N. D., Feltz, D. L., & Short, S. E. (2004). Collective Efficacy and Team Performance: A Longitudinal Study of Collegiate Football Teams. Group Dynamics: Theory, Research, and Practice, 8(2), 126.
Myers, N. D., Payment, C. A., & Feltz, D. L. (2004). Reciprocal Relationships Between Collective Efficacy and Team Performance in Women's Ice Hockey. Group Dynamics: Theory, Research, and Practice, 8(3), 182.
Niehoff, B. P., & Moorman, R. H. (1993). Justice as a mediator of the relationship between methods of monitoring and organizational citizenship behavior. Academy of Management journal, 36(3), 527-556.
Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (Vol. 1). Sage.
Schmitt, N., & Kuljanin, G. (2008). Measurement invariance: Review of practice and implications. Human Resource Management Review, 18(4), 210-222.
Schweig, J. (2013). Testing the assumption of cross-level measurement invariance in multilevel models: Evidence from school and classroom environment surveys (CRESST Report 829). Los Angeles, CA: University of California, National Center for Research on Evaluation, Standards, and Student Testing (CRESST).
Sirotnik, K. A. (1980). Psychometric implications of the unit‐of‐analysis problem (with examples from the measurement of organizational climate). Journal of Educational Measurement, 17(4), 245-282.
Snijders T. A. B., & Bosker RJ (1999). Multilevel Analysis: An Introduction to Basic and Advanced Multilevel Modeling. Sage Publications, London.
Sörbom, D. (1974). A general method for studying differences in factor means and factor structure between groups. British Journal of Mathematical and Statistical Psychology, 27(2), 229-239.
Stapleton, L. M. (2006). Using multilevel structural equation modeling techniques with complex sample data. In Hancock, G. R. & Mueller, R. O(Eds.) , Structural equation modeling: A second course. pp.345-383. Greenwich, CON: Information age publishing.
Steiger, J. H., & Lind, J. C. (1980, May). Statistically based tests for the number of common factors. In annual meeting of the Psychometric Society, Iowa City, IA (Vol. 758, pp. 424-453).
Tay, L., Woo, S. E., & Vermunt, J. K. (2014). A Conceptual and Methodological Framework for Psychometric Isomorphism Validation of Multilevel Construct Measures. Organizational Research Methods, 17(1), 77-106.
Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organizational research methods, 3(1), 4-70.
Yoon, M., & Millsap, R.E. ( 2007). Detecting violations of factorial invariance using data- based specification searches: A Monte Carlo study. Structural Equation Modeling, 14. 435-463.
Zyphur, M. J., Kaplan, S. A., & Christian, M. S. (2008). Assumptions of cross-level measurement and structural invariance in the analysis of multilevel data: Problems and solutions. Group Dynamics: Theory, Research, and Practice, 12(2), 127.