A Machine Learning Approach to Assess Differential Item Functioning in Psychometric Questionnaires Using the Elastic Net Regularized Ordinal Logistic Regression in Small Sample Size Groups

Table 2

The type I error rates of the regularized (elastic net) and non-regularized OLR models in detecting moderate uniform DIF (DIF=0.4) when J=5.

I	Ratio	N	OLR	Ridge	Elastic net OLR									LASSO
				w=0	w=0.01	w=0.02	w=0.03	w=0.04	w=0.05	w=0.06	w=0.07	w=0.1	w=0.5	w=1
5	nr=nf	100	0.037	0.007	0.007	0.020	0.028	0.033	0.036	0.040	0.042	0.048	0.066	0.068
		150	0.040	0.009	0.008	0.021	0.029	0.038	0.042	0.046	0.050	0.056	0.075	0.076
		200	0.042	0.008	0.007	0.018	0.028	0.038	0.046	0.050	0.056	0.063	0.080	0.081
		300	0.052	0.011	0.010	0.023	0.038	0.045	0.051	0.057	0.060	0.070	0.088	0.089
		400	0.056	0.009	0.008	0.023	0.037	0.046	0.053	0.061	0.066	0.077	0.098	0.100
5	nr=2nf	100	0.038	0.012	0.011	0.018	0.027	0.034	0.040	0.042	0.044	0.051	0.067	0.068
		150	0.038	0.006	0.006	0.018	0.026	0.034	0.040	0.045	0.049	0.058	0.071	0.073
		200	0.035	0.008	0.006	0.020	0.030	0.035	0.040	0.043	0.046	0.054	0.067	0.067
		300	0.053	0.010	0.010	0.029	0.037	0.045	0.053	0.059	0.061	0.070	0.087	0.089
		400	0.054	0.012	0.010	0.021	0.034	0.046	0.052	0.056	0.062	0.070	0.091	0.093
5	nr=3nf	100	0.036	0.009	0.009	0.019	0.029	0.035	0.039	0.044	0.046	0.052	0.069	0.071
		150	0.039	0.008	0.007	0.018	0.030	0.034	0.040	0.048	0.051	0.058	0.072	0.074
		200	0.036	0.010	0.008	0.021	0.030	0.037	0.041	0.046	0.050	0.055	0.069	0.070
		300	0.041	0.010	0.009	0.020	0.030	0.038	0.044	0.048	0.053	0.061	0.075	0.077
		400	0.052	0.011	0.008	0.025	0.036	0.043	0.049	0.055	0.059	0.068	0.088	0.090
λBIC			-	0.380	0.381	0.190	0.130	0.095	0.076	0.063	0.054	0.038	0.008	0.004
10	nr=nf	100	0.029	0.009	0.008	0.021	0.029	0.034	0.037	0.040	0.041	0.046	0.056	0.056
		150	0.030	0.010	0.009	0.020	0.030	0.035	0.038	0.042	0.045	0.050	0.058	0.059
		200	0.030	0.012	0.010	0.022	0.030	0.036	0.040	0.043	0.045	0.050	0.058	0.059
		300	0.031	0.010	0.008	0.022	0.028	0.034	0.038	0.041	0.044	0.048	0.058	0.059
		400	0.031	0.010	0.009	0.020	0.027	0.032	0.035	0.040	0.041	0.046	0.055	0.056
10	nr=2nf	100	0.029	0.009	0.009	0.020	0.027	0.031	0.036	0.038	0.040	0.045	0.055	0.055
		150	0.031	0.012	0.011	0.022	0.032	0.038	0.043	0.045	0.047	0.050	0.059	0.059
		200	0.027	0.009	0.008	0.019	0.027	0.034	0.037	0.040	0.042	0.046	0.056	0.057
		300	0.027	0.011	0.009	0.020	0.028	0.033	0.037	0.039	0.041	0.046	0.055	0.056
		400	0.031	0.010	0.009	0.021	0.029	0.035	0.039	0.041	0.043	0.047	0.057	0.058
10	nr=3nf	100	0.029	0.010	0.009	0.021	0.028	0.031	0.035	0.037	0.040	0.044	0.053	0.053
		150	0.030	0.009	0.009	0.022	0.030	0.034	0.038	0.041	0.043	0.048	0.058	0.059
		200	0.024	0.009	0.008	0.017	0.024	0.030	0.033	0.036	0.038	0.042	0.050	0.051
		300	0.034	0.011	0.010	0.023	0.031	0.036	0.040	0.043	0.045	0.049	0.058	0.059
		400	0.028	0.009	0.008	0.021	0.027	0.032	0.036	0.038	0.041	0.045	0.054	0.055
λBIC			-	0.315	0.315	0.160	0.105	0.080	0.063	0.052	0.045	0.032	0.006	0.003

Note: DIF: differential item functioning; I: number of items in the scale; J: number of response categories; LASSO: least absolute shrinkage and selection operator; OLR: ordinal logistic regression; w: weighting parameter; Ratio: sample size ratio between the focal and reference groups; n_f and n_r indicate sample sizes in the focal and reference groups, respectively; N: total sample size (N=n_f +n_r). These λ values were obtained according to the Bayesian information criterion (BIC).