A Machine Learning Approach to Assess Differential Item Functioning in Psychometric Questionnaires Using the Elastic Net Regularized Ordinal Logistic Regression in Small Sample Size Groups
Table 4
The type I error rates of the regularized (elastic net) and non-regularized OLR models in detecting severe uniform DIF (DIF=0.8) when J=5.
I
Ratio
N
OLR
Ridge
Elastic-net OLR
LASSO
w=0
w=0.01
w=0.02
w=0.03
w=0.04
w=0.05
w=0.06
w=0.07
w=0.1
w=0.5
w=1
5
nr=nf
100
0.058
0.012
0.010
0.027
0.038
0.048
0.058
0.066
0.075
0.084
0.104
0.106
150
0.078
0.014
0.013
0.034
0.051
0.065
0.078
0.086
0.094
0.108
0.132
0.134
200
0.094
0.013
0.011
0.038
0.065
0.080
0.089
0.098
0.106
0.121
0.149
0.150
300
0.135
0.018
0.017
0.054
0.082
0.108
0.124
0.137
0.147
0.166
0.209
0.213
400
0.172
0.021
0.018
0.061
0.099
0.128
0.150
0.167
0.181
0.206
0.261
0.266
5
nr=2nf
100
0.059
0.015
0.014
0.030
0.042
0.053
0.059
0.067
0.072
0.081
0.105
0.107
150
0.076
0.012
0.012
0.030
0.049
0.064
0.072
0.081
0.088
0.102
0.127
0.128
200
0.080
0.014
0.012
0.035
0.055
0.071
0.081
0.091
0.099
0.112
0.143
0.145
300
0.121
0.022
0.020
0.052
0.080
0.096
0.111
0.120
0.131
0.151
0.194
0.197
400
0.155
0.021
0.018
0.056
0.089
0.112
0.135
0.151
0.162
0.185
0.232
0.234
5
nr=3nf
100
0.059
0.012
0.012
0.026
0.039
0.048
0.056
0.063
0.068
0.076
0.099
0.102
150
0.072
0.011
0.009
0.032
0.047
0.062
0.070
0.078
0.084
0.098
0.122
0.124
200
0.077
0.015
0.014
0.033
0.053
0.065
0.074
0.082
0.087
0.101
0.125
0.126
300
0.103
0.017
0.015
0.042
0.062
0.081
0.096
0.108
0.118
0.137
0.169
0.171
400
0.131
0.018
0.016
0.051
0.078
0.099
0.096
0.131
0.143
0.166
0.202
0.206
λBIC
-
0.380
0.380
0.190
0.130
0.095
0.076
0.063
0.054
0.038
0.008
0.004
10
nr=nf
100
0.032
0.011
0.009
0.023
0.032
0.037
0.041
0.044
0.048
0.052
0.061
0.062
150
0.037
0.010
0.010
0.025
0.034
0.042
0.047
0.050
0.053
0.058
0.069
0.070
200
0.039
0.014
0.012
0.027
0.037
0.045
0.050
0.054
0.057
0.062
0.074
0.075
300
0.044
0.013
0.011
0.027
0.039
0.047
0.053
0.057
0.060
0.067
0.078
0.079
400
0.047
0.012
0.010
0.026
0.039
0.048
0.053
0.059
0.063
0.070
0.083
0.085
10
nr=2nf
100
0.033
0.010
0.009
0.023
0.030
0.035
0.040
0.043
0.045
0.050
0.060
0.061
150
0.038
0.012
0.011
0.026
0.035
0.041
0.045
0.050
0.052
0.059
0.069
0.069
200
0.036
0.010
0.009
0.024
0.034
0.041
0.045
0.049
0.051
0.057
0.068
0.069
300
0.041
0.011
0.010
0.025
0.035
0.044
0.049
0.054
0.058
0.064
0.076
0.077
400
0.049
0.012
0.011
0.027
0.040
0.048
0.054
0.058
0.063
0.070
0.085
0.086
10
nr=3nf
100
0.031
0.011
0.010
0.023
0.029
0.034
0.038
0.041
0.043
0.048
0.058
0.058
150
0.035
0.010
0.009
0.024
0.033
0.039
0.044
0.048
0.051
0.056
0.065
0.066
200
0.031
0.009
0.009
0.020
0.029
0.035
0.040
0.044
0.046
0.050
0.060
0.061
300
0.045
0.013
0.012
0.028
0.038
0.047
0.050
0.054
0.058
0.064
0.077
0.078
400
0.042
0.011
0.009
0.024
0.035
0.045
0.050
0.054
0.058
0.066
0.078
0.078
λBIC
-
0.315
0.315
0.160
0.105
0.080
0.063
0.052
0.045
0.032
0.006
0.003
Note: DIF: differential item functioning; I: number of items in the scale; J: number of response categories; LASSO: least absolute shrinkage and selection operator; OLR: ordinal logistic regression; w: weighting parameter; Ratio: sample size ratio between the focal and reference groups; nf and nr indicate sample sizes in the focal and reference groups, respectively; N: total sample size (N=nf +nr). These λ values were obtained according to the Bayesian information criterion (BIC).