A Machine Learning Approach to Assess Differential Item Functioning in Psychometric Questionnaires Using the Elastic Net Regularized Ordinal Logistic Regression in Small Sample Size Groups
Table 1
The powers of the regularized (elastic net) and non-regularized OLR models in detecting moderate uniform DIF (DIF=0.4) when J=5.
I
Ratio
N
OLR
Ridge
Elastic net OLR
LASSO
w=0
w=0.01
w=0.02
w=0.03
w=0.04
w=0.05
w=0.06
w=0.07
w=0.1
w=0.5
w=1
5
nr=nf
100
0.179
0.100
0.098
0.146
0.175
0.192
0.215
0.224
0.233
0.247
0.277
0.281
150
0.317
0.184
0.177
0.265
0.310
0.332
0.347
0.357
0.361
0.370
0.412
0.413
200
0.365
0.217
0.210
0.190
0.360
0.389
0.400
0.409
0.418
0.433
0.479
0.483
300
0.559
0.409
0.392
0.518
0.572
0.594
0.610
0.621
0.625
0.632
0.673
0.677
400
0.702
0.550
0.528
0.673
0.734
0.754
0.770
0.773
0.772
0.774
0.808
0.811
5
nr=2nf
100
0.161
0.068
0.065
0.126
0.155
0.174
0.188
0.199
0.207
0.215
0.257
0.260
150
0.279
0.140
0.129
0.230
0.266
0.291
0.300
0.309
0.320
0.333
0.366
0.366
200
0.334
0.204
0.196
0.287
0.333
0.360
0.375
0.383
0.397
0.409
0.439
0.441
300
0.497
0.344
0.329
0.452
0.498
0.527
0.544
0.556
0.562
0.579
0.626
0.632
400
0.629
0.499
0.474
0.598
0.644
0.661
0.683
0.694
0.700
0.708
0.737
0.739
5
nr=3nf
100
0.143
0.067
0.064
0.108
0.135
0.149
0.158
0.167
0.175
0.190
0.221
0.225
150
0.219
0.108
0.103
0.176
0.211
0.232
0.244
0.249
0.257
0.278
0.306
0.308
200
0.279
0.171
0.160
0.250
0.280
0.300
0.314
0.322
0.331
0.346
0.379
0.379
300
0.430
0.279
0.265
0.373
0.432
0.457
0.472
0.481
0.486
0.503
0.543
0.546
400
0.539
0.397
0.381
0.507
0.556
0.583
0.596
0.604
0.610
0.619
0.652
0.655
λBIC
-
0.380
0.381
0.190
0.130
0.095
0.076
0.063
0.054
0.038
0.008
0.004
10
nr=nf
100
0.117
0.075
0.072
0.116
0.143
0.153
0.161
0.163
0.166
0.171
0.189
0.190
150
0.173
0.138
0.133
0.184
0.216
0.232
0.235
0.240
0.245
0.256
0.272
0.277
200
0.248
0.189
0.183
0.262
0.285
0.305
0.318
0.324
0.333
0.343
0.355
0.358
300
0.350
0.283
0.276
0.360
0.405
0.424
0.432
0.440
0.442
0.452
0.472
0.473
400
0.462
0.410
0.394
0.502
0.531
0.548
0.558
0.562
0.563
0.565
0.587
0.587
10
nr=2nf
100
0.102
0.072
0.070
0.112
0.123
0.135
0.142
0.145
0.147
0.156
0.165
0.166
150
0.167
0.121
0.120
0.172
0.198
0.211
0.222
0.228
0.232
0.238
0.258
0.258
200
0.207
0.144
0.142
0.218
0.241
0.250
0.259
0.263
0.267
0.275
0.293
0.293
300
0.314
0.256
0.242
0.332
0.364
0.380
0.394
0.401
0.403
0.410
0.432
0.434
400
0.389
0.333
0.324
0.417
0.456
0.479
0.487
0.492
0.499
0.511
0.537
0.537
10
nr=3nf
100
0.099
0.064
0.062
0.098
0.119
0.133
0.141
0.146
0.148
0.150
0.158
0.159
150
0.146
0.098
0.096
0.150
0.175
0.188
0.194
0.199
0.203
0.211
0.220
0.222
200
0.168
0.114
0.110
0.165
0.200
0.220
0.224
0.229
0.234
0.245
0.274
0.276
300
0.264
0.204
0.196
0.272
0.300
0.318
0.330
0.336
0.345
0.354
0.375
0.376
400
0.349
0.281
0.265
0.367
0.390
0.411
0.426
0.433
0.441
0.459
0.482
0.483
λBIC
-
0.315
0.315
0.160
0.105
0.080
0.063
0.052
0.045
0.032
0.006
0.003
Note: DIF: differential item functioning; I: number of items in the scale; J: number of response categories; LASSO: least absolute shrinkage and selection operator; λ: regularization parameter; OLR: ordinal logistic regression; w: weighting parameter; Ratio: sample size ratio between the focal and reference groups; nf and nr indicate the sample sizes in the focal and reference groups, respectively; N: the total sample size (N=nf +nr). These λ values were obtained according to the Bayesian information criterion (BIC).
