Anledningen till uttryckets uppkomst är dunkel. Det kan vara så att den härleder sig från uttryck som ”draga sig ur spelet” eller ”draga sig ur leken”. Taga sin Mats ur skolan fanns redan på 1700-talet. Ett exempel är: ”Jag tror thet är säkrast, at taga sin Matz ur Skolan.” Wadenstierna 1747.