Само слово "извините" может являться разными формами одного глагола - "извинить". Когда у нас нет контекста, то мы просто можем сказать, что "извините" может быть формой будущего времени второго лица. Например: Вы меня потом извините, а сейчас извинять не нужно.
Но предыдущий пример - достаточно большая редкость, чаще всего слово "извините", которое образно относят к так называемым словам вежливости, относится к повелительному наклонению. Оно выражает просьбу об извинении, то есть о прощении. Если слово "извините" находится в предложении без грамматической связи с другими членами, и от него невозможно задать синтаксический вопрос к какому-то другому слову, то оно должно с двух сторон выделяться запятыми.
В нашем тексте мы не видим грамматических связок наподобие "извините меня", "извините за бестактность" и подобных. Слово "извините" находится непосредственно перед "что", с которого начинается новый выделяемый оборот.
Поэтому после "извините" перед "что" обязательно ставится запятая. После "поздно", если суть основного объяснения на этом заканчивается, также будет запятая.
Читайте по теме: Список вводных слов, которые всегда выделяются запятыми, смотрите здесь. Список ложных вводных слов, которые при всем желании не следует выделять запятыми, можно увидеть тут.
Примеры предложений:
"Извините, что так поздно, но прийти раньше я не смог".