В русском языке с большой буквы пишутся собственные имена, к которым в большинстве случаев словосочетание «глава администрации» не относится.
Пример предложений.
Завтра в наш город приедет глава администрации.
Глава администрации обещал завтра решить наши проблемы.
Но могут быть случаи, когда данное словосочетание нужно писать с большой буквы, например, когда речь идет об Главе Администрации Президента.