Согласно принятым правилам стилистики и орфографии данное словосочетание нужно писать с большой буквы: созвездие Малой Медведицы.
При этом название созвездия может склоняться или не склоняться. Например, "созвездие Малая Медведица", или "созвездие Малой Медведицы".
При этом с заглавной (большой) буквы пишутся все слова, входящие в название, кроме обозначения физического вида самого астрономического объекта. К примеру: созвездие Южный Крест, созвездие Волосы Вероники, галактика Млечный Путь (галактика, в которой находится планета Земля).