Устойчивое сочетание "мягко говоря", которое имеет немалое количество подобных вариантов (например, мягко скажем, мягко выражаясь и так далее), является в предложениях не обыкновенным деепричастным оборотом, а ещё и имеет некоторые особенности синтаксической роли, которые и будут определять пунктуацию.
Когда употребляют в письменной речи короткое выражение "мягко говоря", то подчёркивают не информационное, а модальное значение, то есть отношение пишущего к тому, о чём он пишет. Если автор хочет сказать, что не желает использовать резких или грубоватых выражений, он употребляет оборот "мягко говоря". Этот оборот завершённый и вводный, в него редко могут проникнуть какие-то другие слова. Поэтому запятые ставятся перед "мягко" и после "говоря".
Бывают случаи, когда значение нашего деепричастного оборота перестаёт быть модальным. Тогда в него внедряются другие языковые элементы, которые обосабливаются вместе со всем оборотом.
Примеры предложений:
Трифон Терентьевич был человеком, мягко говоря, не очень вежливым, поэтому мог и прикрикнуть, резко ответить или вообще нагрубить.
Анатолий, нежно и мягко говоря об Анастасии, нередко вспоминал и Марию.