Если применить к слою, у которого имеется маска слоя (альфа канал)

эффект stroke (обводка) то вместо обводки весь слой закрашивается цветом обводки.

Это бага или фича, что с этим делать???

остальные эффекты вроде нормально работают с маской.

А если сделать обводку не цветом, а градиентом с красного (другого нужного Вам цвета) в альфа?
Должно получится то, что хотите.

строк работает по результирующей прозрачности. Если маска с градиентами и полупрозрачная - то ессно цвет будет проникать в полупрозрачные области. Начзначем строк до применения маски ,конвертим в смарт обьект и ему уже назначаем маску.