Nee, die bleiben da wo du sie hindrückst (bis du das nächste mal am bremshebel ziehst

).
Wenn du diesen Bremskolbenrücksteller nicht hast, kannst du da auch mit nem harten Holz hebeln.
Ich würde es nicht mit nem Schraubendreher oder so versuchen, da ist die Chance zu hoch, die Vergütung der Kolben zu beschädigen.
Wenn du eine kleine schraubzwinge und ein dünnes Holz hast, könnte das auch gehen.
Wichtig ist aber, den Kolben vorher schön sauber zu machen, um keinen Dreck in die Dichtung zu drücken.
Warmes Seifenwasser, Zahnbürste und eine Schnur (zB ein Schnürsenkel) funktionieren da sehr gut und greifen die Dichtungen nicht an (anders als Bremsenreiniger, der dort nicht verwendet werden sollte).