Wie bereits erwähnt: deine Handynummer ist keine sichere Authentifizierung.
https://www.derstandard.at/story/2000106608061/staatsanwalt-wollte-mobilfunker-zu-zugriff-auf-nutzer-sims-zwingen
In #Signal kannst du deinen Account mit einem "Registration Lock PIN" schützen.
Idealerweise hätte ich aber am liebsten gar keine Abhängigkeit zum Mobilfunknetz.