Je pense que tu trouvera la réponse en cherchant "ssh client certificates" sur Google.

Le principe est de générer des certificats clients.
A la connexion, au lieu de fournir un mot de passe, les clients fournissent leur certificat au serveur.