Il existe une librairie C qui convient parfaitement pour s'amuser avec RSA: gmp.h (http://www.swox.com/gmp/)

Elle permet notament de
- travailler avec des nombre de tres grande taille (512, 1024, 2048 bits...)
- trouver facilement des nombres premiers (p et q)
- generer des nombres aleatoires (e)
- faire une inversion avec modulo (d)
- calculer une puissance avec modulo (encryption/decryption RSA)

Avec cette librairie, la generation des cles devient simplissime...