Après quelques recherches rapides... Pour résilier son abonnement :
- Quand l'engagement est terminé : No problemo, of course ;)
- Quand votre engagement n'est pas encore terminé : Ya intérêt à avoir une bonne raison, en gros si c'est pour pouvoir changer de mobile, les chances avoisinent les 0%

Quelques conditions pour résilier son abonnement :

20.3. L'abonné peut mettre fin à son contrat, pendant la période initiale prévue à l'article 8, selon les modalités prévues dans l'article 20.1 pour motif légitime, tel que :
- adresse du titulaire de l'abonnement non couverte par le réseau GSM de Orange France et sous réserve que la demande de résiliation de l'abonnement soit faite dans un délai maximum de 7 jours à compter de la date de mise en service de la ligne.
- déménagement de la résidence principale du titulaire de l'abonnement dans une zone non couverte par le réseau GSM et/ou 3G de Orange France, selon l'offre choisie par l'abonné, et sous réserve que la demande de résiliation de l'abonnement soit faite dans un délai maximum de 7 jours à compter de la date du déménagement,
- déménagement à l'étranger,
- handicap physique incompatible avec l'utilisation d'un téléphone mobile,
- mise en détention dans un établissement pénitentiaire,
- faillite personnelle, redressement judiciaire de l'abonné,
- surendettement de l'abonné,
- cas de force majeure, au sens de la jurisprudence de la Cour de Cassation, affectant l'abonné.
20.4. L'abonné peut décider d'annuler sa demande de résiliation du contrat d'abonnement par simple appel au service clients Orange. Toutefois, cette annulation ne saurait intervenir au-delà du délai de 24 heures précédant la date de résiliation effective précisée par le service clients Orange.

MAIS il existe une troisième solution : La Migration. Pas vers un pays étranger, non, mais de forfait.

Vous avez choisi un forfait à volonté (Orange Classique, Intense ou Pro) et vous souhaitez changer pour un forfait bloqué sans changer de numéro :
> votre période d'engagement est terminée ........................................ pas de frais
> votre période d'engagement n'est pas terminée ........................................... 30E

(en cas de changement vers un forfait bloqué depuis une offre souscrite avec Privilège 24 mois, vous restez engagés sur 24 mois et ne bénéficiez plus de la réduction de 4,5E par mois)

Vous avez choisi un forfait bloqué (Orange Zap ou M6 mobile by Orange) ou un forfait à volonté (Orange Classique, Intense, ou Pro) et vous souhaitez changer pour une offre sans engagement :
> Si votre période d'engagement n'est pas terminée, vous ne pouvez pas changer de formule sans changer de numéro
> Si votre période d'engagement est terminée, le changement est sans frais.

Le meilleur moyen d'être fixé, c'est encore de se renseigner directement auprès de votre opérateur ;)