Fireweasel, comme dit plus haut, le cas d'école de la ville de Munich apportera des réponses à ta question. Tu peux trouver plein d'informations sur Internet.
Si l'opération est une réussite, la migration, au total, aura mis 10 ans ! Il ne suffisait pas de changer les postes clients, c'était toute l'infrastructure réseau, les procédures informatiques, etc... qu'il fallait "purger" de solutions propriétaires, notamment liées à Microsoft (mais pas que!). Je pense que ça répond à la partie "compliquée".
L'opération est rentable, d'après la ville, mais certainement pas "sans frais". Il a fallu en effet, former les fonctionnaires aux nouveaux outils (si LibreOffice est tout à fait utilisable à la place de MS Office, dès que tu veux faire des choses compliquées -templates, macros, etc...-, ça se passe pas de la même manière, et sans formation, je peux te dire que les gens vont pas suivre), embaucher une équipe de techniciens/ingénieurs pour développer les solutions "maisons" qui répondent aux besoins de la ville, etc...
Bref, c'est faisable (la preuve !), mais c'est long (ici 10 ans), fastidieux (ils ont eu plein de merdes imprévues) et ça demande une certaine tenacité (surtout pour convaincre les gens que le changement, c'est pas forcément pour les faire chier), et c'est pas gratuit (23M€ pour Munich, même s'ils considère qu'ils auraient dépensé plus en restant sous Windows, avec la fin de XP). D'autres villes comme Fribourg ont tenté la même expérience que Munich, mais ont abandonné en cours de route, apparemment à cause des frais trop importants à engager.
Je dis pas qu'il faut pas encourager les administrations à le faire, et que c'est perdu d'avance, mais je pense qu'il faut pas raconter partout que c'est facile et gratuit. Après, les gens tombent de haut et abandonnent...
EDIT: Une source assez exhaustive, mais en anglais:
http://www.techrepublic.com/article/how-munich-rejected-steve-ballmer-and-kicked-microsoft-out-of-the-city/