tu peux décrire l'intégralité de ton environnement dans un fichier texte avec docker-compose par ex.
et tu es certains d'avoir le même environnement quelle que soit la machine sur laquelle tu le fais tourner.
alors il faut quand même te balader avec ton docker-compose et le répertoire dans lequel docker sauvegarde tes données (fichiers de config, ceux des sites et bdd), et il faudra avoir docker sur chacune de tes machines mais c'est clairement un meilleur moyen pour trimbaler ton environnement que de réinstaller et reconfigurer LAMP partout, et c'est beaucoup plus léger qu'une machine virtuelle sur ta clé usb (qui reste aussi une option ceci dit).
une autre option serait d'avoir un serveur de développement en ligne, et de juste te balader avec ton IDE portable. ce qui est parfaitement faisable avec vscode par ex. :
https://code.visualstudio.com/docs/editor/portable