À priori je dirais que ça n'est pas possible :
man cryptsetup a écritNOTES ON PASSPHRASE PROCESSING FOR LUKS
[…]
From a terminal: The passphrase is read until the first newline and then processed by PBKDF2 without the newline character.
C'est quand on lit depuis l'entrée standard ou un fichier qu'il y a une limite, fixée par défaut à la compilation, et ajustable par une option :
man cryptsetup a écritFrom stdin: LUKS will read passphrases from stdin up to the first newline character or the compiled-in maximum key file length. If --keyfile-size is given, it is ignored.
From key file: The complete keyfile is read up to the compiled-in maximum size. Newline characters do not terminate the input. The --keyfile-size option can be used to limit what is read.
Mais pourquoi vouloir mettre une limite : ça donne une indication sur la longueur maximale du mot de passe à quelqu'un qui voudrait le casser.