Salut,
Tout d'abord, il faut savoir que le RaspberryPi n'est pas une bête de compétition en ce qui concerne les performances CPU. Je n'ai pas d'expérience avec, mais c'est à considérer si c'est ton serveur de fichiers.
Ensuite, il te faut choisir un protocole pour partager tes fichiers. Le plus connu, sous Linux, est NFS. C'est bien, mais quand même très "Linux-only". Après tu as Samba, très "Windows-oriented", on va dire. Moi j'ai choisi une 3ème solution, simplement basée sur SSH. Ultra simple à configurer, sécurisé, et te permet d'accéder à tous tes fichiers sans soucis.
Sur le serveur :
apt-get install openssh-server fail2ban
C'est tout.
Il faut aussi configurer un pare-feu, idéalement. Si tu n'as pas d'interface graphique sur ton serveur, tu peux voir avec iptables.
Sur le client, il y a beaucoup de possibilités. La plus pratique selon moi (mais pas la plus simple à configurer), c'est d'utiliser autofs + sshfs. Sinon, selon le navigateur de fichiers que tu utilises, il peut y avoir la possibilité d'enregistrer des raccourcis directement ("connexion à un serveur", voir connexions SFTP ou SSH).
Sur Android, EsExplorateur (et d'autres) supportent les connexions SFTP.