La solution : ne pas cocher « Toujours utiliser le mode de navigation privée » et régler les paramètres individuellement.
Notamment je coche « Vider l’historique en quittant » et en cliquant sur le bouton paramètres à droite je coche ce qu’il faut mais pas les « mots de passe ».
Voilà Firefox me demande à nouveau si je veux garder ou pas le mot de passe. Ci-dessous mes réglages (Cliquer sur chaque image pour agrandir)