Lo fundamental que absolutamente tienes que hacer: activa la contraseña principal en la configuración de Firefox (Preferencias > Seguridad > Contraseñas). Sin eso, cualquiera con acceso a tu PC puede abrir el gestor y ver todos tus datos de acceso en texto plano. Es francamente fácil de configurar y lo cambia todo.
Ahora bien, la trampa que otros no han explicado bien: incluso con una contraseña principal, Firefox no te pide que la repitas cada vez que navegas. La ingresas una vez al inicio y después se queda desbloqueada hasta que cierras el navegador o lo solicitas manualmente. Entonces si dejas tu PC encendido y alguien accede, puede recuperarlo todo durante la sesión. Tienes que ser consciente de eso. Lo mismo vale para el autocompletado en formularios: no solo las contraseñas, sino también los nombres de usuario pueden ser problemáticos en un PC compartido o al que otros tengan acceso.
Honestamente, para dormir realmente tranquilo, un gestor de contraseñas dedicado (Bitwarden, 1Password y compañía) es más seguro que un navegador, porque tienen capas de cifrado adicionales. Pero si te quedas con Firefox, la contraseña principal + un poco de cuidado con tus sesiones abiertas, ya es mucho mejor que nada.