Lo principal es distinguir dos tipos de oraciones subordinadas con «que». Si puedes quitar la parte con «que» y el sentido de la oración principal se mantiene completo, necesitas coma. Si no puedes quitarla, porque esa parte especifica de cuál objeto exactamente se habla, no habrá coma.
En tu ejemplo «Compré un libro que estaba en el estante» la oración tiene sentido sin la segunda parte. Compraste un libro, punto. Y la información sobre el estante es una aclaración adicional. Aquí hace falta coma. Pero si dices «Compré el libro que tú me recomendaste», aquí no habrá coma, porque sin la especificación «que tú me recomendaste» no está claro cuál libro exactamente tienes en mente.
Se verifica fácil: intenta mentalmente quitar la subordinada. Si la oración principal quedó lógica y completa, necesitas coma. Si sin la subordinada el sentido se cae o queda poco claro, no hay coma.