Запятая нужна, если придаточное предложение с «который» дополняет или поясняет слово, но не ограничивает его значение. В твоём примере правильно: «Я купила книгу, которая лежала на полке» - запятая нужна. Здесь предложение просто добавляет информацию о книге, её можно убрать без потери смысла.
А вот если бы ты написала «Я купила книгу, которая мне понравилась», запятая тоже ставится - это поясняющее придаточное. Без запятой пишут только в редких случаях, когда придаточное *ограничивает* значение - например, «Книги, которые я люблю» может означать конкретный набор книг, отличный от других. Но даже здесь современная норма часто требует запятую, так что лучше не рисковать.
Проще запомнить так: если придаточное предложение идёт после существительного и начинается с «который/которая/которое» - ставь запятую перед ним. Исключения редкие, и в обычном письме ты почти не ошибёшься, если будешь это делать всегда.