Das Komma ist erforderlich, wenn der Nebensatz mit „der/die/das" ein Wort ergänzt oder erklärt, ohne dessen Bedeutung einzuschränken. In deinem Beispiel ist es richtig: „Ich habe das Buch gekauft, das auf dem Regal lag" - das Komma ist notwendig. Hier fügt der Satz einfach eine Information über das Buch hinzu, man könnte ihn weglassen, ohne den Sinn zu verlieren.
Aber wenn du schreiben würdest „Ich habe das Buch gekauft, das mir gefallen hat", steht auch hier ein Komma - das ist ein erläuternder Nebensatz. Ohne Komma schreibt man nur in seltenen Fällen, wenn der Nebensatz die Bedeutung *einschränkt* - zum Beispiel „Bücher, die ich liebe" kann eine bestimmte Menge Bücher bedeuten, die sich von anderen unterscheidet. Aber auch hier verlangt die moderne Norm oft ein Komma, daher ist es besser, nicht zu riskieren.
Leichter zu merken ist das so: Wenn der Nebensatz nach dem Substantiv kommt und mit „der/die/das" anfängt - setz ein Komma davor. Ausnahmen sind selten, und in normalem Schreiben wirst du kaum einen Fehler machen, wenn du das immer machst.