Я не думаю, что это грубость - всегда опаздывать, но это точно влияет на другого человека. Когда вы договариваетесь встретиться, он резервирует для вас своё время, поэтому прийти на 15 - 20 минут позже - это по сути сказать ему, что его время стоит меньше, чем твоё. Это не катастрофа, если случается иногда, но когда это становится паттерном, люди это замечают и злятся, даже если не говорят об этом напрямую.
То, что твои друзья ничего не говорят, не значит, что им всё равно. Часто люди избегают это озвучить, чтобы не казаться злюками и не создавать конфликт, но внутри копят обиду. Если ты постоянно опаздываешь, в итоге кто-то просто станет менее доступен для тебя, или встречи станут реже, причём без объяснений.
То, что ты можешь сделать, довольно просто: выходи на 15 минут раньше, чем думаешь, что нужно. Если ты всегда опаздываешь, значит твой расчёт времени неверный, так что увеличь запас. И если один раз не сможешь, предупреди заранее. Твои друзья, скорее всего, оценят сообщение о том, что ты задержишься, больше, чем ждание в неизвестности. Это маленький жест, который показывает уважение.