Как часто это случается - он просто быстро глянет или проводит с телефоном больше времени, чем с тобой?
Я думаю, тут нужно разобраться. Если кто-то просто ненадолго проверит сообщение, это раздражает, но это не конец света. Но если он постоянно скроллит или печатает, пока ты говоришь, то это действительно невежливо - не потому, что он специально хочет тебя игнорировать, а потому, что это выглядит именно так. Другие ответы правы, что это часто становится бессознательной привычкой, но это же не делает это для тебя менее раздражающим.
Я бы не стал поднимать это за едой, когда ситуация снова произойдёт. Это только вызовет защиту. Лучше поговорить с ним в обычной беседе и спросить, не заметил ли он, что много смотрит в телефон, когда вы вместе. Не обвинительно, а скорее из любопытства. Много людей это даже не замечают. Он мог быть в стрессе из-за чего-то другого - семья, работа, неважно. Это, конечно, не меняет то, что тебя это раздражает, но помогает понять, это просто привычка или там что-то ещё. Когда он это узнает, он, вероятно, сам себя начнёт контролировать и попытается это исправить.