He estado experimentando con compresión de vídeo en algunos proyectos personales, y sinceramente HandBrake es tu mejor opción si quieres algo gratuito y directo: te permite usar codificación H.265 que reduce bastante el tamaño de archivo, aunque el trade-off es un tiempo de procesamiento más largo.
Antes de que te lances a re-codificar todo, ¿qué tal está tu ancho de banda de subida? YouTube en realidad re-comprime de todas formas, así que a veces el punto ideal es simplemente conseguir que sea lo suficientemente pequeño para subirlo a una velocidad razonable en lugar de obsesionarse con el bitrate.
¿Estás subiendo archivos originales o ya los has editado?