SееD, вообще должно было получится качественно, тем более в H.264.
Что-то у тебя похоже пресеты слетели. Иногда бывает, хоть любой пресет качества ставь, а результат один и тот же. Это может другой кодек перехватывать кодирование на себя.
Случаем после установки программы не устанавливал какие кодеки?
Попробуй снести прогу и заново переустановить.