Нашел я все-таки ключ для расшифровки файлов на мастер-диске, который генерирует ps3gen из sdk в статье на ps3 dev wiki -
Basic Bluray disc authentication procedure в разделе «Disc de-/encryption». Расшифровав его по алгоритму на том же ресурсе в статье
Bluray disc в разделе «Deriving the disc key» получил значение Data1 для заголовка cobra (или 3k3y) header в PS3-ISO-Rebuilder.
Но так как я в итоге понял, что мне был нужен зашифрованный игровым ключом образ для создания моего ird, то я просто заменил вшитый в ps3gen ключ на ключ из игры. Немного отредактировал заголовок и получил заветный ird.
Всем спасибо за внимание.