PSPx форум

PSPx форум (https://www.pspx.ru/forum/index.php)
-   PSP хакинг и девелопмент (https://www.pspx.ru/forum/forumdisplay.php?f=195)
-   -   [FAQ] GZIP-сжатие модулей с помощью консоли 7z.exe (https://www.pspx.ru/forum/showthread.php?t=102945)

ErikPshat 29.12.2012 12:05

[FAQ] GZIP-сжатие модулей с помощью консоли 7z.exe
 
Вложений: 2

Сжатие в GZIP с помощью консольных 7-ZIP

Как известно, файлы кастомных прошивок, программ, игр и т.п. пожаты в архивы GZIP. Поэтому часто приходится упаковывать таким образом файлы, чтобы они занимали меньше места, а самое важное то, что после кастомизации часто бывает необходимость вернуть файл на строго определённое место, ограниченное размером, когда нельзя делать сдвиг последующего кода.

Как мы знаем, сжимать в GZIP прекрасно умеет архиватор 7-ZIP. Но его GUI интерфейс имеет скромный потенциал и не позволяет гибко манипулировать сжатием. Зато набор консольных команд того же самого модуля архиватора 7z.exe имеет более расширенный функционал, где мы можем по своему желанию сжать файл до нужного нам размера, выбирая нужные нам параметры сжатия.

Какие параметры командной строки нам даёт архиватор 7-ZIP
Код:

7-Zip 9.20  Copyright (c) 1999-2010 Igor Pavlov  2010-11-18

Usage: 7z <command> [<switches>...] <archive_name> [<file_names>...]
      [<@listfiles...>]

<Commands>
  a: Add files to archive
  b: Benchmark
  d: Delete files from archive
  e: Extract files from archive (without using directory names)
  l: List contents of archive
  t: Test integrity of archive
  u: Update files to archive
  x: eXtract files with full paths

<Switches>
  -ai[r[-|0]]{@listfile|!wildcard}: Include archives
  -ax[r[-|0]]{@listfile|!wildcard}: eXclude archives
  -bd: Disable percentage indicator
  -i[r[-|0]]{@listfile|!wildcard}: Include filenames
  -m{Parameters}: set compression Method
  -o{Directory}: set Output directory
  -p{Password}: set Password
  -r[-|0]: Recurse subdirectories
  -scs{UTF-8 | WIN | DOS}: set charset for list files
  -sfx[{name}]: Create SFX archive
  -si[{name}]: read data from stdin
  -slt: show technical information for l (List) command
  -so: write data to stdout
  -ssc[-]: set sensitive case mode
  -ssw: compress shared files
  -t{Type}: Set type of archive
  -u[-][p#][q#][r#][x#][y#][z#][!newArchiveName]: Update options
  -v{Size}[b|k|m|g]: Create volumes
  -w[{path}]: assign Work directory. Empty path means a temporary directory
  -x[r[-|0]]]{@listfile|!wildcard}: eXclude filenames
  -y: assume Yes on all queries



Итак, для выполнения сжатия, из списка команд видно, что нам потребуется <Commands>
  • a: Add files to archive (Добавить файлы в архив) - буква ы зачёркнута, т.к. в GZIP нельзя архивировать более 1-го файла!
Далее нам нужны будут следующие <Switches>:
  • -t{Type}: Set type of archive (установить тип архива) - т.к. нас интересует архивирование в GZIP, то и выставляем тип: -tgzip
  • -m{Parameters}: set compression Method (установка метода сжатия) - для GZIP существует только метод Deflate и только 3 параметра, об этом ниже...


Сразу приведу пример демонстрации сжатия в архив GZIP с максимально возможным набором команд:

7z a -tgzip arhive.gz file.prx -mx=5 -mfb=4 -mpass=2
Разложим команды сжатия по запчастям...

КомандаОписание
7zсоответственно вызов 7z.exe (расширение обычно не пишут в командах вызова)
aдобавить в архив (от слова add), соответственно e - извлечение (Extract)
-tgzipпараметром -t указываем, что архив gzip, иначе, если не указывать, будет 7z.
archive.gzназвание будущего архива
file.prxназвание архивируемого файла.
-mx=5параметром -m указываем сжатие и следом x=5 уровень сжатия (от 1 до 9)
-mfb=4параметром -m указываем сжатие и следом fb=4 число быстрых байтов (от 3 до 258)
-mpass=2параметром -m указываем сжатие и следом pass=2 число проходов (от 1 до 15)


Теперь более подробнее о параметрах:

GZip использует те же самые параметры как Zip, но GZip сжимает только с методом Deflate.
Таким образом GZip поддерживает только следующие параметры: x, fb, pass.


ПараметрЗначение по-умолчаниюОписание
x=[0|1|3|5|7|9]5Устанавливает уровень сжатия
fb={NumFastBytes}32Устанавливает число быстрых байтов для Deflate кодера
pass={NumPasses}1Устанавливает число проходов для Deflate кодера

Разберём из 1-го столбика таблицы эти параметры поподробнее:

  1. x=[0|1|3|5|7|9]
    Устанавливает уровень сжатия. x=0 - означает режим Copy (никакого сжатия).
    Установки Deflate/Deflate64:

    УровеньЧисло быстрых байтовЧисло проходовОписание
    1321Самый быстрый
    3Быстрый
    5Нормальный
    7643Максимальный
    912810Ультра

    x=1 и x=3 с Deflate методом устанавливают быстрый режим для сжатия.
  2. fb={NumFastBytes}
    Установка числа быстрых байтов для Deflate/Deflate64 кодера. Оно может быть в диапазоне от 3 до 258 (257 для Deflate64). Обычно большее число дает немного лучшую степень сжатия и более медленный процесс сжатия. Большие числа параметра быстрых байтов может значительно увеличить степень сжатия в случае, когда файлы содержат длинные идентичные последовательности байтов.
  3. pass={NumPasses}
    Установка числа проходов для Deflate кодера. Оно может быть в диапазоне от 1 до 15 для Deflate.
    Обычно большее число дает немного лучшую степень сжатия и более медленный процесс сжатия.



P.S. Есть ещё чисто консольная версия 7za.exe (разница видимо только в том, что в ней нету GUI-интерфейса)
Ну и есть другие консольные утилиты именно для gzip.

Вложение 10956


lupus 29.12.2012 14:02

Меня интересует именно 7zip и его консольная часть, т.к. именно им я смог сжать данные так, чтобы игра запустилась на псп. Плясал с другими архиваторами - не вышло ничего путнего.
х=9 - Это будет минимальное сжатие?

что-то про "x" и "fb" архиватор у меня ругается :/
Код:

7z a -tgzip 1.gim.gz 1.gim
Так работает. Не разберусь с указанием минимального сжатия, точнее совсем без сжатия.

ErikPshat 29.12.2012 15:42

Цитата:

Сообщение от lupus (Сообщение 1060002)
х=9 - Это будет минимальное сжатие?

Это максимальное сжатие.
Насчёт fb не помню, вроде нужео ещё и букву указывать b|k|m (в байтах | килобайтах | мегабайтах)

А почему бы тебе просто не пользоваться контекстным меню гуи?
Нажимаешь просто правой кнопкой по файлу, выбираешь 7-Zip => Добавить к архиву...
В открывшемся Гуи выставляешь gzip, потом выставляешь грубо "Уровень сжатия" и потом более тонко "Размер слова".

Скрины
[IMG]http://img687.**************/img687/9153/73188325.png[/IMG]

[IMG]http://img201.**************/img201/919/2912.png[/IMG]


Ещё размер архива наиболее тонко регулируется названием архивированного файла.
Каждая буква в названии прибавляет 1 байт к архиву.

Название архива не имеет значения, т.к. это просто заголовок и он при распаковке отбрасывается. Я, когда запаковывал архивы в PRX, с точностью до байтика регулировал архивы, там название делал чуть-ли не из 100 букв английского и русского алфавита )))

И смысла нет сжимать совсем без сжатия, PSP легко и быстро распаковывает максимальное сжатие. По крайней мере "Нормальное" сжатие (уровень 5-6) будет самое оно, даже меньше необходимого.
И это, никогда не было такого, чтобы архив получался нерабочим. Нужно просто правильно вставлять и править размеры в 3-ёх местах.

lupus 29.12.2012 16:05

Ну всё делается для того, чтобы интегрировать консольную часть 7z в другую софтину, которая написана для того, чтобы распаковывать/упаковывать данные из контейнера, используемого в игре. Я тебя как-то просил глянуть Hysteria Project, так вот по твоему описанию формата написать софтину для распаковки не составило труда, а вот с упаковкой возникли сложности. Я именно 7z вручную и упаковывал файлы после изменения, а потом снова собирал контейнер нашей софтиной.
Почему именно консоль? Мы просто вложим 7z.exe и прога сама будет после этого правильно паковать файлы перед сборкой контейнера. Представь, если все манипуляции для сотни файлов проделывать руками?
А так - всё автоматизировано. После релиза перевода можно и выложить будет для людей.
Вроде всё получилось.

ErikPshat 30.12.2012 06:06

Цитата:

Сообщение от lupus (Сообщение 1060020)
написать софтину для распаковки не составило труда

Интересно, как распаковываются GZIP. У них ведь нет строгого указателя на размер, есть только Magik 1F8B и последние 4 байта, указывающие на размер распакованного файла ))
Я предполагал сделать такую универсальную утилитку...
  1. Там достаточно производить поиск на мэйджик и извлекать содержимое от него до конца файла и тут же распаковывать.
  2. Затем продолжать поиск далее.
  3. Если при распаковке возвращается ошибка, то удалять ложный архив.
  4. Вот и всё. Хитрость в том, что главное иметь начало, а конец сам найдётся без нашего участия. То есть, распаковка идёт только первого архива в извлечённых данных, даже если далее ещё куча архивов. То же самое будет происходить со следующим волшебным смещением и т.д. до последнего мэйджика.

Цитата:

Сообщение от lupus (Сообщение 1060020)
После релиза перевода можно и выложить будет для людей.

Давно мечтал о такой утилите! Чур первый, йухан :)

lupus 30.12.2012 09:31

Тебе то я и так могу кинуть, как будет дописана. Но она заточена под конкретную игру и конкретный алгоритм, не знаю, подойдёт ли тебе.
А так, можно попробовать написать именно такую, как ты хочешь, только подробно расписанное задание нужно и пример файлов, над которыми ставит эксперименты.

ErikPshat 30.12.2012 10:36

Цитата:

Сообщение от lupus (Сообщение 1060108)
А так, можно попробовать написать именно такую, как ты хочешь, только подробно расписанное задание нужно и пример файлов, над которыми ставит эксперименты.

Да просто обычную универсальную, как я написал выше. Просто чтобы выдёргивала все имеющиеся GZIP-архивы из контейнера по magic-заголовку 1F8B и сразу конечно распаковывала.

Вот такое скромное задание:
  • Там достаточно производить поиск на мэйджик и извлекать содержимое от него до конца файла и тут же распаковывать.
  • Затем продолжать поиск далее.
  • Если при распаковке возвращается ошибка, то удалять ложный архив.
  • Вот и всё. Хитрость в том, что главное иметь начало, а конец сам найдётся без нашего участия. То есть, распаковка идёт только первого архива в извлечённых данных, даже если далее ещё куча архивов. То же самое будет происходить со следующим волшебным смещением и т.д. до последнего мэйджика.

lupus 30.12.2012 14:12

Примеры, Эрик, примеры ))
Эксперименты надо же на чём-то ставить...

ErikPshat 30.12.2012 17:27

Цитата:

Сообщение от lupus (Сообщение 1060131)
Примеры, Эрик, примеры ))
Эксперименты надо же на чём-то ставить...

Да вот простой пример, взять тот же Лунар. Там в каждом дате находится по сотне архивов. Здесь полная спецификация.

Собственно что примеры, они кругом, в PRX-ах, в бинарниках засунуты в недра по нескольку штук и принцип везьде одинаковый, тупо вложен архив и приходится вручную искать на магический хедер 1F8B, часто просто попадаешь на ложное совпадение программного кода, ну там сразу видно, чаще всего идёт 1F8B0808, но не факт.

Для примера даю один из них, в нём более 500 GZIP архивов ))) SEPack.dat

lis5131 30.12.2012 20:14

Под лунар у меня есть распаковщик. А вообще если ты можешь просчитать смещения сам, то есть у меня софтинка называется DeArxiver она извлечет по твоим смещением файлы, а потом запросто соберет. Но файлы для сбора должны быть одинакового размера с файлами оригиналами байт в байт. Иначе он будет наслаивать. Если файлы будут разные тебе прийдется пересчитывать смещения.

lupus 30.12.2012 20:38

Если новый файл меньше старого, то это вообще не проблема. Тупо добиваешь в хексе 0x00 или 0xFF до нужного размера. Для этого даже софтинка есть "Magic File Resizer"
Эрик, твой заказ попробуем реализовать, только у нас не я главный кодер, так что с праздниками может слегка затянуться. Кроме того, меня тут осенило, что неплохо бы чтоб софтина ещё лог создавала, что с какого смещения вынуто.

Yoti 31.12.2012 21:20

Цитата:

Сообщение от ErikPshat (Сообщение 1060099)
Я предполагал сделать такую универсальную утилитку...

100 лет как выкладывал сканер в паблик и pspdevtool (pspDevTool_R5-3_private.rar) в привате.

ErikPshat 31.12.2012 23:02

Yoti, я тестил твой тул, но проблема была в том, что для gzip приходилось выставлять принудительно размер архива. А здесь предложение более конкретного рода.

Yoti 02.01.2013 17:23

ErikPshat,
а у меня всё работало, помнится.

ErikPshat 24.01.2013 12:28

Цитата:

Сообщение от lupus (Сообщение 1060183)
Эрик, твой заказ попробуем реализовать, только у нас не я главный кодер, так что с праздниками может слегка затянуться. Кроме того, меня тут осенило, что неплохо бы чтоб софтина ещё лог создавала, что с какого смещения вынуто.

Эмм, праздники закончились, пошли дни рождения...

Инструкцию в шапке обновил! Раньше через GUI всё мучался с размером сжатия, хотя это делается более тонко через консоль )))

lupus 24.01.2013 23:42

Теперь я до кодера нашего не особо могу достучаться, он чем-то по работе занят. Мне никак софтину не допишет, не говоря уже о чём-то новом :(
Я для себя ьакой вот батник накатал:
Код:

@echo off
del *.gz
for %%X in (*.gim) do 7z a -tgzip "%%X.gz" "%%X"
@for %%a in (*.*) do @for %%b in ("%%~Na") do @ren "%%a" "%%~Nb%%~Xa"
del *.gim
pause

Если его запустить, то все gim'ы жмутся в отдельные gz, а замет оригиналы удаляются.

Yoti 26.01.2013 23:34

lupus,
а почему не del /q?

lupus 27.01.2013 11:04

/q - это без запроса? Батник и так работает :)

Yoti 27.01.2013 14:50

lupus,
ну да, типа принудительное удаление. У меня просто все серьёзные (читай как "не make.bat") файлы написаны с использованием ключей.

ErikPshat 29.01.2013 01:47

Цитата:

Сообщение от lupus (Сообщение 1062643)
Я для себя ьакой вот батник накатал:
Код:

@echo off
del *.gz
for %%X in (*.gim) do 7z a -tgzip "%%X.gz" "%%X"
@for %%a in (*.*) do @for %%b in ("%%~Na") do @ren "%%a" "%%~Nb%%~Xa"
del *.gim
pause



Ну так мог бы взять полное управление под себя:
Цитата:

Код:

@echo off
del *.gz
for %%X in (*.gim) do 7z a -tgzip -mx=5 -mfb=128 -mpass=2 "%%X.gz" "%%X"
@for %%a in (*.*) do @for %%b in ("%%~Na") do @ren "%%a" "%%~Nb%%~Xa"
del *.gim
pause


И регулируй как хочешь уровень сжатия, число одинаковых байтов и количество проходов, кастомно и более тонко.
А так у тебя всё идёт по-умолчанию: -mx=5 -mfb=32 -mpass=1


Текущее время: 16:08. Часовой пояс GMT +3.

Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2024, vBulletin Solutions, Inc. Перевод: zCarot
PSPx Forum - Сообщество фанатов игровых консолей.