Phantasie Conquest

Une nouveauté sur ce site, les compresseurs les plus rapides du monde sont comparés sur cette page de benchmark, selon une représentation graphique. Le principe est de repérer les compresseurs qui sont à la fois les plus rapides et qui compressent le mieux.
2 critères sont donc retenus, le taux de compression, et la durée de compression.
Une ligne bleu permet de rapidement visualiser les compresseurs qui obtiennent les meilleurs rapports compression/vitesse.

[ Full reading ]

Exploitant les récentes réalisations dans le domaine de l'entropie (voir précédent billet), voici Zhuff, un nouveau compresseur, similaire dans ses principes à Zip : une recherche de séquences identiques (Lempel-Ziv), suivie d'une compression par entropie de Huffman, fournie ici par Huff0.
Les taux de compression sont donc assez proche, sauf que ...
Zhuff est beaucoup beaucoup plus rapide.

Zhuff a été testé par plusieurs benchmark publics, et obtient régulièrement la meilleure place pour son rapport compression/vitesse. Pour fixer les idées, sur mon ordinateur, ça tour...

[ Full reading ]

J'ai commencé à progresser récemment sur un sujet majeur lié à la compression de données, qu'on appelle le "codage d'entropie".
Une excellente définition du concept est présentée sur Wikipédia :
http://en.wikipedia.org/wiki/Entropy_encoding

Pour résumer, un élément est remplacé par sa probabilité d'apparaître.
Cet élément peut-être n'importe quoi, dans le cas présent un caractère ou un octet, mais cela pourrait être aussi un mot entier, ou un index.

Si l'élément a une chance sur deux d'apparaître, on le remplace par un bit.
S'...

[ Full reading ]

C'est officiel !
LZP2 est désormais le logiciel de compression le plus rapide au monde, mesuré sur la frontière Paretto de Matt Mahoney LTCB public benchmark (Large Text Compression Benchmark)

LZP2 est également le compresseur le plus rapide sur SqueezeChart, explosant le précédent record détenu par Thor (plus de deux fois plus rapide!). Pour fixer les idées, il faut 70 secondes à LZP2 pour compresser 6,5Go sur le ring de test, là où il en faut 4960s (soit presque 1h30!) pour WinZIP 11 ...

LZP2 était déjà très rapide; toutefois la dernière amélioration a p...

[ Full reading ]

Et voilà, comme promis, voici LZD mis à jour en version v0.4c, l'essentiel des changements se portant sur FastLZD, plus rapide, et plus efficace.
J'ai donc également mis à jour Stacker4x, en changeant au passage le mode d'intégration au compresseur, plus flexible (il n'est plus nécessaire de modifier le compresseur, n'importe lequel peut désormais s'intégrer facilement).

Résultat : la nouvelle version de Stacker4x est plus rapide, compresse mieux, et prend moins de place en mémoire ! De toutes façon, il est aussi poss...

[ Full reading ]

Depuis quelques temps, je développe aussi en C sur PC, dans le thème de la compression. Le niveau de la compétition est beaucoup plus relevé, et les forums développeurs traitent de sujets très avancés, à la pointe de l'art.
Bien que pour l'instant, mes travaux sur PC n'aient donné lieu qu'à un seul programme (LZP2, un compresseur très rapide mais peu puissant), cela cache en fait de nombreuses expériences, restées privées du fait de leur manque de compétitivité face aux solutions déjà disponibles.
Toutefois, tout ceci me permet...

[ Full reading ]

Pour une raison inconnue, je me suis remis à coder dernièrement.
Un de mes objectifs, depuis longtemps, était d'investiguer ce qu'on appelle le parsing parfait, ou optimal. En quoi cela consiste-t-il ?

Dans certains compresseurs, et notamment la famille la plus nombreuse (LZ77), il est possible de représenter la même donnée de plusieurs façons différentes. Pour donner un exemple grossier, on pourrait représenter un fichier sous une succession de littéraux, donc sans compression. Le format le permet, mais ce ne serait pas très efficace.


La compressio...

[ Full reading ]

Nouveauté sur ce site, vous trouverez désormais une nouvelle catégorie Utilitaires PC, dédiée aux programmes en C tournant sur PC/Windows. Les premiers programmes disponibles dans cette catégorie sont des compresseurs : LZP2 et LZBW1.

Le premier programme, LZP2, vise exclusivement la vitesse. Il semble à ce titre le plus rapide au monde, tout du moins sur les processeurs récents (Core2, Athlon64, etc.). Cette vitesse se paie sur le taux de compression, qui n'est pas très élevé.

LZBW1 est une évolution de LZP2,...

[ Full reading ]

Dernier né dans ma série de compresseurs "maison" pour HP48, voici R.O.C, utilisant un algorithme de nouvelle génération nommé ROLZ, et qui se concentre sur un usage "quotidien".

On entend par cette notion un utilisateur qui serait amené à fréquemment compresser "à la main" de "gros" fichiers (au sens d'une HP48, 10Ko c'est gros) afin d'économiser sa mémoire. Cette approche est différente d'un outil automatisé, qui tenterait de compresser tout ce qu'il trouve, car ce dernier risque de trou...

[ Full reading ]