Next fait vraiment des articles intéressants !
(Permalink)

C’est l’histoire d’un mec qui a compressé 60 jeux Steam pour économiser 380 GB, et ainsi faire en sorte qu’ils se lancent plus vite qu’avant.

Ce mec a compris que sur un disque dur classique, décompresser en temps réel avec un CPU moderne est parfois plus rapide que de lire des gigaoctets bruts de données à 7200 tours/min. Et pour cela, il a utilisé CompactGUI !

On pourrait se dire qu’un fichier compressé, c’est forcément plus lent à ouvrir mais en fait non, car un CPU récent peut décompresser en RAM plus vite qu’un disque dur ne peut lire.

C’est en partant de ce constant que IridiumIO a imaginé CompactGUI qui exploite cette anomalie physique. C’est une interface graphique pour compact.exe, une commande Windows que Microsoft a discrètement re-boostée en 2015 avec des algorithmes de compression modernes (XPRESS4K, XPRESS8K, XPRESS16K, LZX), puis totalement oubliée dans un coin de Windows…

En gros, vous faites pointer CompactGUI vers un dossier qui contient vox jeux, vous choisissez un algorithme de compression, vous appuyez sur un bouton, et Windows compresse tous les fichiers de façon transparente. Quand je dis transparente, je veux dire que le jeu continue de tourner normalement quand vous le lancez. Les fichiers restent accessibles comme avant, ils apparaissent dans l’Explorateur Windows sans différence visible, mais ils prennent tout simplement moins de place sur le disque.

Et quand vous lancez un jeu, Windows décompresse les fichiers en RAM à la volée, et vous jouez comme d’habitude. Cette sorcellerie, on la doit aux algorithmes de compression modernes de Windows 10+ et il y en a quatre :

• XPRESS4K : Le plus rapide, le plus faible en compression. Ratio moyen 50%. C’est celui par défaut, recommandé pour la plupart des usages.
• XPRESS8K : Un cran au-dessus. Meilleur ratio, CPU encore léger. Selon les forums, c’est le meilleur compromis sur un PC récent.
• XPRESS16K : Encore plus fort, mais commence à solliciter le CPU. Ratio autour de 57%.
• LZX : Le plus puissant. Peut atteindre 66% de compression, mais CPU intensif. À réserver aux machines avec de la puissance à revendre.

Tenez par exemple, sur un fichier de test de 46.6 MB, LZX compresse à 15.7 MB, XPRESS16K à 20.1 MB, XPRESS8K à 21.1 MB, et XPRESS4K à 23.0 MB. En comparaison, la vieille compression NTFS classique (LZNT1) ne descend qu’à 26.2 MB. Les nouveaux algorithmes sont donc objectivement meilleurs, mais personne ne les utilise parce qu’il faut taper des commandes dans PowerShell.

Et c’est là que CompactGUI intervient puisqu’il transforme compact.exe en version compatible avec votre syndrome du clickopathe. C’est tout.

Voici quelques exemples réels de compression tels que remontés par la communauté CompactGUI :

• ARK: Survival Evolved : 169 GB → 91.2 GB (77.8 GB économisés)
• Doom 2016 : 67 GB → 51 GB (16 GB) ou même 62 GB → 38 GB (24 GB) selon la version
• Tekken 7 : 60 GB → 30 GB (50% de gain)
• Team Fortress 2 : 19.4 GB → 11 GB (8.4 GB)
• Guild Wars 2 : 26.2 GB → 4.1 GB (22.1 GB !)
• Hollow Knight : 9 GB → 1.65 GB avec LZX

Et ce qui est fou, c’est que dans la plupart des cas, l’impact sur les performances est dans la marge d’erreur des benchmarks. Les utilisateurs sur les forums racontent jouer tout à fait normalement, sans ralentissement perceptible. Certains équipés de disques durs plus anciens rapportent même des temps de chargement réduits.

Alors pourquoi ça marche aussi bien de compresser ?

Hé bien parce que les textures et les sons des jeux sont déjà compressés dans des formats spécialisés (DDS, OGG, MP3…etc), mais les assets bruts, eux, (scripts, configs, shaders, données de niveau…etc) sont souvent non compressés. XPRESS et LZX s’attaquent donc à ces fichiers non compressés et permettent ainsi de gagner beaucoup de place.

Et votre CPU dans tout ça ? Hé bien sur un processeur moderne dual ou quad-core, la décompression LZW (l’algo derrière LZX) est tellement légère qu’on ne la sent pas. XPRESS est encore plus rapide et le gain de temps sur la lecture disque compense largement le coût CPU de la décompression.

Mais attention, il y a un piège !!! Et ce piège c’est DirectStorage. Ce truc est une techno de Microsoft pour Windows 11 qui permet aux jeux de charger les assets directement du SSD vers la carte graphique, en contournant le CPU. C’est conçu pour les SSD ultra-rapides (NVMe) et ça réduit beaucoup les temps de chargement sur certains jeux.

Sauf que DirectStorage n’aime pas du tout la compression NTFS et les jeux qui l’utilisent peuvent planter ou avoir des performances dégradées si vous compressez leurs fichiers. Donc si vous êtes sur Windows 11 avec un NVMe récent et que vous jouez à des jeux AAA avec DirectStorage, n’utilisez pas CompactGUI. Mais si vous avez un bon vieux HDD, ou un SSD SATA classique, ou des jeux anciens qui n’utilisent pas la techno de DirectStorage, CompactGUI est une bénédiction.

Comme d’hab, ça dépend de vos jeux, de votre PC…etc. Donc y’a plus qu’à tester pour savoir si ça peut être bénéfique ou pas pour vous.

Pour l’installer, vous téléchargez CompactGUI depuis les releases GitHub , ou via Winget avec

winget install CompactGUI

Puis vous lancez l’app, vous sélectionnez un dossier de jeu (par exemple C:\Program Files (x86)\Steam\steamapps\common\Doom), vous choisissez un algorithme (XPRESS8K pour commencer), et vous cliquez sur Compress !

L’app vous affichera alors une barre de progression, le temps estimé, et le ratio de compression en temps réel. Et une fois terminé, votre jeu pèsera de 30 à 60% de moins, et vous pourrez le lancer normalement.

Et si jamais vous voulez décompresser, vous retournez dans CompactGUI et vous cliquez sur Uncompress. Ça restaurera tout à l’état d’origine !

CompactGUI intègre même une fonctionnalité de monitoring en arrière-plan. Vous configurez un dossier à surveiller (genre votre bibliothèque Steam), et CompactGUI compressera automatiquement les nouveaux jeux installés. Comme ça vous êtes tranquille !

Vous pouvez aussi ajouter CompactGUI au menu contextuel de l’Explorateur Windows ce qui vous permettra de faire un clic droit sur un dossier → Compress with CompactGUI.

Bref, un grand merci à Microsoft qui a développé des algos de compression dignes de WinRAR, les a intégrés nativement dans Windows 10, et les a laissé moisir dans un outil en ligne de commande que personne n’utilise.

Et merci à Lorenper pour le partage.

C'est clair que prendre FLAC pour l'archivage et Opus pour le streaming est un *excellent* choix.
(via https://shaarli.zoemp.be/shaare/54nHeQ)
(Permalink)

Vous savez, ce script bash de backup que vous avez écrit en 2018 et que vous n’osez plus toucher ? Celui avec les 150 lignes de mysqldump + tar + gzip + aws s3 cp qui marche à moitié et que vous relancez manuellement quand il plante ?

Hé bien vous allez pouvoir le foutre à la poubelle parce que maintenant y’a GoBackup !

GoBackup c’est un binaire codé en Go qui remplace tous vos scripts de backup maison d’un coup. MySQL, PostgreSQL, MongoDB, Redis, peu importe. Local, FTP, S3, Google Cloud, Azure, peu importe. Vous installez, vous configurez un fichier YAML, et c’est fini.

Ensuite, vous n’aurez plus jamais besoin de retoucher à tout ce bordel.

Avant GoBackup y’avait backup/backup, une gem Ruby qui faisait exactement ce job avec de la sauvegarde automatique, multi-bases, multi-destinations et c’était bien. Sauf que Ruby c’est lourd et les dépendances Ruby c’est l’enfer. Du coup le projet est mort tout doucement. Heureusement, huacnlee, un dev chinois, en a eu marre alors il a tout réécrit en Go. Zéro dépendance externe et un seul binaire compilé (installable aussi avec Brew pour ceux qui sont sous macOS).

Vous pouvez l’installer comme ceci (vérifiez le script) :

La pré-compression des données avec des algos spécialisés adaptés aux données c'est pas déconnant.

C'est déjà ce que fait (un peu) 7-Zip et (beaucoup plus) zpaq. Typiquement ils font une passe RLE ou utilisent des algos spécifiques sur certains types de données (exemple: BCJ appliqué sur les exécutables (.exe/elf)) avant de compresser avec des algos plus génériques (lz, lzma...).
(zpaq va même encore plus loin avec de la déduplication avant la phase de compression.)

Là, la différence avec OpenZL est qu'il faut paramétrer le compresseur en fonction de la structure des données en entrée, ou alors laisser son algo analyser la structure des données pour choisir la meilleure structure.
Le décompresseur reste générique, ce qui simplifie la décompression.
(Permalink)

C'est trop cool : Tapez du texte et il vous affiche la version compressée (gzip).
https://github.com/lynn/flateview
(Permalink)

— Permalink

Des astuces pour compresser au maximum (c'est-à-dire obtenir la taille minimale possible), pour faire de l'archivage par exemple
— Permalien

WinRAR 7.13 Final (en français) est un puissant gestionnaire d'archives vous permettant de diminuer la taille de vos fichiers.

The post WinRAR 7.13 Final en français (64-bit) first appeared on Bhmag.