Lorsqu’on prépare un dataset mixte pour le fine-tuning, il est possible de tirer parti d’une « propriété additive ».

Le rapport technique du modèle Phi-4 (de Microsoft) comprend une remarque à ce sujet.

La propriété en question permet d’optimiser le mix de données domaine par domaine puis de concaténer les poids qui en résultent, sans perte.
Open-R1 en a fait usage. Le projet, emmené par Hugging Face, a démarré en janvier 2025. Son objectif : créer une reproduction ouverte de DeepSeek-R1, en développant les « pièces manquantes ». À savoir datasets et code d’entraînement.

Le plan est décliné en trois temps :

• Être capable de distiller un ensemble de données de raisonnement de haute qualité à partir de DeepSeek-R1
• Répliquer le pipeline d’apprentissage par renforcement de R1-Zero
• Appliquer cette combinaison à des modèles de base pour en faire des modèles de raisonnement

Les maths d’abord

Open-R1 a d’abord centré ses travaux sur un dataset de raisonnement mathématique : OpenR1-Math-220k. Publié sous licence Apache 2.0, il couvre 400 000 problèmes (2 à 4 traces pour chacun) tirés de NuminaMath-1.5. Filtré, il en conserve 220 000. On l’a divisé en deux parties. L’une, dite « par défaut », regroupe 94 000 problèmes et engendre les meilleures performances. L’autre, dite « étendue », réunit 131 000 problèmes… et ne produit pas d’aussi bons résultats, problablement parce que les questions sont plus simples.

En faisant travailler Qwen-7B-Math-Instruct pour trois cycles sur la partie « par défaut », Hugging Face affirme être parvenu à égaler la performance de DeepSeek-Distill-Qwen-7B. Il a, en l’occurrence, obtenu le même score sur AIME 25 (40) et fait un peu moins bien sur MATH-500 (90,6 vs 91,6).

Le code ensuite

Les travaux se sont ensuite étendus au codage, avec la production d’un dataset basé sur les compétitions CodeForces. Au menu, environ 10 000 problèmes (avec jusqu’à 5 traces), dont 60 % accompagnés de l’explication de la solution correcte par les organisatieurs.

Sur cette base, il a été demandé à R1 de produire des chaînes de pensée (environ 100 000 exemples), aboutissant au dataset CodeForces-CoTs. Publié sous licence ODC-BY, il a servi à affiner Qwen-2.5-Coder-Instruct 7B et 32B. En ont découlé les modèles OlympicCoder. Mis à l’épreuve sur la dernière Olympiade internationale d’informatique, ils ont rivalisé avec des LLM à l’état de l’art (le 32B s’en sortant même mieux que R1.

La science pour finir

Une partie de CodeForces-CoTs (83 000 traces de problèmes Python et C++) et d’OpenR1-Math-220k (la partie « par défaut ») a finalement été combinée à un sous-ensemble du dataset de post-entraînement de Llama Nemotron pour former Mixture-of-Thoughts. Au code et aux maths s’est donc ajoutée la science, pour un total d’environ 350 000 traces. Aucune licence n’a été ajoutée (c’est une demande régulière).

Cette base, appliquée à une variante de Qwen-2.5-Math-7B (fréquence RoPE de base étendue à 300k pour permettre l’entraînement sur une fenêtre de 32k), a produit OpenR1-Distill-7B. Le modèle s’est montré plus performant que R1-Distill-Qwen-7B sur AIME 2024 (52,7 vs 51,3), GPQA Diamond (52,8 vs 52,4) et LiveCodeBench v5 (39,4 vs 37,4). Ces scores s’entendent en pass@1 (un essai, avec 4 à 64 réponses par requête en fonction des tâches), à température 0,6 et top_p 0,95.

Illustration principale générée par IA

The post Après les datasets, Open-R1 cherche à reproduire le pipeline de DeepSeek appeared first on Silicon.fr.