Microsoft Teams Update Will Soon Fix Its Biggest Windows Problem



Lorsqu’on prépare un dataset mixte pour le fine-tuning, il est possible de tirer parti d’une « propriété additive ».
Le rapport technique du modèle Phi-4 (de Microsoft) comprend une remarque à ce sujet.
La propriété en question permet d’optimiser le mix de données domaine par domaine puis de concaténer les poids qui en résultent, sans perte.
Open-R1 en a fait usage. Le projet, emmené par Hugging Face, a démarré en janvier 2025. Son objectif : créer une reproduction ouverte de DeepSeek-R1, en développant les « pièces manquantes ». À savoir datasets et code d’entraînement.
Le plan est décliné en trois temps :
Open-R1 a d’abord centré ses travaux sur un dataset de raisonnement mathématique : OpenR1-Math-220k. Publié sous licence Apache 2.0, il couvre 400 000 problèmes (2 à 4 traces pour chacun) tirés de NuminaMath-1.5. Filtré, il en conserve 220 000. On l’a divisé en deux parties. L’une, dite « par défaut », regroupe 94 000 problèmes et engendre les meilleures performances. L’autre, dite « étendue », réunit 131 000 problèmes… et ne produit pas d’aussi bons résultats, problablement parce que les questions sont plus simples.
En faisant travailler Qwen-7B-Math-Instruct pour trois cycles sur la partie « par défaut », Hugging Face affirme être parvenu à égaler la performance de DeepSeek-Distill-Qwen-7B. Il a, en l’occurrence, obtenu le même score sur AIME 25 (40) et fait un peu moins bien sur MATH-500 (90,6 vs 91,6).
Les travaux se sont ensuite étendus au codage, avec la production d’un dataset basé sur les compétitions CodeForces. Au menu, environ 10 000 problèmes (avec jusqu’à 5 traces), dont 60 % accompagnés de l’explication de la solution correcte par les organisatieurs.
Sur cette base, il a été demandé à R1 de produire des chaînes de pensée (environ 100 000 exemples), aboutissant au dataset CodeForces-CoTs. Publié sous licence ODC-BY, il a servi à affiner Qwen-2.5-Coder-Instruct 7B et 32B. En ont découlé les modèles OlympicCoder. Mis à l’épreuve sur la dernière Olympiade internationale d’informatique, ils ont rivalisé avec des LLM à l’état de l’art (le 32B s’en sortant même mieux que R1.
Une partie de CodeForces-CoTs (83 000 traces de problèmes Python et C++) et d’OpenR1-Math-220k (la partie « par défaut ») a finalement été combinée à un sous-ensemble du dataset de post-entraînement de Llama Nemotron pour former Mixture-of-Thoughts. Au code et aux maths s’est donc ajoutée la science, pour un total d’environ 350 000 traces. Aucune licence n’a été ajoutée (c’est une demande régulière).
Cette base, appliquée à une variante de Qwen-2.5-Math-7B (fréquence RoPE de base étendue à 300k pour permettre l’entraînement sur une fenêtre de 32k), a produit OpenR1-Distill-7B. Le modèle s’est montré plus performant que R1-Distill-Qwen-7B sur AIME 2024 (52,7 vs 51,3), GPQA Diamond (52,8 vs 52,4) et LiveCodeBench v5 (39,4 vs 37,4). Ces scores s’entendent en pass@1 (un essai, avec 4 à 64 réponses par requête en fonction des tâches), à température 0,6 et top_p 0,95.
Illustration principale générée par IA
The post Après les datasets, Open-R1 cherche à reproduire le pipeline de DeepSeek appeared first on Silicon.fr.

Depuis quelques jours, la communauté Arduino grince des dents : les nouvelles Conditions d’utilisation et la Politique de confidentialité, fraîchement mises en ligne après l’acquisition par Qualcomm, changent sensiblement la donne. Entre collecte élargie de données, droits très étendus sur les contenus publiés et restrictions de rétro-ingénierie, beaucoup s’interrogent : l’esprit open-source d’Arduino est-il en […]
Cet article Arduino change ses Conditions d’utilisation : quels risques pour l’open-source ? Analyse complète a été publié en premier sur Framboise 314, le Raspberry Pi à la sauce française.....

Pour le Black Friday, les promos battent leur plein ! Durant cet événement, Godeal24 propose des promotions spéciales Black Friday avec des réductions exceptionnelles sur les licences MS Office et Windows.
The post Pour le Black Friday : Windows 11 chute à 12,28€ et Office 2021 à 29,28€ sur Godeal24 ! first appeared on Bhmag.