Le smishing désigne l’hameçonnage effectué par message texte, une menace devenue courante sur mobiles. Les fraudeurs exploitent la confiance attachée aux SMS et aux applications ...
Les suffixes en « book » désignent souvent des portables pensés pour la mobilité, la simplicité et l’autonomie du quotidien, et ils restent présents en ...
Le pirate qui redirige les recherches vers Yahoo modifie discrètement les paramètres du navigateur et perturbe la navigation quotidienne. Sur Mac comme sur Windows, la ...
Êtes-vous prêt à plonger dans le monde palpitant de Diverse Piece ? Ce guide vous offre tout ce que vous devez savoir sur les meilleures épées, compétences, fruits, styles et races du jeu, ainsi que les meilleures combinaisons de builds pour améliorer votre expérience. Si vous cherchez à gravir les listes de niveaux avec des […]
Trouver des lieux spécifiques dans ARC Raiders peut parfois ressembler à chercher une aiguille dans une botte de foin. De nombreuses quêtes nécessitent de naviguer sur diverses cartes, souvent avec des indications vagues. Une quête en particulier, « Les yeux sur le prix », vous met au défi de localiser la terrasse de toit isolée […]
Les bannières de Honkai Star Rail 3.7 vont bientôt être lancées, mettant en avant certains des personnages les plus exceptionnels du jeu – c’est un moment passionnant pour les joueurs. Parmi la sélection, le nouveau personnage Cyrene est à l’honneur, accompagné de reruns des Héritiers de Chrysos comme Phainon, Castorice, Hyacine, Mydei, Cipher et Tribbie. […]
Si vous appréciez un bon rire tout en plongeant dans le monde glaçant de l’horreur, ne cherchez pas plus loin que le fascinant manga Dementia 21. Ce mélange unique de comédie et d’horreur est parfait pour ceux qui recherchent une lecture d’Halloween à la fois palpitante et humoristique. Imaginez associer le sentiment d’inquiétude d’un Barbarian […]
Lorsque vous créez vos index, pensez aux vecteurs binaires.
Une forme de consensus s’est dessinée à ce sujet sur Hacker News, en réaction au retour d’expérience d’un ingénieur américain. L’intéressé y pointe les limites de pgvector… et suggère de lui préférer une base de données vectorielle.
À chaque index ses inconvénients
L’extension donne, rappelle-t-il, le choix entre deux types d’index : IVFFlat (Inverted File with Flat quantization) et HNSW (Hierarchical Navigable Small World). Le premier partitionne l’espace vectoriel en clusters. Le second construit un graphe.
Avec IVFFlat, la création d'index est plus rapide, en plus d'une consommation mémoire inférieure. Et les performances sont acceptables pour de nombreux cas d'usage.
Il est toutefois impératif de spécifier au préalable le nombre de clusters. Ce nombre a une nette influence sur la latence des requêtes. Comme sur la qualité du rappel, qui peut par ailleurs varier en fonction de la distribution des données.
Avec HNSW, le rappel est meilleur sur la plupart des datasets. La performances des requêtes est globalement plus consistante et le système passe bien à l'échelle.
La construction des index nécessite cependant beaucoup de mémoire et peut se révéler lente (plusieurs heures quand on atteint des millions de vecteurs).
Reconstructions et mises à jour
Avec IVFFlat, la clusterisation de nouveaux vecteurs se base sur la structure existante (distribution telle qu'elle était quand on a construit l'index). Avec le temps, il peut en résulter une sous-optimisation. D'où la nécessité de reconstruire régulièrement l'index. Et donc de tolérer une dégradation de la qualité de recherche voire une indisponibilité. Ou bien d'accepter de mettre en place un mécanisme de contournement, tels le provisionnement d'une grande quantité de RAM ou la mise en place d'un index séparé depuis lequel on réalise un échange atomique. S'y ajoute le besoin de gérer les insertions effectuées dans ce laps de temps.
Avec HNSW, chaque insertion exige de mettre à jour le graphe. Donc d'effectuer une traversée pour intégrer le nœud et actualiser les connexions, au risque d'engendrer des contentions de verrou si le taux d'écritures est suffisamment élevé.
Le dilemme du filtrage des recherches
Autre aspect à prendre en compte : les métadonnées, stockées dans d'autres tables ou tout du moins dans d'autres colonnes, et qu'il faut garder synchronisées. Pas si évident avec des reconstructions qui peuvent durer.
Quant aux filtres, faut-il les appliquer avant ou après la recherche vectorielle ? L'une et l'autre méthode ont leurs avantages... et leurs inconvénients.
L'option "avant" fonctionne bien lorsque le filtre est très sélectif. Elle assure une bonne qualité de rappel (k résultats garantis), mais la recherche peut s'avérer lente.
L'option "après" est au contraire adaptée aux filtres permissifs. Elle permet une recherche rapide, mais la qualité de rappel est variable (souvent 0 résultat ou en tout cas moins que k).
D'autres questions se posent si on souhaite appliquer plusieurs filtres. Dans quel ordre le faire ? Faut-il mélanger les deux options ?... PostgreSQL a bien un planificateur, mais pas optimal, son modèle de coût n'ayant pas été élaboré pour la recherche vectorielle. Les choses ne s'arrangent pas à mesure qu'on insère de nouveaux vecteurs, à moins d'enclencher un ANALYZE, qui coûte des ressources, sans pouvoir appréhender totalement la distribution des données.
On en arrive ainsi à devoir réécrire les requêtes pour différents types d'utilisateurs, partitionner les données dans des tables distinctes ou encore à filtrer dans le code de l'application quitte à récupérer plus de données que nécessaire.
L'option pgvectorscale
Les bases de données vectorielles ont résolu ces problèmes, affirme l'ingénieur : planification adaptée, recherche hybride native, indexation en temps réel sans pics de conso mémoire, scaling et monitoring spécifiques... Il mentionne OpenSearch, dont le plug-in k-NN permet de spécifier la stratégie de filtrage ; Pinecone, qui gère automatiquement la sélectivité des filtres ; Weaviate, qui embarque des optimisations pour les patterns de filtrage communs. Et d'appeler à mesurer le coût d'opportunité de pgvector ; en l'occurrence, le temps qu'on consacre à sa maintenance plutôt qu'à d'autres projets.
Il y a sinon, dans le domaine open source, pgvectorscale. Cette version "enrichie" de pgvector ajoute un nouveau type d'index basé sur l'algorithme DiskANN de Microsoft et plus efficace en mémoire. Elle apporte également une méthode de compression améliorée par rapport à la quantification binaire standard.
Il s'agit néanmoins d'une dépendance supplémentaire à gérer et elle n'est pas disponible, entre autres, pour RDS.
Discourse allie pgvector et vecteurs binaires
Le dilemme entre pré- et post-filtrage a été résolu dans la version 0.8.0 avec les scans itératifs, fait remarquer ingénieur chez Discourse. Son entreprise, affirme-t-il, utilise pgvector en production, sur des milliers de bases de données.
Un de ses pairs, travaillant pour un fournisseur de solutions cyber, s'en étonne : à une telle échelle, dans sa société, PostgreSQL a montré ses limites. Une base de données spécialisée (Vespa) lui a donc été préférée. Elle opère un map-reduce sur tous les nœuds de graphe, limitant le nombre de traversées à effectuer.
Si Discourse n'a pas ce souci, c'est parce que chaque forum a sa base de données. Il existe donc une sorte de "sharding gratuit", où chaque instance a en moyenne moins d'un million de topics.
L'entreprise utilise aussi beaucoup la quantification : avant indexation, elle convertir les vecteurs à virgule flottante en vecteurs binaires (chaque dimension est réduite à 1 bit). La majeure partie de leur utilisée est conservée, et la qualité de rappel avec.
Apple propose une nouvelle option qui permet d’améliorer l’interface Liquid Glass d’iOS 26 sur iPhone. Elle rend le contenu du système d’exploitation plus lisible et devrait mettre fin aux plaintes par rapport à cette nouvelle interface.
Fin 2025, Moustache redéfinit sa gamme Xroad. La star ? La version à cadre tout suspendu, estampillée FS, qui commence sous la barre des 4 000 €. Alors, qu'est-ce que Moustache nous a préparé pour son vélo iconique ? C'est ce qu'on va voir.
Parallèlement à l'annonce de la fonction Traduction en direct des AirPods en Europe, Apple annonce qu'il va désactiver la synchronisation des réseaux Wi-Fi entre l'iPhone et l'Apple Watch pour contourner la règlementation européenne. En l'état, la Commission européenne souhaitait forcer à Apple à partager votre historique Wi-Fi avec des tiers, ce qu'Apple refuse de faire.
En décembre, la mise à jour iOS 26.2, disponible en bêta dès aujourd'hui, activera la traduction en direct sur les AirPods 4, AirPods Pro 2 et AirPods Pro 3. Dévoilée en septembre, la nouveauté était bloquée dans l'Union européenne à cause d'incertitudes règlementaires.
Le MacBook Air M2, lancé en juillet 2022, Apple signe un renouveau esthétique bienvenu qui modernise en profondeur la série. Il se distingue par son nouveau design plat, de nouveaux coloris (comme "Bleu Minuit"), des bordures affinées autour de son excellent écran Liquid Retina de 13,6 pouces, et enfin une webcam 1080p.Points fortsM2 performant.
Fini...
Parfois les plus petites améliorations sont celles qui rendent le plus de services. Alors que la version 9 de DXO Lab présentée en avril dernier faisait la part belle au calcul, au travers de nouveaux filtres de débruitage dopés à l’IA, sa mise à jour mineure 5.5 annoncée aujourd'hui introduit une amélioration de flux de travail qui pourrait faire éc...
Chaque année, Dyson ne fait pas les choses à moitié pour le Black Friday. Cette fois encore, la marque britannique casse les prix sur ses aspirateurs-balais haut de gamme. Du V15 Detect Absolute au V8 Total Clean et Advanced, en passant par les icôniques Cinetic et jusqu'au laveur de sol WashG1, ces promotions vous permettent de vous équiper à moindr...
Selon une information de Mark Gurman (Bloomberg), Apple s'apprêterait à opérer un virage stratégique majeur. La firme de Cupertino développerait activement son tout premier ordinateur portable "low-cost", conçu pour attaquer frontalement le marché des Chromebooks et des PC d’entrée de gamme sous Windows.Le lancement de cet appareil, connu sous le nom...
Remplaçant du D7200 ? Non, pas vraiment. Le Nikon D7500 vient plutôt, officiellement, s'intercaler entre ce dernier et le bien plus récent D500, en empruntant des composants aux deux. Vous pouvez donc voir le D7500 comme un D500 professionnel light, ou comme un D7200 très expert fortement amélioré. Au choix. Dans tous les cas, Nikon parvient à rendre...
Ce soir, TF1 rediffuse Harry Potter et le Prisonnier d’Azkaban. Certains crient au blasphème, d’autres au chef-d’œuvre. Le débat fait rage à la rédaction.
Connexion
