Power Query Supprimer les doublons et garder le récemment créer

[Sofiane Boukecha]

Bonjour tout le monde,

j'ai une table de produits avec lot et date de création prix ... etc, avec plus de 6 millions de lignes donc pas facile à manipuler,
mon besoin, est de supprimer les doublons de produits et garder ceux qui sont créer récemment, j'ai essayer plusieurs fois mais à chaque fois il me donne le résultat contraire , c'est à dire il garde les anciens créer.
svp, quelqu'un peut il m'aider?

merci beaucoup

 

[sylvanu]

Bonjour Sofiane,
Une possibilité en PJ :
1- Faire un tri par produit de A à Z ET par date du plus récent au plus ancien

Ce qui fait que les plus récent sont toujours au début
2- Supprimer doublons par produit

Donc il ne reste que les premiers donc les plus récents.

 

[Sofiane Boukecha]

bonjour Sylvanu,
et merci pour votre réponse,
malheureusement je dois faire la manipulation dans power query pas dans excel car c'est une base de donnée SQL de plus de 6 millions de lignes.

merci à vous

 

[sylvanu]

Comme ce n'était pas précisé ... Désolé.

 

[Sofiane Boukecha]

pas de soucis

 

[Cousinhub]

Bonjour,
Un essai en utilisant un Buffer, afin de mettre en mémoire le tri effectué (du plus récent en plus ancien), et supprimer effectivement les doublons les plus anciens

 

[Sofiane Boukecha]

merveilleux
ça marche parfaitement, merci beaucoup
je connaissais pas cette fonction du Buffer, c'est très gentil.

bonne après midi

 

[Cousinhub]

Hi,
Ravi que cela ait fonctionné..
Juste pour info, et avoir une idée des performances de PQ, les 6 millions de lignes ont pu être traitées?
Pas trop long?

 

[Sofiane Boukecha]

j'avoue que c'est un peu long pour les traiter, je suis sur Power Bi et je galère un peu avec ce volume de données (y'a pas qu'une seule table, encore 3 plus au moins de la même taille)

 

[Cousinhub]

Bon courage...

 

[Cousinhub]

RE-,
Comme cette instruction charge en mémoire vive, peut-être qu'un arrêt-marche entre chaque requête permettrait d'améliorer les temps de traitement????

 

[Sofiane Boukecha]

oui c'est ce que j'ai fais, j'ai redémarré la machine virtuelle.
merci bcp

 

[Hasco]

Bonjour,

Voici une requête par groupement de produit/lot qui ne retient que le dernier enregistrement (max(DATE)).
Voir si cela améliore ou non les temps de traitements sur 6 millions de lignes. Vous seriez gentil de nous communiquer les résultats.
Le fichier que j'avais (post1) n'avait pas de doublons "Produits/Lot", j'en ai créé (1050).

P.S. Excel n'affiche pas plus de 1 048 576 lignes !

Cordialement

[Aparté amical]Hello @bhbh [/Aparté amical]

 

[Sofiane Boukecha]

Bonjour à tous,
désolé pour le retard, j'étais en repos,

@Hasco avec votre méthode de (Max(Date)) semble plus rapide en exécution, par contre elle ne m'arrange pas dans mon cas, par ce que le "regroupement" va supprimer toutes les autres colonnes de ma table, or que moi j'en ai besoin de ses informations (n lot, prix ... et d'autres colonnes)

merci beaucoup

 

[Hasco]

Bonjour,

Merci de ce retour.

J'avais enlevé les autres colonnes parce que dans votre exemple il n'y avait que "Date" qui était pertinente mais on peut remettre toutes les autres colonnes.

Vous aviez 2 requêtes
Groupes qui renvoyait toute les colonnes dans un record
et Groupes 2 que ne renvoyait que la date.
C'est à vous d'explorer vos requêtes et d'en faire et tirer ce que vous voulez, nous, nous ne vous montrons que des méthodes pour y arriver.

Dans la requête "Groupes", il suffisait de double-cliquer sur l'étape "Datas développé" et de choisir les colonnes que vous souhaitiez.

Dans le fichier joint, toutes les colonnes sont rapatriées et préfixées de "GRP" car power query n'aime pas le doublons dans les noms de colonne.


Cordialement