Power Query Supprimer les doublons et garder le récemment créer

sylvanu

XLDnaute Barbatruc

Supporter XLD

• 17 Novembre 2022

• #2

Bonjour Sofiane,
Une possibilité en PJ :
1- Faire un tri par produit de A à Z ET par date du plus récent au plus ancien

Ce qui fait que les plus récent sont toujours au début
2- Supprimer doublons par produit

Donc il ne reste que les premiers donc les plus récents.

 

Pièces jointes

• Exemple Sup Double.xlsx

  16.6 KB · Affichages: 1

Vote positif 0 Vote négatif

S

Sofiane Boukecha

XLDnaute Nouveau

• 17 Novembre 2022

• #3

bonjour Sylvanu,
et merci pour votre réponse,
malheureusement je dois faire la manipulation dans power query pas dans excel car c'est une base de donnée SQL de plus de 6 millions de lignes.

merci à vous

 

Vote positif 0 Vote négatif

sylvanu

XLDnaute Barbatruc

Supporter XLD

• 17 Novembre 2022

• #4

Comme ce n'était pas précisé ... Désolé.

 

Vote positif 0 Vote négatif

S

Sofiane Boukecha

XLDnaute Nouveau

• 17 Novembre 2022

• #5

pas de soucis

 

Vote positif 0 Vote négatif

Cousinhub

XLDnaute Barbatruc

Inactif

• 17 Novembre 2022

• #6

Bonjour,
Un essai en utilisant un Buffer, afin de mettre en mémoire le tri effectué (du plus récent en plus ancien), et supprimer effectivement les doublons les plus anciens

 

Pièces jointes

• Supp Doublons anciens.xlsx

  19.9 KB · Affichages: 10

Vote positif 0 Vote négatif

S

Sofiane Boukecha

XLDnaute Nouveau

• 17 Novembre 2022

• #7

merveilleux
ça marche parfaitement, merci beaucoup
je connaissais pas cette fonction du Buffer, c'est très gentil.

bonne après midi

 

Vote positif 0 Vote négatif

Cousinhub

XLDnaute Barbatruc

Inactif

• 17 Novembre 2022

• #8

Hi,
Ravi que cela ait fonctionné..
Juste pour info, et avoir une idée des performances de PQ, les 6 millions de lignes ont pu être traitées?
Pas trop long?

 

Vote positif 0 Vote négatif

S

Sofiane Boukecha

XLDnaute Nouveau

• 17 Novembre 2022

• #9

j'avoue que c'est un peu long pour les traiter, je suis sur Power Bi et je galère un peu avec ce volume de données (y'a pas qu'une seule table, encore 3 plus au moins de la même taille)

 

Vote positif 0 Vote négatif

Cousinhub

XLDnaute Barbatruc

Inactif

• 17 Novembre 2022

• #10

Bon courage...

 

Vote positif 0 Vote négatif

Cousinhub

XLDnaute Barbatruc

Inactif

• 17 Novembre 2022

• #11

RE-,
Comme cette instruction charge en mémoire vive, peut-être qu'un arrêt-marche entre chaque requête permettrait d'améliorer les temps de traitement????

 

Vote positif 0 Vote négatif

S

Sofiane Boukecha

XLDnaute Nouveau

• 17 Novembre 2022

• #12

oui c'est ce que j'ai fais, j'ai redémarré la machine virtuelle.
merci bcp

 

Vote positif 0 Vote négatif

Hasco

XLDnaute Barbatruc

Repose en paix

• 17 Novembre 2022

• #13

Bonjour,

Voici une requête par groupement de produit/lot qui ne retient que le dernier enregistrement (max(DATE)).
Voir si cela améliore ou non les temps de traitements sur 6 millions de lignes. Vous seriez gentil de nous communiquer les résultats.
Le fichier que j'avais (post1) n'avait pas de doublons "Produits/Lot", j'en ai créé (1050).

P.S. Excel n'affiche pas plus de 1 048 576 lignes !

Cordialement

[Aparté amical]Hello @bhbh [/Aparté amical]

 

Pièces jointes

• Exemple Sup Double.xlsx

  48.5 KB · Affichages: 13

Dernière édition: 17 Novembre 2022

Vote positif 0 Vote négatif

S

Sofiane Boukecha

XLDnaute Nouveau

• 20 Novembre 2022

• #14

Bonjour à tous,
désolé pour le retard, j'étais en repos,

@Hasco avec votre méthode de (Max(Date)) semble plus rapide en exécution, par contre elle ne m'arrange pas dans mon cas, par ce que le "regroupement" va supprimer toutes les autres colonnes de ma table, or que moi j'en ai besoin de ses informations (n lot, prix ... et d'autres colonnes)

merci beaucoup

 

Vote positif 0 Vote négatif

Hasco

XLDnaute Barbatruc

Repose en paix

• 20 Novembre 2022

• #15

Bonjour,

Merci de ce retour.

J'avais enlevé les autres colonnes parce que dans votre exemple il n'y avait que "Date" qui était pertinente mais on peut remettre toutes les autres colonnes.

Vous aviez 2 requêtes
Groupes qui renvoyait toute les colonnes dans un record
et Groupes 2 que ne renvoyait que la date.
C'est à vous d'explorer vos requêtes et d'en faire et tirer ce que vous voulez, nous, nous ne vous montrons que des méthodes pour y arriver.

Dans la requête "Groupes", il suffisait de double-cliquer sur l'étape "Datas développé" et de choisir les colonnes que vous souhaitiez.

Dans le fichier joint, toutes les colonnes sont rapatriées et préfixées de "GRP" car power query n'aime pas le doublons dans les noms de colonne.


Cordialement

 

Pièces jointes

• Exemple Sup Double.xlsx

  47.3 KB · Affichages: 7

Vote positif 0 Vote négatif

Solution