Ceci est une page optimisée pour les mobiles. Cliquez sur ce texte pour afficher la vraie page.

Power Query Simplifier/Universaliser l'import multiple de fichiers CSV

Staple1600

XLDnaute Barbatruc
Bonsoir le forum

Je cherche à simplifier l'import de CSV à partir d'un dossier donné.

Quand on utilise l'assistant de PowerQuery, il y a de nombreuses étapes (voir ci-dessous)


PowerQuery: 
let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
    #"Fichiers masqués filtrés1" = Table.SelectRows(Source, each [Attributes]?[Hidden]? <> true),
    #"Appeler une fonction personnalisée1" = Table.AddColumn(#"Fichiers masqués filtrés1", "Transformer le fichier", each #"Transformer le fichier"([Content])),
    #"Colonnes renommées1" = Table.RenameColumns(#"Appeler une fonction personnalisée1", {"Name", "Source.Name"}),
    #"Autres colonnes supprimées1" = Table.SelectColumns(#"Colonnes renommées1", {"Source.Name", "Transformer le fichier"}),
    #"Colonne de tables développée1" = Table.ExpandTableColumn(#"Autres colonnes supprimées1", "Transformer le fichier", Table.ColumnNames(#"Transformer le fichier"(#"Exemple de fichier"))),
    #"Type modifié" = Table.TransformColumnTypes(#"Colonne de tables développée1",{{"Source.Name", type text}, {"ITEM_1", Int64.Type}, {"ITEM_2", Int64.Type}, {"ITEM_3", Int64.Type}, {"ITEM_4", Int64.Type}, {"ITEM_5", Int64.Type}, {"ITEM_6", Int64.Type}, {"ITEM_7", Int64.Type}, {"ITEM_8", Int64.Type}})
in
    #"Type modifié"
On peut faire plus simple et générique que Microsoft, non ?

Quelqu'un aurait-il un code M plus synthétique et universel(*) pour faire cette opération ?
(*) notamment ici #"Type modifié" : ne pas avoir à lister tous les noms des colonnes

PS: j'ai regardé sur le forum les discussions avec le préfixe PowerQuery, j'ai regardé quelques vidéos sur YT (mais c'est pas pratique) et enfin je n'ai pas solliciter ChatGPT, préférant mes frères humains (notamment ceux d'XLD) et aussi un peu en souvenir de Sarah Connor.

NB: Il me semble que les étapes de Microsoft sont peu ou prou ce que montrent cette vidéo, non ?
https://www.youtube.com/watch?app=desktop&v=IsLB3XR9eno
 
Solution
A

Re,
les fichiers testés sont ceux du zip.

un autre essai pour le nom des fichiers

PowerQuery: 
let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
    Result = let x =  Table.SelectColumns(Table.AddColumn(Source, "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=TextEncoding.Windows, QuoteStyle=QuoteStyle.None]))),{"Name","Custom"}) in Table.ExpandTableColumn(x,"Custom", List.Union(Table.TransformColumns(x, {"Custom", each...
Trier par date Trier par votes

Staple1600

XLDnaute Barbatruc
Re

j'ajoute des fichiers CSV exemple comme c'est l'usage

Et deux macros en prime, si vous voulez générer vous-même les exemples
VB: 
Sub MacroO365()
Range("A2").Formula2 = "=RANDARRAY(50,8,5,125,TRUE)"
Range("A1:H1") = Array("ITEM_1", "ITEM_2", "ITEM_3", "ITEM_4", "ITEM_5", "ITEM_6", "ITEM_7", "ITEM_8")
End Sub
Sub Macro()
Range("A2:H51").FormulaR1C1 = "=RANDBETWEEN(5,125)"
Range("A1:H1") = Array("ITEM_1", "ITEM_2", "ITEM_3", "ITEM_4", "ITEM_5", "ITEM_6", "ITEM_7", "ITEM_8")
End Sub

En espérant que cela attire les PowerQueristes du forum
 

Pièces jointes

  • PQ_CSV.zip
    1.4 KB · Affichages: 11
Vote positif 0 Vote négatif
A

alexga78

XLDnaute Occasionnel
Bonjour Staple1600,

un essai pour la combinaison des fichiers csv si j'ai bien compris.

PowerQuery: 
= Table.Combine(Table.AddColumn(Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"), "Custom", each Table.PromoteHeaders(Csv.Document([Content],null,";")))[Custom])

Cordialement,
 
Vote positif 0 Vote négatif

Staple1600

XLDnaute Barbatruc
Bonjour alexga78, le fil

Merci pour ta proposition
Ci-dessous le résultat obtenu
avec ce code M
PowerQuery: 
let
#"test"= Table.Combine(Table.AddColumn(Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"), "Custom", each Table.PromoteHeaders(Csv.Document([Content],null,";")))[Custom])
in
#"test"

De mon côté, je suis arrivé ici de mes essais
(code original glané sur le web anglophone)
PowerQuery: 
let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
#"Filtered Rows" = Table.SelectRows(Source, each [Extension]=".csv"),
#"Added Custom" = Table.AddColumn(#"Filtered Rows", "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=1252, QuoteStyle=QuoteStyle.None]))),
#"Removed Other Columns" = Table.SelectColumns(#"Added Custom",{"Custom"}),
#"Expanded Custom" = Table.ExpandTableColumn(#"Removed Other Columns", "Custom", Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])),Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])))
in
#"Expanded Custom"
Ce qui donne ce résultat


PowerQuery:
 
Dernière édition:
Vote positif 0 Vote négatif

Staple1600

XLDnaute Barbatruc
Re,

@alexga78
Bizarrement, si je suis ton exemple, je retrouve des scories comme dans ta proposition, avec d'autres en bonus
code M testé
PowerQuery: 
let
#"Added Custom" = Table.AddColumn(Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"), "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=1252, QuoteStyle=QuoteStyle.None]))),
#"Removed Other Columns" = Table.SelectColumns(#"Added Custom",{"Custom"}),
#"Expanded Custom" = Table.ExpandTableColumn(#"Removed Other Columns", "Custom", Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])),Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])))
in
#"Expanded Custom"



Qu'est-ce qui faudrait ajouter dans ton "one-liner" pour éviter les scories ?

PS: Il faudrait que le nom des fichiers CSV apparaissent dans la 1ere colonne

EDITION: Solution trouvée pour avoir les noms des fichiers avec cette modification sur #"Removed Other Columns"
Table.SelectColumns(#"Added Custom",{"Name","Custom"})
 
Dernière édition:
Vote positif 0 Vote négatif

Staple1600

XLDnaute Barbatruc
Re,

@alexga78
j'utilise aussi Office 365

Les fichiers de test CSV sont issus d'Excel (Enregistrer sous -> CSV, séparateur point virgule)

Tu as essayé avec les fichiers contenu dans le zip du message#2 ?

Tu peux mettre ton code M complet, stp avec le let .... in
merci

Sinon tu vois comment simplifier le code "anglophone" ?
 
Vote positif 0 Vote négatif
A

alexga78

XLDnaute Occasionnel

Re,
les fichiers testés sont ceux du zip.

un autre essai pour le nom des fichiers

PowerQuery: 
let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
    Result = let x =  Table.SelectColumns(Table.AddColumn(Source, "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=TextEncoding.Windows, QuoteStyle=QuoteStyle.None]))),{"Name","Custom"}) in Table.ExpandTableColumn(x,"Custom", List.Union(Table.TransformColumns(x, {"Custom", each Table.ColumnNames(_)})[Custom]))
in
    Result
 

Pièces jointes

  • Book11.xlsx
    25.7 KB · Affichages: 7
  • 1.png
    83.6 KB · Affichages: 8
Vote positif 0 Vote négatif
Solution

Staple1600

XLDnaute Barbatruc
Re

@alexga78
En détaillant ta syntaxe étape par étape, je n'ai plus de scories
PowerQuery: 
let
Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
#"FiltreCSV" = Table.SelectRows(Source, each [Extension]=".csv"),
#"CompilerCSV" = Table.Combine(Table.AddColumn(#"FiltreCSV", "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";"])))[Custom])
in
#"CompilerCSV"
Je ne comprends pas pourquoi

je vais voir et tester de ce pas ta nouvelle proposition
 
Vote positif 0 Vote négatif

Staple1600

XLDnaute Barbatruc
Re

@alexga78
merci pour cette dernière proposition
J'ai du la modifié ainsi sinon à nouveau des scories (et le *.zip présent dans le dossier apparaissait)
PowerQuery: 
let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
    FichiersCSV = Table.SelectRows(Source, each [Extension]=".csv"),
    Result = let x =  Table.SelectColumns(Table.AddColumn(FichiersCSV, "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=TextEncoding.Windows, QuoteStyle=QuoteStyle.None]))),{"Name","Custom"}) in Table.ExpandTableColumn(x,"Custom", List.Union(Table.TransformColumns(x, {"Custom", each Table.ColumnNames(_)})[Custom]))
in
    Result
 
Dernière édition:
Vote positif 0 Vote négatif

Staple1600

XLDnaute Barbatruc
Bonjour @Cousinhub

Ma version d'Excel
Version 2403 (build 17425.20176)
Windows 10

Question:
Comment on peut savoir la version de PowerQuery ?

PS: Tu voulais dire tous les autres code M du fil , @alexga78 n'en ayant publié que deux (messages #3 et #8 )

Et toi, ton code M ressemblerait à quoi pour faire cette compilation de CSV ?
 
Dernière édition:
Vote positif 0 Vote négatif

Staple1600

XLDnaute Barbatruc
[aparté]
Je viens de voir que mon Windows veut mettre à jour
2024-04 Mise à jour cumulative de .NET Framework 3.5, 4.8 et 4.8.1 Windows 10 Version 22H2 pour x64 (KB5037036)
Je fais la mise à jour et je regarde si les scories sont toujours là

Sinon en cherchant, des infos sur PowerQuery, je suis tombé sur ceci
Ils ont une drôle de manière d'être courtois chez Microsoft !
[aparté]
 
Vote positif 0 Vote négatif
Identifiez-vous ou inscrivez-vous pour participer.

Discussions similaires

POWERQUERY :: Combiner tous les fichiers Excel d'un dossier ou combiner des fichiers Excel spécifiques
Réponses
0
Affichages
277
oguruma
POWERQUERY :: Combinaisons (Table.Combine) de dossiers contenant des fichiers .CSV ou des fichiers Excel - V2
Réponses
0
Affichages
518
oguruma
POWERQUERY :: Combiner tous les fichiers .csv d'un dossier ou combiner des fichiers .csv spécifiques
Réponses
0
Affichages
441
oguruma
S
  • Résolu(e)
XL 2016 Séparateurs décimales & milliers sur un import csv
2
Réponses
18
Affichages
2 K
sabrina_
S
F
  • Question
besoin d'aide pour compilation de fichiers d'audit CSV ou XML
Réponses
0
Affichages
1 K
fredero
F
M
[REF] Wiki 6 de MichelXld (Doublons, Tris, Filtres, Variables, Fichiers fermés, Acces
Réponses
0
Affichages
68 K
MichelXld
M
Menu
Connexion
S'inscrire
Les cookies sont requis pour utiliser ce site. Vous devez les accepter pour continuer à utiliser le site. En savoir plus…