Power Query Simplifier/Universaliser l'import multiple de fichiers CSV

[Staple1600]

Bonsoir le forum

Je cherche à simplifier l'import de CSV à partir d'un dossier donné.

Quand on utilise l'assistant de PowerQuery, il y a de nombreuses étapes (voir ci-dessous)

let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
    #"Fichiers masqués filtrés1" = Table.SelectRows(Source, each [Attributes]?[Hidden]? <> true),
    #"Appeler une fonction personnalisée1" = Table.AddColumn(#"Fichiers masqués filtrés1", "Transformer le fichier", each #"Transformer le fichier"([Content])),
    #"Colonnes renommées1" = Table.RenameColumns(#"Appeler une fonction personnalisée1", {"Name", "Source.Name"}),
    #"Autres colonnes supprimées1" = Table.SelectColumns(#"Colonnes renommées1", {"Source.Name", "Transformer le fichier"}),
    #"Colonne de tables développée1" = Table.ExpandTableColumn(#"Autres colonnes supprimées1", "Transformer le fichier", Table.ColumnNames(#"Transformer le fichier"(#"Exemple de fichier"))),
    #"Type modifié" = Table.TransformColumnTypes(#"Colonne de tables développée1",{{"Source.Name", type text}, {"ITEM_1", Int64.Type}, {"ITEM_2", Int64.Type}, {"ITEM_3", Int64.Type}, {"ITEM_4", Int64.Type}, {"ITEM_5", Int64.Type}, {"ITEM_6", Int64.Type}, {"ITEM_7", Int64.Type}, {"ITEM_8", Int64.Type}})
in
    #"Type modifié"

On peut faire plus simple et générique que Microsoft, non ?

Quelqu'un aurait-il un code M plus synthétique et universel(*) pour faire cette opération ?
(*) notamment ici #"Type modifié" : ne pas avoir à lister tous les noms des colonnes

PS: j'ai regardé sur le forum les discussions avec le préfixe PowerQuery, j'ai regardé quelques vidéos sur YT (mais c'est pas pratique) et enfin je n'ai pas solliciter ChatGPT, préférant mes frères humains (notamment ceux d'XLD) et aussi un peu en souvenir de Sarah Connor.

NB: Il me semble que les étapes de Microsoft sont peu ou prou ce que montrent cette vidéo, non ?
https://www.youtube.com/watch?app=desktop&v=IsLB3XR9eno

 

[Staple1600]

Re

j'ajoute des fichiers CSV exemple comme c'est l'usage

Et deux macros en prime, si vous voulez générer vous-même les exemples

Sub MacroO365()
Range("A2").Formula2 = "=RANDARRAY(50,8,5,125,TRUE)"
Range("A1:H1") = Array("ITEM_1", "ITEM_2", "ITEM_3", "ITEM_4", "ITEM_5", "ITEM_6", "ITEM_7", "ITEM_8")
End Sub
Sub Macro()
Range("A2:H51").FormulaR1C1 = "=RANDBETWEEN(5,125)"
Range("A1:H1") = Array("ITEM_1", "ITEM_2", "ITEM_3", "ITEM_4", "ITEM_5", "ITEM_6", "ITEM_7", "ITEM_8")
End Sub

En espérant que cela attire les PowerQueristes du forum

 

[alexga78]

Bonjour Staple1600,

un essai pour la combinaison des fichiers csv si j'ai bien compris.

= Table.Combine(Table.AddColumn(Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"), "Custom", each Table.PromoteHeaders(Csv.Document([Content],null,";")))[Custom])

Cordialement,

 

[Staple1600]

Bonjour alexga78, le fil

Merci pour ta proposition
Ci-dessous le résultat obtenu

avec ce code M

let
#"test"= Table.Combine(Table.AddColumn(Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"), "Custom", each Table.PromoteHeaders(Csv.Document([Content],null,";")))[Custom])
in
#"test"

De mon côté, je suis arrivé ici de mes essais
(code original glané sur le web anglophone)

let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
#"Filtered Rows" = Table.SelectRows(Source, each [Extension]=".csv"),
#"Added Custom" = Table.AddColumn(#"Filtered Rows", "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=1252, QuoteStyle=QuoteStyle.None]))),
#"Removed Other Columns" = Table.SelectColumns(#"Added Custom",{"Custom"}),
#"Expanded Custom" = Table.ExpandTableColumn(#"Removed Other Columns", "Custom", Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])),Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])))
in
#"Expanded Custom"

Ce qui donne ce résultat

 

[Staple1600]

Re,

@alexga78
Bizarrement, si je suis ton exemple, je retrouve des scories comme dans ta proposition, avec d'autres en bonus
code M testé

let
#"Added Custom" = Table.AddColumn(Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"), "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=1252, QuoteStyle=QuoteStyle.None]))),
#"Removed Other Columns" = Table.SelectColumns(#"Added Custom",{"Custom"}),
#"Expanded Custom" = Table.ExpandTableColumn(#"Removed Other Columns", "Custom", Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])),Table.ColumnNames(Table.Combine(#"Removed Other Columns"[Custom])))
in
#"Expanded Custom"

Qu'est-ce qui faudrait ajouter dans ton "one-liner" pour éviter les scories ?

PS: Il faudrait que le nom des fichiers CSV apparaissent dans la 1ere colonne

EDITION: Solution trouvée pour avoir les noms des fichiers avec cette modification sur #"Removed Other Columns"
Table.SelectColumns(#"Added Custom",{"Name","Custom"})

 

[alexga78]

Bonjour Staple1600,
Bizarrement je n'ai pas ces scories avec ma version Excel Office 365.

 

[Staple1600]

Re,

@alexga78
j'utilise aussi Office 365

Les fichiers de test CSV sont issus d'Excel (Enregistrer sous -> CSV, séparateur point virgule)

Tu as essayé avec les fichiers contenu dans le zip du message#2 ?

Tu peux mettre ton code M complet, stp avec le let .... in
merci

Sinon tu vois comment simplifier le code "anglophone" ?

 

[alexga78]

Re,

@alexga78
j'utilise aussi Office 365

Les fichiers de test CSV sont issus d'Excel (Enregistrer sous -> CSV, séparateur point virgule)

Tu as essayé avec les fichiers contenu dans le zip du message#2 ?

Tu peux mettre ton code M complet, stp avec le let .... in
merci

Sinon tu vois comment simplifier le code "anglophone" ?

Re,
les fichiers testés sont ceux du zip.

un autre essai pour le nom des fichiers

let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
    Result = let x =  Table.SelectColumns(Table.AddColumn(Source, "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=TextEncoding.Windows, QuoteStyle=QuoteStyle.None]))),{"Name","Custom"}) in Table.ExpandTableColumn(x,"Custom", List.Union(Table.TransformColumns(x, {"Custom", each Table.ColumnNames(_)})[Custom]))
in
    Result

 

[Staple1600]

Re

@alexga78
En détaillant ta syntaxe étape par étape, je n'ai plus de scories

let
Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
#"FiltreCSV" = Table.SelectRows(Source, each [Extension]=".csv"),
#"CompilerCSV" = Table.Combine(Table.AddColumn(#"FiltreCSV", "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";"])))[Custom])
in
#"CompilerCSV"

Je ne comprends pas pourquoi

je vais voir et tester de ce pas ta nouvelle proposition

 

[Cousinhub]

Bonjour,
JM, avec le premier code d'Alex, nickel...

Et tous ses autres codes fonctionnent parfaitement, tout pareil...
Un peu fatigué, ton PC? (ou le soleil qui ne lui convient pas???)

 

[Staple1600]

Re

@alexga78
merci pour cette dernière proposition
J'ai du la modifié ainsi sinon à nouveau des scories (et le *.zip présent dans le dossier apparaissait)

let
    Source = Folder.Files("C:\Users\STAPLE\Documents\PQ_CSV"),
    FichiersCSV = Table.SelectRows(Source, each [Extension]=".csv"),
    Result = let x =  Table.SelectColumns(Table.AddColumn(FichiersCSV, "Custom", each Table.PromoteHeaders(Csv.Document([Content],[Delimiter=";", Encoding=TextEncoding.Windows, QuoteStyle=QuoteStyle.None]))),{"Name","Custom"}) in Table.ExpandTableColumn(x,"Custom", List.Union(Table.TransformColumns(x, {"Custom", each Table.ColumnNames(_)})[Custom]))
in
    Result

 

[Staple1600]

Bonjour @Cousinhub

Ma version d'Excel
Version 2403 (build 17425.20176)
Windows 10

Question:
Comment on peut savoir la version de PowerQuery ?

PS: Tu voulais dire tous les autres code M du fil , @alexga78 n'en ayant publié que deux (messages #3 et #8 )

Et toi, ton code M ressemblerait à quoi pour faire cette compilation de CSV ?

 

[Staple1600]

[aparté]
Je viens de voir que mon Windows veut mettre à jour
2024-04 Mise à jour cumulative de .NET Framework 3.5, 4.8 et 4.8.1 Windows 10 Version 22H2 pour x64 (KB5037036)
Je fais la mise à jour et je regarde si les scories sont toujours là

Sinon en cherchant, des infos sur PowerQuery, je suis tombé sur ceci

Power Query dépréciation du complément

Au début de l’été 2019, nous avons officiellement déprécié le complément Power Query requis pour Excel 2010 et 2013 pour Windows. Par courtoisie, vous pouvez toujours utiliser le complément, mais cela peut changer à une date ultérieure.

Ils ont une drôle de manière d'être courtois chez Microsoft !
[aparté]

 

[Cousinhub]

Re-,
Pour la version PQ

Et cette phrase m'a "tilté"...

(et le *.zip présent dans le dossier apparaissait)

Effectivement, si tu conserves ton zip dans le dossier d'import, tu obtiens ces scories...

 

[Staple1600]

@Cousinhub

Je vais tester sans le zip (en attendant la fin de la mise à jour)

PS: Par curiosité et pour ma gouverne, ce serait quoi ton code M ? (similaire à celui d'alexga78?) ou tu vois d'autres pistes possibles.