Au-delà d'Excel / VBA : SQL et Python ? (coup de blues)

[Charly88]

Bonjour, mon job actuel et le précédent consiste essentiellement à comparer, enrichir des données / chiffres puis les présenter.
Ces dernières années j'ai été de plus en plus critiqué pour continuer à travailler sous excel-VBA...tout en étant apprécié/salué pour fournir en un temps et à une vitesse-coût imbattable des réponses aux questions-besoins divers, en capitalisant sur des bouts de codes.

Néanmoins, les signaux s'accumulent qui me poussent à chercher à retrouver une même agilité vis-à-vis de données sans être prisonnier d'Excel.
J'ai des clients internes, jeunes parfois, qui connaissent très mal Excel (c'est surprenant) et/ou qui sont tellement habitués à de grosses machines (ERP, Salesforce...) que l'idée d'utiliser 2-3 filtres et un clavier leur paraît (très) étrange.
VBA est un langage abandonné, j'ai un programme qui depuis 7-8 ans survit malgré un problème de .dll 64 bits sans solution officielle. Chaque année, l'infra me demande si on peut fermer le serveur habritant la dernière version Win/Office compatible...

Microsoft crée toujours autant de fonctionnalités inutiles et de bugs nouveaux et c'est juste fatiguant.
Le travail collaboratif se développe et la synchronisation Sharepoint-Onedrive est... une bouse qui réserve trop de mauvaises surprises. Travailler sur un fichier en version excel web, c'est une blague et les discussions avec "fais attention à..." se multiplient = c'est toxique, ça sape la confiance.
Enfin vient le coup de grâce : un passage probable généralisée et rapide à la suite Google.

Bref, y'a-t-il des témoignages de personnes qui sont passées par là et ont creusé un autre chemin ?

Moi je commence du côté de SQL mais j'ai démarré par une mauvaise formation et doit en changer + je manque de temps. Surtout, après 8-10h, mon impression se confirme que SQL est nécessaire mais pas suffisant pour jouer avec des données. Je crains que ça ne me prenne des dizaines d'heures pour arriver à refaire des choses basiques.

Je me demandais récemment si je pourrais me créer un petit jeu, pour apprendre une conjugaison de langue par ex, un simple question aléatoire / réponse pour commencer. Sous XL/VBA, j'ai tout de suite des idées mais pas avec ce que j'ai vu de SQL pour l'instant...

 

[gbinforme]

Bonsoir,

je manque de temps

Pas étonnant aujourd'hui il faut tout, tout de suite et si possible sans effort.

VBA permet de faire pas mal de choses mais il faut passer du temps pour le connaitre et il en est de même pour SQL ou PHYTON. En FAC les formations sont très rapides mais quand est-il de la maitrise opérationnelle ?
Seuls les génies peuvent se permettre de barbouiller une toile et d'obtenir un chef d’œuvre mais pour en arriver là personne ne va parler des heures passées à apprendre et à réaliser ensuite.
Quel que soit le logiciel utilisé il est nécessaire de beaucoup pratiquer : même les grands chirurgiens doivent constamment s'entrainer pour ne pas perdre la main.
Bon courage à toi mais je doute que tes changements de procédures se fassent sans beaucoup de temps.

 

[David Aubert]

Bonjour,
Chez Microsoft la technologie Fabric + PowerQuery + PowerBI a le vent en poupe.
Il y a aussi Snowflake qui est de plus en plus utilisé et des ETL cloud tels que Make qui sont en train d’exploser.
Le domaine de la data se transforme énormément et il est vrai que le couple Excel+VBA pur et dure n’est pas l’outil utilisé par les équipes Data Engineering et Data Analyse, c’est une réalité.
Les étudiants dans ces domaines ne sont pas formés à VBA qui devait d’ailleurs disparaître à un moment donné.
En terme de language de développement, passe partout pour traiter de la data (et aussi pour faire bien plus), Python est un excellent choix.
Je ne prêche pas pour notre paroisse ici, mais ce sont les outils que l’on trouve en entreprise orientées data.
Bonne journée
David

 

[David Aubert]

Plus d’info sur la stratégie Microsoft autour de la data et des data lake avec Fabric :

Qu'est-ce que Microsoft Fabric - Microsoft Fabric

Microsoft Fabric est une solution analytique tout-en-un qui couvre tout, du mouvement des données à la science des données, à Analytics en temps réel et à l'intelligence économique.

learn.microsoft.com

Cela ne les empêche pas pour autant de développer Excel à fond et d’une très bonne manière ces dernières année autour des tableaux structurés, de PowerQuery,…

 

[Charly88]

Merci pour vos réponses. Je vais creuser/lire.
Je prends conscience du problème de temps (pas mal de dév senior à qui j'ai parlé sous-estiment la courbe d'apprentissage, d'autant plus que ça n'est pas mon activité-formation de base) mais je me force à prendre cela pas à pas, sinon je n'ai aucune chance de grimper la colline, sans parler de la montagne derrière.
Professionnellement, je suis coincé, je vieillis donc pour un moment je simplifie = moins de questions, plus d'action.

Pour l'intro à SQL, après avoir bêtement perdu 10h sur une playlist de piètre qualité de ma boîte, je suis tombé sur cette très bonne série (anglais, avec un R roulé agréable) d'un gars qui a démarré avec VBA :

https://www.youtube.com/playlist?list=PL6EDEB03D20332309

C'est très "excel-download" dans l'esprit je trouve.

Il a d'ailleurs rédigé quelques comparaisons entre VBA et les Office Scripts :

Comparing Features of Office Scripts and VBA

www.wiseowl.co.uk

---
Je reste très frustré par le développement d'Excel depuis 10 ans. J'ai l'impression que je suis passé à côté de réacteurs nucléaires qui ont été construits (cartes 3D, powerBi...) par manque de temps/opportunités mais chaque jour, je m'irrite sur tant de mini-problèmes non-résolus qui bout à bout font perdre un temps fou.
Je dois toujours faire les mêmes paramétrages sur mes pivots, format de cellules chiffrées, etc. Probablement, un sujet de topic mais je doute que beaucoup soit soluble par défaut/paramétrage.

Je continue à perdre 1 demi-seconde * 20 fois/jours parce que des boutons sont trop petits sur des menus qui n'ont pas bougé depuis 30 ans (Format Cells). J'utilise régulièrement un bout de code VBA pour faire "unpivot" parce que les Dév MS sont trop en orbite pour intégrer cela nativement. C'est... étrange, trop éloigné de la notion d'efficience pour le maximum d'utilisateurs selon moi.

 

[Charly88]

Et je perçois le même manque de pragmatisme sur Teams : ça a démarré très prometteur et ça stagne depuis 2 ans sur les problèmes quotidiens et performances.

Et l'énorme point commun : les bugs (et crashs pour Excel).
Alors entendre parler de Copilot/AI dans Office quand mon PC est prêt à faire une syncope parce que j'ai ouvert un fichier de 3 MB et qu'Excel arrive à consommer 18 GB de RAM en 15 secondes, c'est surréaliste.

 

[dysorthographie]

Bonjour,
Personnellement je pense qu'un système d'information,dans une entreprise, qui repose sur excel n'est pas viable.

Dans bon nombre d'entreprises fleurissent des fiches excel enrichis par les déférents chefs de service. Ceux ci renseigne leurs données d'entrées, puis suivent l'évolution des tâches qui leurs sont confiées . A charge aux suivants de créer leurs propres fichiers excel et de renseigner le passif.

Pour moi chaque acteur doit saisir sa tranche de vie et hériter de celles des voisins.

Personnellement j'ai développé des projets autour d'SQL Serveur et visual studios.
Si tu envisages cette voie, je peux envisager de suivre tes périgrinations.

 

[Charly88]

Je pense que nous sommes d'accord, vous décrivez l'une règle de base du SI optimal : une donnée ne doit y être entrée qu'une fois.
Sans aller jusque là, l'un des axes de mon travail a été "d'industrialiser" et standardiser des flux et rapports et ainsi renoncer à quantité de fichiers "sauvages". J'ai utilisé VBA pour les calculs et Excel pour la présentation et l'interface pour permettre des interactions (limitées) avec les rapports.
Quand on m'a expliqué que désormais je pourrais apprendre à présenter des données dans Tableau mais sans la capacité de les enrichir/croiser/etc moi-même "parce que c'est du back-end, il faut demander à X ou Y, ça ne prend que 2 semaines", j'ai compris que j'étais resté bien trop longtemps dans VBA/XL.

 

[Charly88]

Pour la suite, j'ai encore trop à apprendre pour y voir clair mais je pense/cherche à faire deux petites applis :
-une de questions-réponses aléatoire pour apprendre une conjugaison. Nécessite des tables, une interface, workflow = je n'aurais aucun problème à la faire en VBA pour un utilisateur unique.
-une pour jouer avec des horaires de bus. M'afficher le bus le plus proche dans le temps en fonction de ma localisation, calculer quand j'arrive... Idéalement utilisable sur mobile (donc web ?)

Si j'arrive à créer l'un ou l'autre d'ici les 3 prochains mois, ce sera bien.
J'ai fini par me rappeler d'un autre dinosaure du web : les forums de developpez.net (où sont passés/passent de nombreux Barbatrucs). Entre leur litttérature et les exercices de la chouette anglaise, j'ai de quoi m'occuper quelques semaines.
Le formateur de Owl (un autre David !) m'a indiqué une alternative à SSMS, Azure Data Studio. Cela paraît intéressant (pas encore testé), l'interface de SSMS est... un choc en 2023. https://learn.microsoft.com/en-us/azure-data-studio/faq?view=sql-server-ver15

 

[bfg49]

Hello,

Pour ma part, je suis responsable de fournir aussi beaucoup de donnés et de rapports pour les prévisions dans ma société. Avant j’utilisais des extractions de SAP puis du VBA pour mettre tout ça d’équerre mais j’arrivais à la limite d’XL (extraction > 1 million de lignes !!!). Maintenant, j’utilise BI4.3 pour faire tous les rapports que je faisais avant avec XL et ils sont automatiquement envoyés par e-mail. Je n’ai plus aucune mise en forme à faire et je peux toujours utiliser des fichiers XL comme source de données