Excel bon pour gérer 350 000 lignes de données ?

[Qude]

Bonjour à tous,

je reçu une base de données sous Excel avec plus de 350000 lignes et 12 colonnes.

Chaque ligne correspond à un terrain (muni d'un identifiant propre), et chaque colonne donne une information sur ce terrain comme les coordonnées, l'année de construction, le nombre d'étages du bâtiment construit, etc.

Il se peut qu'un identifiant se répète (plusieurs propriétaires, construction d'années différentes, ...)

J'aimerais pouvoir facilement travailler sur ce fichier mais quand j'essaye d'appliquer une formule à toutes ces lignes ou bien d'extraire les informations d'un nombre de parcelles dans un autre fichier, Excel prend beaucoup de temps... (350000 lignes, même pour un pc, ça prend du temps 😛 )

Est-il possible de travailler sur un autre programme, si oui lequel, et si non quels conseils me donneriez vous pour optimiser le temps de travail.

Exemple de travail: Retirer tous les terrains "doublons" dans un autre fichier et y lier les colonnes correspondantes en faisant parfois une moyenne, parfois une somme des données contenue dans chaque ligne de même identifiant ??

Merci beaucoup d'avance 🙂

 

[Staple1600]

Re : Excel bon pour gérer 350 000 lignes de données ?

Bonjour à tous

Qude (bienvenue sur le forum)
Selon la version Office, dont tu disposes, tu peux utiliser Access.

Si tu n'as pas Access, alors tu peux installer LibreOffice et utiliser Base de Données.

 

[Qude]

Re : Excel bon pour gérer 350 000 lignes de données ?

Bonjour Staple,

merci de la réponse rapide,

j'ai commencé à apprendre Access, mais je me pose deux trois questions:

Est il possible d'insérer des fonctions dans access?

J'ai essayé d'insérer ce fichier excel mais une erreur survenait en m'indiquant qu'il y avait des valeur NULL dans la matrice, que je devais changer ?!? avant de recommencer l'insertion..
Ces valeurs sont en fait des manques de données dans la matrice de base retranscrite en "-" ou "."
Est il possible de facilement les supprimer et par quoi devrais-je les remplacer ?

Merci beaucoup 🙂

 

[Misange]

Re : Excel bon pour gérer 350 000 lignes de données ?

Bonjour

En restant dans excel tu peux gérer de grosses bases de données avec Power Pivot notamment.
Quand tu parles de formules c'est un peu vague.
Si c'est pour faire des formules matricielles c'est sur que c'est dur. MAis tu peux faire breaucoup de choses avec un TCD. dis nous en un peu plus.

 

[Staple1600]

Re : Excel bon pour gérer 350 000 lignes de données ?

Re


Pour ce qui concerne Access, voir par exemple, ici.
(pris au hasard dans les nombreuses ressources renvoyé par le premier moteur de recherche venu 😉
Il y en a plein d'autres à découvrir 😉

 

[Qude]

Re : Excel bon pour gérer 350 000 lignes de données ?

Bonjour Misange,

Mon premier but avec cette base de donnée c'est de retirer les doublons des identifiants de parcelles. Point important, les doublons d'identifiants de parcelles possèdent parfois des données différentes (du type surface, année de construction, ...). Donc j'aimerais quand je supprime ces doublons, garder les données en faisant des moyennes ou des sommes sur certaines colonnes et arriver avec UN identifiant de parcelle avec UNE donnée pour chaque colonne.

Fonctions du type : =INDEX(MatriceCadastrale;EQUIV(B2394;capa;0);5)
ou : =SI(GAUCHE(INDEX('Matrice cadastrale'!D2394:Q402392;EQUIV(B2394;'Matrice cadastrale'!D2394😀342308;0);9);1)="<";"<1850";MOYENNE.SI('Matrice cadastrale'!$D$2:$D$339916;B2394;'Matrice cadastrale'!L$2:L$339916))

la deuxième est un peu plus dégueu mais je peux la rendre plus propre en utilisant les nominations utilisées dans la première

le problème c'est quand je dois étendre la fonction à 11000 lignes (et encore je voudrais pouvoir faire bien plus) excel prend 20 minutes... C'est donc plutôt gênant.

Une petite idée ?
Je vais aller checker power pivot 🙂

Merci

 

[Qude]

Re : Excel bon pour gérer 350 000 lignes de données ?

Précision, la première fonction recherche simplement une valeur dans une colonne associée à un identifiant recherché.

La deuxième fait la même chose mais regarde en plus si la gauche de la cellule trouvée commence par "<", si c'est le cas, elle renote la cellule entière sinon, elle fait la moyenne de toutes les valeurs contenue dans la colonne recherchée tant que l'identifiant est le même.

J'imagine que vous connaissez les fonctions mieux que moi mais il est certainement plus facile de comprendre en expliquant qu'en lisant la fonction 🙂

 

[chris]

Re : Excel bon pour gérer 350 000 lignes de données ?

Bonjour

Comme Staple, je partirai plutôt sur Access : une liaison voire un import de la base Excel puis des requêtes seront plus efficaces que des formules matricielles sur autant de lignes pour tes problèmes de doublons.

Les fonctions de traitement de chaînes existent aussi dans Access mais dans les deux cas, c'est toujours ce qui pénalise le temps de calcul...

Après si tu veux effectuer des stats, le TCD depuis Excel comme proposé par Misange

 

[laetitia90]

Re : Excel bon pour gérer 350 000 lignes de données ?

bonjour toutes 🙂 & tous 🙂
a mon avis sur 350000 lignes & 12 colonnes on peut bosser sur des tablos ,filtres.... surement < a 20 mn
entre 10 & 20 secondes sur pc assez rapide en fonction de la recherche mais bon c'est mon avis 🙂🙂

 

[Roland_M]

Re : Excel bon pour gérer 350 000 lignes de données ?

bonjour,

personnellement, avec autant de données à traiter, je travaillerai en exécutable ex vb6
avec fichier de données sur disque ! base de données à accès direct ou autre selon besoin ... !?
programme plus léger et plus rapide !

bien entendu on est dans un autre domaine !
sinon pour les bases reste access ! excel c'est trop lourd !

 

[Misange]

Re : Excel bon pour gérer 350 000 lignes de données ?

RE bonjour

en fait je dirai que tout dépend de l'usage que tu dois faire de cette base de données. Il n'y a pas je pense de réponse unique et c'est à toi de peser le pour et le contre.
1) Excel dispose d'un outil puissant pour supprimer les doublons sur plusieurs critères
2) le TCD permet de faire des calculs très rapidement car en langage machine, bien plus rapide que du VB, en éliminant dans de très nombreux cas le besoin de recourir à des matricielles
3) si tu as besoin de travailler une seule fois cette base de données pour la nettoyer et que tu ne connais pas access, le temps passé pour prendre en mains ce logiciel sera très supérieur à celui passé à attendre qu'excel te fasse le job
4) si après nettoyage ta base de données est disons de 100000 lignes, tu peux tout à fait travailler avec excel si tu as une machine assez costaud mais là encore tout dépend de ce que tu veux aller y chercher. Si tu dois obligatoirement y faire des calculs nécessitant des formules matricielles, bof bof. Si ce ne sont que des moyennes, sommes, dénombrements suivant différents critères, je commencerai à ta place par essayer avec excel et un TCD.
5) pour ton nettoyage initial tu peux peut être aussi travailler par morceaux de ta base pour la reconstituer ensuite et finir le dédoublonnage.