SQL basique dans un fichier plat (CSV ou autre) ? - Page 1

1

Le 30/11/2011 à 11:30

Hello,

Je viens de poser la question à Google sans grand succès pour le moment : connaissez-vous un outil Windows qui permettrait d'exécuter des requêtes SQL (ou des simili-requêtes, en fait je n'ai besoin que d'un SELECT avec critères, groupements et tri) directement sur un fichier plat ?

Il existe probablement plein de façons d'importer un CSV dans une vraie base, mais je risque d'avoir pas mal de CSV jetables à traiter et s'il faut que je les importe à chaque fois pour pouvoir travailler dessus, ça risque de ne pas être très efficace.

Pour l'instant je n'ai trouvé que ça : http://code.google.com/p/gcsvsql/ ; d'après la description ça fait ce que je veux, mais c'est codé en Groovy (

) donc j'aimerais être sûr qu'il n'existe pas quelque chose de plus pratique (pas codé avec un langage qui m'oblige à installer une VM supplémentaire, et si possible avec une GUI).

Merci

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

2

Le 30/11/2011 à 12:13

Oui, tu peux utiliser un driver ODBC sur du CSV ; si besoin, tu peux même ajouter nue surcouche JDBC->ODBC->CSV (on avait cherché un driver JDBC->CSV direct, mais on n'en avait trouvé aucun de potable).
J'ai une note que j'ai fait pour le boulot à ce sujet, je te la transmets en mini-message...

3

Le 30/11/2011 à 13:32

Merci

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

4

Le 30/11/2011 à 14:39

(Y a rien de critique dans le document, hein, c'est juste que je veux éviter que ça soit disponible sur Internet "comme ça" ; si d'autres personnes sont intéressées, il n'y a aucun souci)

5

Le 30/11/2011 à 15:28

ah ouais tiens tant qu'on y est: y'a quoi comme outil pour faire comme (l'outil mysql en ligne de commande) avec ODBC?

1D86FN9
Nspire wiki
CONDUCTEUR Va-et-vient Des QUATRE MANCHE AVEC DES DIODES
La naissance de Boo en vrai

6

Le 30/11/2011 à 15:31

T4eSQL : http://www.tools4ever.com/products/free/command/ (je ne l'ai jamais utilisé, par contre)

7

Le 30/11/2011 à 15:32

Nil : tu utilises quoi comme driver ODBC ?

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

8

Le 30/11/2011 à 15:34

Comment ça ? Pour le CSV ? Celui qui est livré de base avec Windows, comme décrit dans le document...

9

Le 30/11/2011 à 15:36Edité par Zeph le 30/11/2011 à 15:37

Justement, je ne l'ai pas dans ma liste de drivers (en fait elle est quasiment vide, il n'y a que quelques trucs de MSSQL dedans)

[edit] cf. http://www.mirari.fr/HyxD

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

10

Le 30/11/2011 à 15:37

Etrange... C'est quelle version de Windows ? Tu es membre d'un domaine ? Peut-être que les administrateurs ont fait du ménage ?

11

Le 30/11/2011 à 15:38

Peut-être, oui ; je viens d'éditer le post ./9. J'ai tenté "microsoft csv odbc driver" / "microsoft text odbc driver" sur google sans trop de résultat, si tu connais le nom du paquet ou de la dll qui fournit ce service je suis preneur

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

12

Le 30/11/2011 à 15:41

La DLL est ODBCJT32.DLL ; je n'ai pas trouvé trace sur Google d'un potentiel ODBCJT64.DLL, c'est peut-être la raison de son absence ?

A priori, il est disponible avec ce pack : http://support.microsoft.com/kb/239114

13

Le 30/11/2011 à 15:43

Visiblement ça a disparu avec Windows 7, je vais tenter la version XP de ton lien, mais ça sent le pâté

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

14

Le 30/11/2011 à 15:44

https://www-304.ibm.com/support/docview.wss?uid=swg21411923 -> A priori, ça devrait pouvoir t'offrir une solution...

15

Le 30/11/2011 à 15:54

Effectivement ça affiche davantage de drivers dont celui pour les CSV, en revanche ça ne marche pas du tout ensuite

(floppée de messages d'erreur quand on clique sur un bouton, etc).

Tant pis, merci pour ton temps, je vais essayer de bricoler quelque chose pour ne pas y passer l'après-midi ^^

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

16

Le 30/11/2011 à 15:58

Arf merde :/
Bon bah de rien pour le coup, mais c'est assez emmerdant pour nous si ça ne fonctionne plus, parce qu'on va devoir migrer un jour ou l'autre vers des OS modernes et qu'il faudra trouver une solution

17

Le 30/11/2011 à 16:12

Bon, solution du pauvre : j'ai installé un easyphp, et chargé mes données dans une base MySQL (après avoir découvert que MySQL supportait nativement le chargement des CSV). Pas super pratique ni élégant, mais ça marche \o/

Merci encore

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

18

Le 30/11/2011 à 20:04

Et Excel n'aurait pas convenu ?

<<< Kernel Extremis©®™ >>> et Inventeur de la différence administratif/judiciaire ! (©Yoshi Noir)

<Vertyos> un poil plus mais elle suce bien quand même la mienne ^^
<Sabrina`> tinkiete flan c juste qu'ils sont jaloux que je te trouve aussi appétissant

19

Le 30/11/2011 à 23:31

On peut faire des requêtes SQL dans Excel ? (sinon il y a aussi un driver ODBC Excel, mais pour une raison qui m'échappe je ne l'avais pas non plus)

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

20

Le 01/12/2011 à 09:20

Sinon, il y a toujours Access, mais pour le coup faire des insertions massives en mySql me semble assez similaire.

21

Le 01/12/2011 à 09:36

Pour l'instant la solution MySQL me convient : j'ai un script tout con qui transforme mon fichier en CSV et l'importe en base, donc à condition de laisser EasyPHP tourner, ça reste rapide à utiliser et ça permet de faire toutes les requêtes dont j'ai besoin (avec de bonnes perf au passage, même si ça n'était pas un critère).

D'ailleurs si ça peut resservir à qqun :

script

#! /bin/sh

csv=`mktemp`
sql=`mktemp`

if [ $# -eq 0 ]; then
	echo "usage: $0 <file 1> [<file 2> [...]]"

	exit 0
fi

while [ $# -gt 0 ]; do
	echo "converting file '$1' to csv..."

	sed -r 's/^[^|]*\|(.*)$/\1/;s/[.A-Za-z]+: ([^,]*)((,) *)?/\1\3/g' "$1" >> "$csv"

	shift
done

echo "sending to database..."

cat << EOF > "$sql"
LOAD DATA LOCAL INFILE '$(cygpath -am "$csv")' INTO TABLE res
    FIELDS TERMINATED BY ',' 
    LINES TERMINATED BY '\n'
    (id, client, client_name, client_weight, answer, answer_clickthrough, answer_elapsed, answer_price)
EOF

cat "$sql" | /cygdrive/c/blablabla/EasyPHP/mysql/bin/mysql -ukikoo -plol mabase

echo "done."

rm -f "$csv"
rm -f "$sql"

All right. Keep doing whatever it is you think you're doing.
------------------------------------------
Besoin d'aide sur le site ? Essayez par ici :)

22

Le 01/12/2011 à 10:15

Je me demandais pourquoi tu n'utilisais pas tout simplement la commande mysqlimport, mais je n'avais pas réalisé que tu n'avais pas de "vrais" fichiers CSV au début (cela dit, mysqlimport a pas mal d'options, peut-être que ça répondrait directement et totalement à ton problème).

23

Le 01/12/2011 à 11:40

pas mal cette commande mysql LOAD, merci

1D86FN9
Nspire wiki
CONDUCTEUR Va-et-vient Des QUATRE MANCHE AVEC DES DIODES
La naissance de Boo en vrai