découper une ligne de commande en tokens - Page 1

bon voila j'ai fait un readline trivial et un truc qui coupe un buffer terminé par zéro en tokens genre argc argv
je donne en vrac, pour le fun. Certainement incomplet et buggé, mais ça marchotte pour ce que ça me sert, je corrigerai plus tard ou selon vos suggestions.

ça gère correctement des trucs genre abc "de' f" (2 tokens ici)
/*released under WTFPL*/ #include <stdio.h> #ifdef __MINGW32__ #include <conio.h> #else #error dont know how to disable line buffering #endif // MINGW32 int readline(const char *prompt, char *buf, int len) { int n=0; int c; printf("%s",prompt); while(n<(len-1)) { c = getch(); //printf(">> %02X\n",c); if(c=='\n' || c=='\r') { //end of line printf("\n"); break; } else if(c==0x08) { //backspace if(n>0) { n--; printf("\x08 \x08"); } } else if(c==0x03) { //break buf[n++] = 0; return E_BREAK; } else if(c=='\t') { //tab //manage completion later } else { buf[n++]=c; printf("%c",c); } } //append final zero buf[n++] = 0; //done return 0; }
/*released under WTFPL*/ #define DEBUG_PARSER static char ** shell_parse(char *buf, int *out_total) { char ** toks = NULL; char *start; int index, count=0; int len = strlen(buf); int quotes = 0; //quoting state index = 0; start = buf; while(buf[index]) { #ifdef DEBUG_PARSER printf("-> [%02X] ", buf[index]); #endif if(buf[index]=='\'') { if(quotes!=2) { if(quotes == 1) { quotes = 0; } else if(quotes==0) { quotes = 1; } memmove(buf+index, buf+index+1, len-index); } #ifdef DEBUG_PARSER printf("quote->%d\n",quotes); #endif } else if(buf[index]=='"') { if(quotes!=1) { if(quotes == 2) { quotes = 0; } else if(quotes==0) { quotes = 2; } memmove(buf+index, buf+index+1, len-index); } #ifdef DEBUG_PARSER printf("quote->%d\n",quotes); #endif } else if(buf[index]==' ' && quotes==0) { //unquoted space, split token count++; toks = realloc(toks, count*sizeof(char*)); toks[count-1] = start; //save old token start buf[index] = 0; //mark end of token start = buf+index+1; //mark new token start #ifdef DEBUG_PARSER printf("split [%s]\n",toks[count-1]); #endif } else { //normal char #ifdef DEBUG_PARSER printf("normal\n"); #endif } index++; } if(strlen(start)>0) { //last characters form the last token count++; toks = realloc(toks, count*sizeof(char*)); toks[count-1] = start; //save old token start buf[index] = 0; //mark end of token #ifdef DEBUG_PARSER printf("last-> [%s]\n", toks[count-1]); #endif } *out_total = count; return toks; }

C'est un appât à Folco ?

entre autres

J'ai fait un truc assez similaire pour PedroM ya quelques semaines

On part du principe que pour un fichier X, le fichier system\X est son fichier de conf. Il contient les switches qu'on a la flemme de taper à chaque fois. Il supporte les commentaires (#blabla). Le rapport avec ton code, c'est que ça découpe le fichier en un tableau de strings, de la forme (int argc, const char** argv), puis ça le passe à une autre fonction de la lib qui sait traiter (argc, argv), en appelant les fonctions qui correspondent à chaque switch. Par contre, je gère pas les quotes... Pas bête ^^
Pour la petite histoire, un programme au standard PedroM à mon standard exporte sa table de switches en monprog@0000. Comme ça, un programme en appelant plusieurs autres (au pif, gcc), peut lire les arguments, savoir à quel softs ils appartiennent, et les passer au bon programme au bon moment.
La table des switches est simple, c'est une table de string, sachant que le premier caractère de chaque string représente la version courte du switch (-x ou +x), la suite la version longue (--zyx ou ++ xyz). Evidemment, une seule des deux versions peut être présente.

./1 : la question des quotes, des backslashes et des espaces est assez étrange j'ai l'impression. Je n'ai pas testé mais quelques remarques en vrac :

- Si on utilise un \ on passe en mode "1" (vive les constantes magiques ) et on y reste jusqu'à utiliser à nouveau un autre \. Par exemple \""plop" va me donner "plop" au lieu de "plop ;
- De même, un \ fait passer dans un mode étrange où tout ce qui suit est ignoré, \a b c donne a b c au lieu de 3 paramètres séparés ;
- Les backslashes ne sont pas gérés à l'intérieur d'une paire de quotes (ils sont ignorés).

Sinon la fonction modifie le tableau passé en entrée, c'est assez dommage puisque ça limite considérablement les cas d'utilisation (impossible de lui donner un tableau qu'on souhaite conserver intact, ou bien n'importe quelle chaîne constante).

[edit] arg, à cause d'un bug introduit ce soir sur l'edit inline je viens d'effacer tes deux posts PpHd. Désolé, le bug est corrigé mais je n'ai aucun moyen de récupérer le contenu des posts

squalyl (./1) :
#ifdef __MINGW32__ #include <conio.h> #else #error dont know how to disable line buffering #endif // MINGW32

Il faut inclure <curses.h> pour avoir getch sous *nix.

Zeph (./7) :
./1 : la question des quotes, des backslashes et des espaces est assez étrange j'ai l'impression. Je n'ai pas testé mais quelques remarques en vrac :

- Si on utilise un \ on passe en mode "1" (vive les constantes magiques ) et on y reste jusqu'à utiliser à nouveau un autre \. Par exemple \""plop" va me donner "plop" au lieu de "plop ;
- De même, un \ fait passer dans un mode étrange où tout ce qui suit est ignoré, \a b c donne a b c au lieu de 3 paramètres séparés ;- Les backslashes ne sont pas gérés à l'intérieur d'une paire de quotes (ils sont ignorés).

Euh, à ce que je vois, son code ne gère pas du tout les backslashes, seulement les ' et ".

Zeph (./7) :
[edit] arg, à cause d'un bug introduit ce soir sur l'edit inline je viens d'effacer tes deux posts PpHd. Désolé, le bug est corrigé mais je n'ai aucun moyen de récupérer le contenu des posts

Tant pis. Il n'y avait rien d'important.

effectivement je ne gère pas les backslashes, seulement les guillemets simples et doubles, et abc "de"f donnera deux arguments abc et def.

merci kevin pour l'idée, mais je ne vais pas faire une dépendance sur curses pour un truc aussi simple, donc je passerai par getchar et un tc[s|g]etattr pour désactiver le buffering temporairement. (sinon je me serais pas fait chier et j'aurais déja utilisé gnu readline, mais mon code ne sera pas gpl contrairement à cette lib).

zeph: oui en effet je modifie le paramètre sur place, je m'étais accordé ça parce que ce paramètre est en fait une variable locale char[] qui est écrasé à chaque commande par les nouvelles données de readline.
Dans une autre version je faisais 2 passes, une pour compter les paramètres et l'autre pour les stocker dans un truc malloc()é une fois pour toutes avec assez de place pour les arguments et les pointeurs. Là j'avais un peu la flemme

(pour les quotes c'est pas des constantes magiques, c'est le nombre de quotes 0=QUOTE_NONE, 1=QUOTE_SINGLE, 2=QUOTE_DOUBLE, 012 ça allait plus vite )

si vous avez des règles de gestion plus intelligentes pour les quotes je veux bien les lire, mais je veux que ça reste simple, c'est pas le code principal de mon programme

et d'ailleurs vous suxez, vous avez pas vu que count n'était pas initialisée et que ça partait dans le décor au 2e appel

./9 & ./10 : ah oui en effet j'ai lu trop vite et pris le '\' pour un backslash ^^

Pourquoi ne pas avoir utilisé strtok ?

parce que j'aime bien réinventer la roue.

ok strtok va couper aux espaces, mais comment va t il gérer les espaces inclus dans des chaines quotées?

Il ne le fait pas c'est vrai

Sinon pour la lecture, il existe aussi libedit, qui est équivalente à readline, mais sous licence Berkeley.
Ceci étant dit, libedit dépend de libcurses donc pas sûr que ça te fasse tripper.

./12 : Zeph et les backslashes, une grande histoire d'amour

ouep

Au passage, pour le readline(), je déclarerais prompt en const char *.

si tu veux

chuis vraiment pas au point sur ces conneries

edit: fait

j'ai aussi des merdouilles quand deux espaces se suivent, on verra après.
Et aussi des merdouilles avec le backspace de linux, z'auront qu'à faire ^H ces bandes de moules.

edit pour kevin : pas besoin de curses #include <stdio.h> #if defined( __MINGW32__ ) #define GETC_MINGW #include <conio.h> #elif defined(__linux__) #include <unistd.h> #include <termios.h> #define GETC_LINUX #else #error do something about unbuffer char reading #endif #include "studis.h" int readline(const char *prompt, char *buf, int len) { int n=0; int c; int ret = 0; #ifdef GETC_LINUX struct termios tio; #endif printf("%s",prompt); #ifdef GETC_LINUX tcgetattr(STDIN_FILENO,&tio); tio.c_lflag &=(~ICANON & ~ECHO); tcsetattr(STDIN_FILENO,TCSANOW,&tio); #endif while(n<(len-1)) { #ifdef GETC_MINGW c = getch(); #endif #ifdef GETC_LINUX c = getchar(); #endif

[edit] [zeph] correction de la balise [code]

squalyl (./21) :
#ifdef GETC_MINGW
c = getch();
#endif
#ifdef GETC_LINUX
c = getchar();#endif

#if defined(GETC_MINGW)
#elif defined(GETC_LINUX)
#elif defined(...)
#else
# error "paf"
#endif

ne serait pas mieux ?

ton patch est mal formaté

nan, comme ça, ça fait paf tout seul, l'avait qu'à à utiliser les plateformes que je supporte, eh

squalyl (./21) :
edit pour kevin : pas besoin de curses

Mais tu as des tonnes de #ifdefs au lieu d'un seul pour le nom du header. (Et sinon, il y a aussi un portage W32 de pdcurses, donc tu pourrais même utiliser curses partout.)

c'est hors de question.

toi qui aimes le nostub, tu devrais comprendre ma démarche.

Oui et non… Sous GNU/Linux, les dépendances sont gérées automatiquement, donc ce n'est pas comparable, mais il est vrai que sur les systèmes d'exploitation inférieurs (propriétaires), c'est le bordel. Et il est vrai aussi que si c'est pour getch seulement, curses fait un peu overkill.

Même pas en rêve.

Ceci dit c'est publié en WTFPL, alors si tu penses que tu dois l'améliorer pour ton projet, vas y.