1

所以,我正在为我正在制作的语言做一个类似于Python的解释器。现在我明白这不是一个小任务,我不期望它工作得很好或者做得很多,但我希望它具有一些基本功能(变量,函数,循环,if语句等)。建立一个口译员:设计一个AST

因此,目前我处于解释器获取文件并将其分割为令牌列表的阶段,现在我准备将这些令牌转换为AST。我打算用递归下降解析器来做到这一点,我相信我明白,但这是问题所在。比方说,我有以下输入

1 + 2 * 3 

这将输出7,因为使用BIDMAS乘法完成首次如此

2 * 3 = 6 

然后在添加后

1 + 6 = 7 

我知道做如何获得这个订单,因为我有一个简单的语法,但我不知道如何将它作为AST存储。为了简化事情的答案,让我们假设这是您将收到和语法可以

program = add 
add = mul {"+" mul} 
mul = NUM {"*" NUM} 

所以基本上唯一的输入,你如何让一个数据结构(S)来存储一个AST?

P.S.我在C.

+0

你应该从Aho Seti和Ullman购买编译器“dragon”书籍,而一个名为bison的工具可以帮助你在几分之一的时间内完成你打算“手工”操作的目标 – Leo

+0

我不能使用野牛,因为这个项目的目标是“手工”完成所有这一切。无论如何感谢 –

回答

4

免责声明:本表示是主观的只是为了照亮。

基本上,您的AST将像二叉树一样构造,其中每个AST节点都是一个“C”结构,它同时包含“左”和“右”指针。 AST的其他元素通常是上下文相关的。例如,变量声明与函数定义或函数中的表达式。通过替换上述节点1 +(2×3)与您的AST结构将类似于

+ 
/ \ 
1  * 
     /\ 
    2 3 

所以:

    ----------------- 
       | type: ADDOP | 
       | left: struct* | 
       | right: struct*| 
       ----------------- 
      /     \ 
      /     \ 
(ADDOP left points to)   (ADDOP right points to) 
------------------------  -------------------------- 
| type: NUMLITERAL  |  | type: MULTOP   | 
| value: 1    |  | left: struct*   | 
| left: struct* (null) |  | right: struct*   | 
| right: struct*(null) |  -------------------------- 
------------------------   /    \ 
            /    \ 

        (MULTOP left points to)   (MULTOP right points to) 
        ------------------------  -------------------------- 
        | type: NUMLITERAL  |  | type: NUMLITERAL  | 
        | value: 2    |  | value: 3    | 
        | left: struct* (null) |  | left: struct* (null) | 
        | right: struct*(null) |  | right: struct* (null) | 
        ------------------------  -------------------------- 

我给你举的例子,粗糙的树将反映这假设您对“C”以及如何对节点进行了足够的了解,并指定了左/右指针。

现在剩下的活动就是对树进行后期遍历,以评估表达式并产生结果或发出与编译结果对齐的适当中间代码/机器代码。任何选择都会带来大量的思考和计划。

顺便说一句:如前所述,AST节点将通常具有基于您想要表示的抽象级别的属性。还要注意,一个典型的编译器可能会因不同的原因而利用多个AST。是的,你有更多的阅读/学习。

注意:这说明了AST的数据结构,但@mikeb答案对于如何将字符串“1 + 2 * 3”获取到此类结构的节点中是坚实的。

1

我会用“调车场”算法,这样做 - >https://en.wikipedia.org/wiki/Shunting-yard_algorithm

有psudocode有太多。

FTA:

在计算机科学中,调度场算法是用于解析在中间符号指定的数学表达式的方法。它可用于生成后缀表示法字符串(也称为反向波兰表示法(RPN))或抽象语法树(AST)。该算法由Edsger Dijkstra发明并命名为“调车场”算法,因为其操作类似于铁路调车场。 Dijkstra首先在Mathematisch Centrum报告MR 34/61中描述了Shunting Yard算法。

就像RPN的评估一样,分流码算法是基于堆栈的。中缀表达式是大多数人习惯使用的数学符号的形式,例如“3 + 4”或“3 + 4 *(2-1)”。对于转换,有两个文本变量(字符串),输入和输出。还有一个堆栈可以让操作员尚未添加到输出队列中。为了转换,程序按顺序读取每个符号,并根据该符号做一些事情。上述例子的结果将是“3 4 +”或“3 4 2 1 - * +”。

分流码算法后来被推广到运算符优先级解析中。

的代码,因为它指出,这是不如何存储它(如果你没有像C - 采取从http://rosettacode.org/wiki/Parsing/Shunting-yard_algorithm你挑):

#include <sys/types.h> 
#include <regex.h> 
#include <stdio.h> 

typedef struct { 
    const char *s; 
    int len, prec, assoc; 
} str_tok_t; 

typedef struct { 
    const char * str; 
    int assoc, prec; 
    regex_t re; 
} pat_t; 

enum assoc { A_NONE, A_L, A_R }; 
pat_t pat_eos = {"", A_NONE, 0}; 

pat_t pat_ops[] = { 
    {"^\\)", A_NONE, -1}, 
    {"^\\*\\*", A_R, 3}, 
    {"^\\^", A_R, 3}, 
    {"^\\*", A_L, 2}, 
    {"^/",  A_L, 2}, 
    {"^\\+", A_L, 1}, 
    {"^-",  A_L, 1}, 
    {0} 
}; 

pat_t pat_arg[] = { 
    {"^[-+]?[0-9]*\\.?[0-9]+([eE][-+]?[0-9]+)?"}, 
    {"^[a-zA-Z_][a-zA-Z_0-9]*"}, 
    {"^\\(", A_L, -1}, 
    {0} 
}; 

str_tok_t stack[256]; /* assume these are big enough */ 
str_tok_t queue[256]; 
int l_queue, l_stack; 
#define qpush(x) queue[l_queue++] = x 
#define spush(x) stack[l_stack++] = x 
#define spop() stack[--l_stack] 

void display(const char *s) 
{ 
    int i; 
    printf("\033[1;1H\033[JText | %s", s); 
    printf("\nStack| "); 
    for (i = 0; i < l_stack; i++) 
     printf("%.*s ", stack[i].len, stack[i].s); // uses C99 format strings 
    printf("\nQueue| "); 
    for (i = 0; i < l_queue; i++) 
     printf("%.*s ", queue[i].len, queue[i].s); 
    puts("\n\n<press enter>"); 
    getchar(); 
} 

int prec_booster; 

#define fail(s1, s2) {fprintf(stderr, "[Error %s] %s\n", s1, s2); return 0;} 

int init(void) 
{ 
    int i; 
    pat_t *p; 

    for (i = 0, p = pat_ops; p[i].str; i++) 
     if (regcomp(&(p[i].re), p[i].str, REG_NEWLINE|REG_EXTENDED)) 
      fail("comp", p[i].str); 

    for (i = 0, p = pat_arg; p[i].str; i++) 
     if (regcomp(&(p[i].re), p[i].str, REG_NEWLINE|REG_EXTENDED)) 
      fail("comp", p[i].str); 

    return 1; 
} 

pat_t* match(const char *s, pat_t *p, str_tok_t * t, const char **e) 
{ 
    int i; 
    regmatch_t m; 

    while (*s == ' ') s++; 
    *e = s; 

    if (!*s) return &pat_eos; 

    for (i = 0; p[i].str; i++) { 
     if (regexec(&(p[i].re), s, 1, &m, REG_NOTEOL)) 
      continue; 
     t->s = s; 
     *e = s + (t->len = m.rm_eo - m.rm_so); 
     return p + i; 
    } 
    return 0; 
} 

int parse(const char *s) { 
    pat_t *p; 
    str_tok_t *t, tok; 

    prec_booster = l_queue = 0; 
    display(s); 
    while (*s) { 
     p = match(s, pat_arg, &tok, &s); 
     if (!p || p == &pat_eos) fail("parse arg", s); 

     /* Odd logic here. Don't actually stack the parens: don't need to. */ 
     if (p->prec == -1) { 
      prec_booster += 100; 
      continue; 
     } 
     qpush(tok); 
     display(s); 

re_op:  p = match(s, pat_ops, &tok, &s); 
     if (!p) fail("parse op", s); 

     tok.assoc = p->assoc; 
     tok.prec = p->prec; 

     if (p->prec > 0) 
      tok.prec = p->prec + prec_booster; 
     else if (p->prec == -1) { 
      if (prec_booster < 100) 
       fail("unmatched)", s); 
      tok.prec = prec_booster; 
     } 

     while (l_stack) { 
      t = stack + l_stack - 1; 
      if (!(t->prec == tok.prec && t->assoc == A_L) 
        && t->prec <= tok.prec) 
       break; 
      qpush(spop()); 
      display(s); 
     } 

     if (p->prec == -1) { 
      prec_booster -= 100; 
      goto re_op; 
     } 

     if (!p->prec) { 
      display(s); 
      if (prec_booster) 
       fail("unmatched (", s); 
      return 1; 
     } 

     spush(tok); 
     display(s); 
    } 

    return 1; 
} 

int main() 
{ 
    int i; 
    const char *tests[] = { 
     "3 + 4 * 2/(1 - 5)^2^3", /* RC mandated: OK */ 
     "123",     /* OK */ 
     "3+4 * 2/(1 - 5)^2^3.14", /* OK */ 
     "(((((((1+2+3**(4 + 5))))))",  /* bad parens */ 
     "a^(b + c/d * .1e5)!",   /* unknown op */ 
     "(1**2)**3",    /* OK */ 
     0 
    }; 

    if (!init()) return 1; 
    for (i = 0; tests[i]; i++) { 
     printf("Testing string `%s' <enter>\n", tests[i]); 
     getchar(); 

     printf("string `%s': %s\n\n", tests[i], 
      parse(tests[i]) ? "Ok" : "Error"); 
    } 

    return 0; 
} 
+4

这不是一种方法来存储一个AST,只有一种方法来“解决”一个 –