编译器：我应该读取整个文件进行扫描

Question

我正处于扫描阶段以构建编译器。我想知道在处理之前是否应该读取整个文件内容？我认为它应该会更好，因为我的编译器可能需要稍后进行一些优化（所以我不需要重新读取该文件）。但是如果输入程序有点大，可能需要很多内存才能保存文件内容。

需要一些更多的想法和讨论。

谢谢。

Answer 1

优化通常不需要对实际源代码进行第二次传递 - 您应该做的第一件事是对它进行标记并对标记版本进行操作。挂在源头上的原因是，如果你需要在你的错误信息中完全重现它，你可能不会这样做。

Answer 2

通常情况下，你首先想到的是一种词法分析，即将输入文件分成标记。然后你创建一个符号表和一个抽象语法树。任何优化或代码生成都可以在这些中间数据结构上工作，而不是在原始输入文件上。因此，我认为完全读取和缓冲输入文件没有意义。

Answer 3

优化将发生在Abstract Syntax Tree或稍后的一些中间表示上，而不是在源代码上。 AST绝对需要完全适应内存。源代码没有，因为它可以在运行中转换成AST。