gitweb.ps.run Git - toc/blob - antlr4-cpp-runtime-4.9.2-source/runtime/src/TokenFactory.h

   1 /* Copyright (c) 2012-2017 The ANTLR Project. All rights reserved.
   2  * Use of this file is governed by the BSD 3-clause license that
   3  * can be found in the LICENSE.txt file in the project root.
   4  */
   5
   6 #pragma once
   7
   8 #include "antlr4-common.h"
   9
  10 namespace antlr4 {
  11
  12   /// The default mechanism for creating tokens. It's used by default in Lexer and
  13   ///  the error handling strategy (to create missing tokens).  Notifying the parser
  14   ///  of a new factory means that it notifies it's token source and error strategy.
  15   template<typename Symbol>
  16   class ANTLR4CPP_PUBLIC TokenFactory {
  17   public:
  18     virtual ~TokenFactory() {}
  19
  20     /// This is the method used to create tokens in the lexer and in the
  21     /// error handling strategy. If text!=null, than the start and stop positions
  22     /// are wiped to -1 in the text override is set in the CommonToken.
  23     virtual std::unique_ptr<Symbol> create(std::pair<TokenSource *, CharStream *> source, size_t type, const std::string &text,
  24       size_t channel, size_t start, size_t stop, size_t line, size_t charPositionInLine) = 0;
  25
  26     /// Generically useful
  27     virtual std::unique_ptr<Symbol> create(size_t type, const std::string &text) = 0;
  28   };
  29
  30 } // namespace antlr4