_postgres_builtins.py 13 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739
  1. """
  2. pygments.lexers._postgres_builtins
  3. ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  4. Self-updating data files for PostgreSQL lexer.
  5. Run with `python -I` to update itself.
  6. :copyright: Copyright 2006-2024 by the Pygments team, see AUTHORS.
  7. :license: BSD, see LICENSE for details.
  8. """
  9. # Autogenerated: please edit them if you like wasting your time.
  10. KEYWORDS = (
  11. 'ABORT',
  12. 'ABSOLUTE',
  13. 'ACCESS',
  14. 'ACTION',
  15. 'ADD',
  16. 'ADMIN',
  17. 'AFTER',
  18. 'AGGREGATE',
  19. 'ALL',
  20. 'ALSO',
  21. 'ALTER',
  22. 'ALWAYS',
  23. 'ANALYSE',
  24. 'ANALYZE',
  25. 'AND',
  26. 'ANY',
  27. 'ARRAY',
  28. 'AS',
  29. 'ASC',
  30. 'ASENSITIVE',
  31. 'ASSERTION',
  32. 'ASSIGNMENT',
  33. 'ASYMMETRIC',
  34. 'AT',
  35. 'ATOMIC',
  36. 'ATTACH',
  37. 'ATTRIBUTE',
  38. 'AUTHORIZATION',
  39. 'BACKWARD',
  40. 'BEFORE',
  41. 'BEGIN',
  42. 'BETWEEN',
  43. 'BIGINT',
  44. 'BINARY',
  45. 'BIT',
  46. 'BOOLEAN',
  47. 'BOTH',
  48. 'BREADTH',
  49. 'BY',
  50. 'CACHE',
  51. 'CALL',
  52. 'CALLED',
  53. 'CASCADE',
  54. 'CASCADED',
  55. 'CASE',
  56. 'CAST',
  57. 'CATALOG',
  58. 'CHAIN',
  59. 'CHAR',
  60. 'CHARACTER',
  61. 'CHARACTERISTICS',
  62. 'CHECK',
  63. 'CHECKPOINT',
  64. 'CLASS',
  65. 'CLOSE',
  66. 'CLUSTER',
  67. 'COALESCE',
  68. 'COLLATE',
  69. 'COLLATION',
  70. 'COLUMN',
  71. 'COLUMNS',
  72. 'COMMENT',
  73. 'COMMENTS',
  74. 'COMMIT',
  75. 'COMMITTED',
  76. 'COMPRESSION',
  77. 'CONCURRENTLY',
  78. 'CONFIGURATION',
  79. 'CONFLICT',
  80. 'CONNECTION',
  81. 'CONSTRAINT',
  82. 'CONSTRAINTS',
  83. 'CONTENT',
  84. 'CONTINUE',
  85. 'CONVERSION',
  86. 'COPY',
  87. 'COST',
  88. 'CREATE',
  89. 'CROSS',
  90. 'CSV',
  91. 'CUBE',
  92. 'CURRENT',
  93. 'CURRENT_CATALOG',
  94. 'CURRENT_DATE',
  95. 'CURRENT_ROLE',
  96. 'CURRENT_SCHEMA',
  97. 'CURRENT_TIME',
  98. 'CURRENT_TIMESTAMP',
  99. 'CURRENT_USER',
  100. 'CURSOR',
  101. 'CYCLE',
  102. 'DATA',
  103. 'DATABASE',
  104. 'DAY',
  105. 'DEALLOCATE',
  106. 'DEC',
  107. 'DECIMAL',
  108. 'DECLARE',
  109. 'DEFAULT',
  110. 'DEFAULTS',
  111. 'DEFERRABLE',
  112. 'DEFERRED',
  113. 'DEFINER',
  114. 'DELETE',
  115. 'DELIMITER',
  116. 'DELIMITERS',
  117. 'DEPENDS',
  118. 'DEPTH',
  119. 'DESC',
  120. 'DETACH',
  121. 'DICTIONARY',
  122. 'DISABLE',
  123. 'DISCARD',
  124. 'DISTINCT',
  125. 'DO',
  126. 'DOCUMENT',
  127. 'DOMAIN',
  128. 'DOUBLE',
  129. 'DROP',
  130. 'EACH',
  131. 'ELSE',
  132. 'ENABLE',
  133. 'ENCODING',
  134. 'ENCRYPTED',
  135. 'END',
  136. 'ENUM',
  137. 'ESCAPE',
  138. 'EVENT',
  139. 'EXCEPT',
  140. 'EXCLUDE',
  141. 'EXCLUDING',
  142. 'EXCLUSIVE',
  143. 'EXECUTE',
  144. 'EXISTS',
  145. 'EXPLAIN',
  146. 'EXPRESSION',
  147. 'EXTENSION',
  148. 'EXTERNAL',
  149. 'EXTRACT',
  150. 'FALSE',
  151. 'FAMILY',
  152. 'FETCH',
  153. 'FILTER',
  154. 'FINALIZE',
  155. 'FIRST',
  156. 'FLOAT',
  157. 'FOLLOWING',
  158. 'FOR',
  159. 'FORCE',
  160. 'FOREIGN',
  161. 'FORWARD',
  162. 'FREEZE',
  163. 'FROM',
  164. 'FULL',
  165. 'FUNCTION',
  166. 'FUNCTIONS',
  167. 'GENERATED',
  168. 'GLOBAL',
  169. 'GRANT',
  170. 'GRANTED',
  171. 'GREATEST',
  172. 'GROUP',
  173. 'GROUPING',
  174. 'GROUPS',
  175. 'HANDLER',
  176. 'HAVING',
  177. 'HEADER',
  178. 'HOLD',
  179. 'HOUR',
  180. 'IDENTITY',
  181. 'IF',
  182. 'ILIKE',
  183. 'IMMEDIATE',
  184. 'IMMUTABLE',
  185. 'IMPLICIT',
  186. 'IMPORT',
  187. 'IN',
  188. 'INCLUDE',
  189. 'INCLUDING',
  190. 'INCREMENT',
  191. 'INDEX',
  192. 'INDEXES',
  193. 'INHERIT',
  194. 'INHERITS',
  195. 'INITIALLY',
  196. 'INLINE',
  197. 'INNER',
  198. 'INOUT',
  199. 'INPUT',
  200. 'INSENSITIVE',
  201. 'INSERT',
  202. 'INSTEAD',
  203. 'INT',
  204. 'INTEGER',
  205. 'INTERSECT',
  206. 'INTERVAL',
  207. 'INTO',
  208. 'INVOKER',
  209. 'IS',
  210. 'ISNULL',
  211. 'ISOLATION',
  212. 'JOIN',
  213. 'KEY',
  214. 'LABEL',
  215. 'LANGUAGE',
  216. 'LARGE',
  217. 'LAST',
  218. 'LATERAL',
  219. 'LEADING',
  220. 'LEAKPROOF',
  221. 'LEAST',
  222. 'LEFT',
  223. 'LEVEL',
  224. 'LIKE',
  225. 'LIMIT',
  226. 'LISTEN',
  227. 'LOAD',
  228. 'LOCAL',
  229. 'LOCALTIME',
  230. 'LOCALTIMESTAMP',
  231. 'LOCATION',
  232. 'LOCK',
  233. 'LOCKED',
  234. 'LOGGED',
  235. 'MAPPING',
  236. 'MATCH',
  237. 'MATERIALIZED',
  238. 'MAXVALUE',
  239. 'METHOD',
  240. 'MINUTE',
  241. 'MINVALUE',
  242. 'MODE',
  243. 'MONTH',
  244. 'MOVE',
  245. 'NAME',
  246. 'NAMES',
  247. 'NATIONAL',
  248. 'NATURAL',
  249. 'NCHAR',
  250. 'NEW',
  251. 'NEXT',
  252. 'NFC',
  253. 'NFD',
  254. 'NFKC',
  255. 'NFKD',
  256. 'NO',
  257. 'NONE',
  258. 'NORMALIZE',
  259. 'NORMALIZED',
  260. 'NOT',
  261. 'NOTHING',
  262. 'NOTIFY',
  263. 'NOTNULL',
  264. 'NOWAIT',
  265. 'NULL',
  266. 'NULLIF',
  267. 'NULLS',
  268. 'NUMERIC',
  269. 'OBJECT',
  270. 'OF',
  271. 'OFF',
  272. 'OFFSET',
  273. 'OIDS',
  274. 'OLD',
  275. 'ON',
  276. 'ONLY',
  277. 'OPERATOR',
  278. 'OPTION',
  279. 'OPTIONS',
  280. 'OR',
  281. 'ORDER',
  282. 'ORDINALITY',
  283. 'OTHERS',
  284. 'OUT',
  285. 'OUTER',
  286. 'OVER',
  287. 'OVERLAPS',
  288. 'OVERLAY',
  289. 'OVERRIDING',
  290. 'OWNED',
  291. 'OWNER',
  292. 'PARALLEL',
  293. 'PARSER',
  294. 'PARTIAL',
  295. 'PARTITION',
  296. 'PASSING',
  297. 'PASSWORD',
  298. 'PLACING',
  299. 'PLANS',
  300. 'POLICY',
  301. 'POSITION',
  302. 'PRECEDING',
  303. 'PRECISION',
  304. 'PREPARE',
  305. 'PREPARED',
  306. 'PRESERVE',
  307. 'PRIMARY',
  308. 'PRIOR',
  309. 'PRIVILEGES',
  310. 'PROCEDURAL',
  311. 'PROCEDURE',
  312. 'PROCEDURES',
  313. 'PROGRAM',
  314. 'PUBLICATION',
  315. 'QUOTE',
  316. 'RANGE',
  317. 'READ',
  318. 'REAL',
  319. 'REASSIGN',
  320. 'RECHECK',
  321. 'RECURSIVE',
  322. 'REF',
  323. 'REFERENCES',
  324. 'REFERENCING',
  325. 'REFRESH',
  326. 'REINDEX',
  327. 'RELATIVE',
  328. 'RELEASE',
  329. 'RENAME',
  330. 'REPEATABLE',
  331. 'REPLACE',
  332. 'REPLICA',
  333. 'RESET',
  334. 'RESTART',
  335. 'RESTRICT',
  336. 'RETURN',
  337. 'RETURNING',
  338. 'RETURNS',
  339. 'REVOKE',
  340. 'RIGHT',
  341. 'ROLE',
  342. 'ROLLBACK',
  343. 'ROLLUP',
  344. 'ROUTINE',
  345. 'ROUTINES',
  346. 'ROW',
  347. 'ROWS',
  348. 'RULE',
  349. 'SAVEPOINT',
  350. 'SCHEMA',
  351. 'SCHEMAS',
  352. 'SCROLL',
  353. 'SEARCH',
  354. 'SECOND',
  355. 'SECURITY',
  356. 'SELECT',
  357. 'SEQUENCE',
  358. 'SEQUENCES',
  359. 'SERIALIZABLE',
  360. 'SERVER',
  361. 'SESSION',
  362. 'SESSION_USER',
  363. 'SET',
  364. 'SETOF',
  365. 'SETS',
  366. 'SHARE',
  367. 'SHOW',
  368. 'SIMILAR',
  369. 'SIMPLE',
  370. 'SKIP',
  371. 'SMALLINT',
  372. 'SNAPSHOT',
  373. 'SOME',
  374. 'SQL',
  375. 'STABLE',
  376. 'STANDALONE',
  377. 'START',
  378. 'STATEMENT',
  379. 'STATISTICS',
  380. 'STDIN',
  381. 'STDOUT',
  382. 'STORAGE',
  383. 'STORED',
  384. 'STRICT',
  385. 'STRIP',
  386. 'SUBSCRIPTION',
  387. 'SUBSTRING',
  388. 'SUPPORT',
  389. 'SYMMETRIC',
  390. 'SYSID',
  391. 'SYSTEM',
  392. 'TABLE',
  393. 'TABLES',
  394. 'TABLESAMPLE',
  395. 'TABLESPACE',
  396. 'TEMP',
  397. 'TEMPLATE',
  398. 'TEMPORARY',
  399. 'TEXT',
  400. 'THEN',
  401. 'TIES',
  402. 'TIME',
  403. 'TIMESTAMP',
  404. 'TO',
  405. 'TRAILING',
  406. 'TRANSACTION',
  407. 'TRANSFORM',
  408. 'TREAT',
  409. 'TRIGGER',
  410. 'TRIM',
  411. 'TRUE',
  412. 'TRUNCATE',
  413. 'TRUSTED',
  414. 'TYPE',
  415. 'TYPES',
  416. 'UESCAPE',
  417. 'UNBOUNDED',
  418. 'UNCOMMITTED',
  419. 'UNENCRYPTED',
  420. 'UNION',
  421. 'UNIQUE',
  422. 'UNKNOWN',
  423. 'UNLISTEN',
  424. 'UNLOGGED',
  425. 'UNTIL',
  426. 'UPDATE',
  427. 'USER',
  428. 'USING',
  429. 'VACUUM',
  430. 'VALID',
  431. 'VALIDATE',
  432. 'VALIDATOR',
  433. 'VALUE',
  434. 'VALUES',
  435. 'VARCHAR',
  436. 'VARIADIC',
  437. 'VARYING',
  438. 'VERBOSE',
  439. 'VERSION',
  440. 'VIEW',
  441. 'VIEWS',
  442. 'VOLATILE',
  443. 'WHEN',
  444. 'WHERE',
  445. 'WHITESPACE',
  446. 'WINDOW',
  447. 'WITH',
  448. 'WITHIN',
  449. 'WITHOUT',
  450. 'WORK',
  451. 'WRAPPER',
  452. 'WRITE',
  453. 'XML',
  454. 'XMLATTRIBUTES',
  455. 'XMLCONCAT',
  456. 'XMLELEMENT',
  457. 'XMLEXISTS',
  458. 'XMLFOREST',
  459. 'XMLNAMESPACES',
  460. 'XMLPARSE',
  461. 'XMLPI',
  462. 'XMLROOT',
  463. 'XMLSERIALIZE',
  464. 'XMLTABLE',
  465. 'YEAR',
  466. 'YES',
  467. 'ZONE',
  468. )
  469. DATATYPES = (
  470. 'bigint',
  471. 'bigserial',
  472. 'bit',
  473. 'bit varying',
  474. 'bool',
  475. 'boolean',
  476. 'box',
  477. 'bytea',
  478. 'char',
  479. 'character',
  480. 'character varying',
  481. 'cidr',
  482. 'circle',
  483. 'date',
  484. 'decimal',
  485. 'double precision',
  486. 'float4',
  487. 'float8',
  488. 'inet',
  489. 'int',
  490. 'int2',
  491. 'int4',
  492. 'int8',
  493. 'integer',
  494. 'interval',
  495. 'json',
  496. 'jsonb',
  497. 'line',
  498. 'lseg',
  499. 'macaddr',
  500. 'macaddr8',
  501. 'money',
  502. 'numeric',
  503. 'path',
  504. 'pg_lsn',
  505. 'pg_snapshot',
  506. 'point',
  507. 'polygon',
  508. 'real',
  509. 'serial',
  510. 'serial2',
  511. 'serial4',
  512. 'serial8',
  513. 'smallint',
  514. 'smallserial',
  515. 'text',
  516. 'time',
  517. 'timestamp',
  518. 'timestamptz',
  519. 'timetz',
  520. 'tsquery',
  521. 'tsvector',
  522. 'txid_snapshot',
  523. 'uuid',
  524. 'varbit',
  525. 'varchar',
  526. 'with time zone',
  527. 'without time zone',
  528. 'xml',
  529. )
  530. PSEUDO_TYPES = (
  531. 'any',
  532. 'anyarray',
  533. 'anycompatible',
  534. 'anycompatiblearray',
  535. 'anycompatiblemultirange',
  536. 'anycompatiblenonarray',
  537. 'anycompatiblerange',
  538. 'anyelement',
  539. 'anyenum',
  540. 'anymultirange',
  541. 'anynonarray',
  542. 'anyrange',
  543. 'cstring',
  544. 'event_trigger',
  545. 'fdw_handler',
  546. 'index_am_handler',
  547. 'internal',
  548. 'language_handler',
  549. 'pg_ddl_command',
  550. 'record',
  551. 'table_am_handler',
  552. 'trigger',
  553. 'tsm_handler',
  554. 'unknown',
  555. 'void',
  556. )
  557. # Remove 'trigger' from types
  558. PSEUDO_TYPES = tuple(sorted(set(PSEUDO_TYPES) - set(map(str.lower, KEYWORDS))))
  559. PLPGSQL_KEYWORDS = (
  560. 'ALIAS', 'CONSTANT', 'DIAGNOSTICS', 'ELSIF', 'EXCEPTION', 'EXIT',
  561. 'FOREACH', 'GET', 'LOOP', 'NOTICE', 'OPEN', 'PERFORM', 'QUERY', 'RAISE',
  562. 'RETURN', 'REVERSE', 'SQLSTATE', 'WHILE',
  563. )
  564. # Most of these keywords are from ExplainNode function
  565. # in src/backend/commands/explain.c
  566. EXPLAIN_KEYWORDS = (
  567. 'Aggregate',
  568. 'Append',
  569. 'Bitmap Heap Scan',
  570. 'Bitmap Index Scan',
  571. 'BitmapAnd',
  572. 'BitmapOr',
  573. 'CTE Scan',
  574. 'Custom Scan',
  575. 'Delete',
  576. 'Foreign Scan',
  577. 'Function Scan',
  578. 'Gather Merge',
  579. 'Gather',
  580. 'Group',
  581. 'GroupAggregate',
  582. 'Hash Join',
  583. 'Hash',
  584. 'HashAggregate',
  585. 'Incremental Sort',
  586. 'Index Only Scan',
  587. 'Index Scan',
  588. 'Insert',
  589. 'Limit',
  590. 'LockRows',
  591. 'Materialize',
  592. 'Memoize',
  593. 'Merge Append',
  594. 'Merge Join',
  595. 'Merge',
  596. 'MixedAggregate',
  597. 'Named Tuplestore Scan',
  598. 'Nested Loop',
  599. 'ProjectSet',
  600. 'Recursive Union',
  601. 'Result',
  602. 'Sample Scan',
  603. 'Seq Scan',
  604. 'SetOp',
  605. 'Sort',
  606. 'SubPlan',
  607. 'Subquery Scan',
  608. 'Table Function Scan',
  609. 'Tid Range Scan',
  610. 'Tid Scan',
  611. 'Unique',
  612. 'Update',
  613. 'Values Scan',
  614. 'WindowAgg',
  615. 'WorkTable Scan',
  616. )
  617. if __name__ == '__main__': # pragma: no cover
  618. import re
  619. from urllib.request import urlopen
  620. from pygments.util import format_lines
  621. # One man's constant is another man's variable.
  622. SOURCE_URL = 'https://github.com/postgres/postgres/raw/master'
  623. KEYWORDS_URL = SOURCE_URL + '/src/include/parser/kwlist.h'
  624. DATATYPES_URL = SOURCE_URL + '/doc/src/sgml/datatype.sgml'
  625. def update_myself():
  626. content = urlopen(DATATYPES_URL).read().decode('utf-8', errors='ignore')
  627. data_file = list(content.splitlines())
  628. datatypes = parse_datatypes(data_file)
  629. pseudos = parse_pseudos(data_file)
  630. content = urlopen(KEYWORDS_URL).read().decode('utf-8', errors='ignore')
  631. keywords = parse_keywords(content)
  632. update_consts(__file__, 'DATATYPES', datatypes)
  633. update_consts(__file__, 'PSEUDO_TYPES', pseudos)
  634. update_consts(__file__, 'KEYWORDS', keywords)
  635. def parse_keywords(f):
  636. kw = []
  637. for m in re.finditer(r'PG_KEYWORD\("(.+?)"', f):
  638. kw.append(m.group(1).upper())
  639. if not kw:
  640. raise ValueError('no keyword found')
  641. kw.sort()
  642. return kw
  643. def parse_datatypes(f):
  644. dt = set()
  645. for line in f:
  646. if '<sect1' in line:
  647. break
  648. if '<entry><type>' not in line:
  649. continue
  650. # Parse a string such as
  651. # time [ (<replaceable>p</replaceable>) ] [ without time zone ]
  652. # into types "time" and "without time zone"
  653. # remove all the tags
  654. line = re.sub("<replaceable>[^<]+</replaceable>", "", line)
  655. line = re.sub("<[^>]+>", "", line)
  656. # Drop the parts containing braces
  657. for tmp in [t for tmp in line.split('[')
  658. for t in tmp.split(']') if "(" not in t]:
  659. for t in tmp.split(','):
  660. t = t.strip()
  661. if not t:
  662. continue
  663. dt.add(" ".join(t.split()))
  664. dt = list(dt)
  665. dt.sort()
  666. return dt
  667. def parse_pseudos(f):
  668. dt = []
  669. re_start = re.compile(r'\s*<table id="datatype-pseudotypes-table">')
  670. re_entry = re.compile(r'\s*<entry><type>(.+?)</type></entry>')
  671. re_end = re.compile(r'\s*</table>')
  672. f = iter(f)
  673. for line in f:
  674. if re_start.match(line) is not None:
  675. break
  676. else:
  677. raise ValueError('pseudo datatypes table not found')
  678. for line in f:
  679. m = re_entry.match(line)
  680. if m is not None:
  681. dt.append(m.group(1))
  682. if re_end.match(line) is not None:
  683. break
  684. else:
  685. raise ValueError('end of pseudo datatypes table not found')
  686. if not dt:
  687. raise ValueError('pseudo datatypes not found')
  688. dt.sort()
  689. return dt
  690. def update_consts(filename, constname, content):
  691. with open(filename, encoding='utf-8') as f:
  692. data = f.read()
  693. # Line to start/end inserting
  694. re_match = re.compile(rf'^{constname}\s*=\s*\($.*?^\s*\)$', re.M | re.S)
  695. m = re_match.search(data)
  696. if not m:
  697. raise ValueError(f'Could not find existing definition for {constname}')
  698. new_block = format_lines(constname, content)
  699. data = data[:m.start()] + new_block + data[m.end():]
  700. with open(filename, 'w', encoding='utf-8', newline='\n') as f:
  701. f.write(data)
  702. update_myself()