Table of Contents

• •  openGauss学习笔记-307 openGauss AI特性-DB4AI数据库驱动AI-全流程AI-PLPython Fenced模式
  •  307.1 PLPython Fenced模式
  • •  307.1.1 使用指导

openGauss学习笔记-307 openGauss AI特性-DB4AI数据库驱动AI-全流程AI-PLPython Fenced模式

传统的AI任务往往具有多个流程，如数据的收集过程包括数据的采集、数据清洗、数据存储等，在算法的训练过程中又包括数据的预处理、训练、模型的保存与管理等。其中，对于模型的训练过程，又包括超参数的调优过程。诸如此类机器学习模型生命周期的全过程，可大量集成于数据库内部。在距离数据存储侧最近处进行模型的训练、管理、优化等流程，在数据库端提供SQL语句式的开箱即用的AI全声明周期管理的功能，称之为全流程AI.

openGauss实现了部分全流程AI的功能，将在本章节中详细展开。

307.1 PLPython Fenced模式

在fenced模式中添加plpython非安全语言。在数据库编译时需要将python集成进数据库中，在configure阶段加入–with-python选项。同时也可指定安装plpython的python路径，添加选项–with-includes=‘/python-dir=path’。

在启动数据库之前配置GUC参数unix_socket_directory ，指定unix_socket进程间通讯的文件地址。用户需要提前在user-set-dir-path下创建文件夹，并将文件夹权限修改为可读可写可执行状态。

unix_socket_directory = '/user-set-dir-path'

配置完成，启动数据库。

将plpython加入数据库编译，并设置好GUC参数unix_socket_directory后，在启动数据库的过程中，自动创建fenced-Master进程。在数据库不进行python编译的情况下，fenced模式需要手动拉起master进程，在GUC参数设置完成后，输入创建master进程命令。

启动fenced-Master进程，命令为：

gaussdb--fenced -k /user-set-dir-path -D /user-set-dir-path &

完成fence模式配置，针对plpython-fenced UDF数据库将在fenced-worker进程中执行UDF计算。

307.1.1 使用指导

• 创建Extension

  • 当编译的plpython为python2时：

    登录后复制

    openGauss=# create Extension plpythonu;
    CREATE Extension
    

    • 1.
    • 2.

  • 当编译的plpython为python3时：

    登录后复制

    openGauss=# create Extension plpython3u;
    CREATE Extension
    

    • 1.
    • 2.

  下面示例是以python2为例。

• 创建plpython-fenced UDF

  登录后复制

  openGauss=# create or replace function pymax(a int, b int)
  openGauss-# returns INT
  openGauss-# language plpythonu fenced
  openGauss-# as $$
  openGauss$# import numpy
  openGauss$# if a > b:
  openGauss$#     return a;
  openGauss$# else:
  openGauss$#     return b;
  openGauss$# $$;
  CREATE FUNCTION
  

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.

• 查看UDF信息

  登录后复制

  openGauss=# select * from pg_proc where proname='pymax';
  -[ RECORD 1 ]----+--------------
  proname          | pymax
  pronamespace     | 2200
  proowner         | 10
  prolang          | 16388
  procost          | 100
  prorows          | 0
  provariadic      | 0
  protransform     | -
  proisagg         | f
  proiswindow      | f
  prosecdef        | f
  proleakproof     | f
  proisstrict      | f
  proretset        | f
  provolatile      | v
  pronargs         | 2
  pronargdefaults  | 0
  prorettype       | 23
  proargtypes      | 23 23
  proallargtypes   |
  proargmodes      |
  proargnames      | {a,b}
  proargdefaults   |
  prosrc           |
                   | import numpy
                   | if a > b:
                   |     return a;
                   | else:
                   |     return b;
                   |
  probin           |
  proconfig        |
  proacl           |
  prodefaultargpos |
  fencedmode       | t
  proshippable     | f
  propackage       | f
  prokind          | f
  proargsrc        |
  

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.

• 运行UDF

  • 创建一个数据表：

    登录后复制

    openGauss=# create table temp (a int ,b int) ;
    CREATE TABLE
    openGauss=# insert into temp values (1,2),(2,3),(3,4),(4,5),(5,6);
    INSERT 0 5
    

    • 1.
    • 2.
    • 3.
    • 4.

  • 运行UDF：

    登录后复制

    openGauss=# select pymax(a,b) from temp;pymax
    -------
         2
         3
         4
         5
         6
    (5 rows)
    

    • 1.
    • 2.
    • 3.
    • 4.
    • 5.
    • 6.
    • 7.
    • 8.
    • 9.

👍 点赞，你的认可是我创作的动力！

⭐️ 收藏，你的青睐是我努力的方向！

✏️ 评论，你的意见是我进步的财富！