登录社区云,与社区用户共同成长
邀请您加入社区
昇腾AI全栈学习指南:从基础架构到TensorFlow模型迁移与AI应用开发 在人工智能技术深度赋能各行业的当下,昇腾AI作为国内领先的人工智能基础软硬件平台,其全栈技术体系为开发者提供了从底层计算架构到上层应用开发的完整能力支撑。本文将围绕昇腾AI的知识体系,从基础架构认知、TensorFlow模型迁移训练到实际AI应用开发,全面解析昇腾AI的学习路径与实战方法,助力开发者快速掌握昇腾AI技术栈
将行存表的查询转换为向量化执行计划执行,提升复杂查询的执行性能。
MindSpore安装部署详细指南
DMS、DSS日志,DSS配置文件。xlog、pg_control、复制槽。磁阵LUN/注册信息、磁盘信息。
慢SQL诊断提供诊断慢SQL所需要的必要信息,帮助开发者回溯执行时间超过阈值的SQL,诊断SQL性能瓶颈。
通过对OLTP场景典型查询的定制化执行方案来提高查询性能。
鲲鹏NUMA架构优化,主要面向鲲鹏处理器架构特点、ARMv8指令集等,进行相应的系统优化,涉及到操作系统、软件架构、锁并发、日志、原子操作、Cache访问等一系列的多层次优化,从而大幅提升了openGauss数据库在鲲鹏平台上的处理性能。
025年11月14-15日,操作系统大会&openEuler Summit2025在北京中关村国际创新中心召开,多样化算力集群软件开源社区openFuyao携核心展台与Hands-on体验区的双重布局精彩亮相,累计吸引1000+行业伙伴、技术开发者驻足交流。Hands-on体验区以KV Cache感知的智能路由策略成为“技术打卡点”,200+人次开发者通过标准化工具一键完成策略部署与切换,直观的感
openGauss中提供的全文索引功能可以对文档进行预处理,并且可以使后续的搜索更快速。
资源池化备机可见性逻辑优化,本地缓存从主机获取到的事务xid对应的csn,减少网络开销和消息交互。资源池化主机获取集群oldestxmin逻辑优化,主机本地记录备机实时获取快照的xmin,备机定时发送本机的oldestxmin给主机,减少广播开销。资源池化备机获取快照逻辑优化,主机每次广播最新快照给备机,备机从本地获取快照,减少网络开销和消息交互。
通过线程池化技术来支撑数据库大并发稳定运行。
提供对导入数据的加密存储。
数据脱敏是行之有效的数据库隐私保护方案之一,可以在一定程度上限制非授权用户对隐私数据的窥探。动态数据脱敏机制是一种通过定制化制定脱敏策略从而实现对隐私数据保护的一种技术,可以有效地在保留原始数据的前提下解决非授权用户对敏感信息的访问问题。当管理员指定待脱敏对象和定制数据脱敏策略后,用户所查询的数据库资源如果关联到对应的脱敏策略时,则会根据用户身份和脱敏策略进行数据脱敏,从而限制非授权用户对隐私数据
支持备机延时回放。
本特性主要基于当前一主多备的架构,在此基础上,支持级联备机连接备机。
临时表顾名思义是不保证持久化的表,其生命周期一般跟session或者事务绑定,可以方便用于表达处理过程中的一些临时数据存放,加速查询。
审计机制是行之有效的安全管理方案,可有效解决攻击者抵赖,审计的范围越大,可监控的行为就越多,而产生的审计日志就越多,影响实际审计效率。统一审计机制是一种通过定制化制定审计策略而实现高效安全审计管理的一种技术。当管理员定义审计对象和审计行为后,用户执行的任务如果关联到对应的审计策略,则生成对应的审计行为,并记录审计日志。定制化审计策略可涵盖常见的用户管理活动,DDL和DML行为,满足日常审计诉求。
批处理作业中,在由于网络异常、锁冲突等出错情况下能够保证作业自动重试。
本特性实现了资源池化场景下适配gs_probackup工具,包括备份、恢复、验证等功能。
数据库资源是指数据库所记录的各类对象,包括数据库、模式、表、列、视图、触发器等,数据库对象越多,数据库资源的分类管理就越繁琐。资源标签机制是一种通过对具有某类相同“特征”的数据库资源进行分类标记而实现资源分类管理的一种技术。当管理员对数据库内某些资源“打上”标签后,可以基于该标签进行如审计或数据脱敏的管理操作,从而实现对标签所包含的所有数据库资源进行安全管理。
一般情况下,OLAP类业务场景(范围统计类查询和批量导入操作频繁,更新、删除、点查和点插操作不频繁,表的字段比较多,即大宽表,查询中涉及到的列不是很多)下,适合列存储,OLTP类业务场景(点查、点插、删除、更新频繁,范围统计类查询和批量导入操作不频繁,表的字段个数比较少,查询大部分字段)下,适合行存储。例如气象局的场景,单表有200~800个列,查询经常访问10个列,在类似这样的场景下,向量化执行
数据压缩是当前数据库采用的主要技术。数据类型不同,适用于它的压缩算法不同。对于相同类型的数据,其数据特征不同,采用不同的压缩算法达到的效果也不相同。自适应压缩正是从数据类型和数据特征出发,采用相应的压缩算法,实现了良好的压缩比、快速的入库性能以及良好的查询性能。
灰度升级支持全业务操作,一次性升级所有节点。
通过create index concurrently语法,以不阻塞DML的方式在线创建索引。
openGauss支持页面损坏的自动修复,在主机页面发生损坏时,能够自动从备机修复损坏页面。openGauss基于统一的事务机制,统一的日志系统,统一的并发控制系统,统一的元信息,统一缓存管理提供Table Access Method接口,支持不同的存储引擎。同时,如果按照主备模式部署,并打开备机可读功能后,备机将能够提供读操作,但不支持写操作(如建表、插入数据、删除数据等),从而缓解主机上的压力
全流程演示如何成为openGauss社区贡献者
DCF(Distributed Consensus Framework,分布式共识框架)基于Paxos算法实现数据同步强一致。DCF模式开关开启后,DN可以支持基于Paxos协议的复制与仲裁能力。
DCF模式开关开启后,数据库节点可以支持基于Paxos协议的复制与仲裁能力。数据库节点基于Paxos的自选主及日志复制,复制过程中支持压缩及流控,防止带宽占用过高。提供基于Paxos多种角色的节点类型,并能够进行调整。支持查询当前数据库实例的状态。
请参考硬件厂家的手册或互联网上的方法进行配置,其中Disk Cache Policy一项需要设置为Disabled,否则机器异常掉电后有数据丢失的风险。复杂的查询对内存的需求量比较高,在高并发场景下,可能出现内存不足。openGauss支持使用SSD盘作为数据库的主存储设备,但必须是SAS接口的SSD盘,以RAID的方式部署使用。主备网络如果配置bond,请保证bond模式一致,不一致的bond配
WDR报告提供数据库性能诊断报告,该报告基于基线性能数据和增量数据两个版本,从性能变化得到性能报告。
新增XGBoost、prophet、GBDT等高级且常用的算法套件,补充MADlib生态的不足。统一SQL到机器学习的技术栈,实现从数据管理到模型训练的SQL语句“一键驱动”。ABO优化器又叫做智能优化器,是指openGauss利用轻量级机器学习进行查询计划优化的特性。包括参数智能调优与诊断、慢SQL发现、索引推荐、时序预测、异常检测等,能够为用户提供更便捷的运维操作和性能提升,实现自调优、自监控
支持主机延迟进入最大可用模式。
openGauss支持unique SQL自动淘汰,使用LRU算法依据uniqueSQL的更新时间自动淘汰旧的uniqueSQL信息,保障最新的统计信息能够持续记录,提高数据库的易运维性。支持jsonb数据类型用来高效的操作JSON数据,支持对于json、jsonb的各种丰富的操作符、操作函数,支持在jsonb上创建索引,满足广泛的JSON使用与搜索场景。优化锁管理提供更高的并发度;备机上也支持开
行级访问控制特性将数据库访问控制精确到数据表行级别,使数据库达到行级访问控制的能力。不同用户执行相同的SQL查询操作,读取到的结果是不同的。
数据分区是在一个节点内部对数据按照用户指定的策略做进一步的水平分表,将表按照指定范围划分为多个数据互不重叠的部分。
在当前数据库中创建一个新的空白表,该表由命令执行者所有。在不同的数据库中可以存放相同的表。您可以使用CREATE TABLE语句创建表。
物化视图实际上就是一种特殊的物理表,物化视图是相对普通视图而言的。普通视图是虚拟表,应用的局限性较大,任何对视图的查询实际上都是转换为对SQL语句的查询,性能并没有实际上提高。而物化视图实际上就是存储SQL所执行语句的结果,起到缓存的效果。
透明数据加密(Transparent Data Encryption),是数据库在将数据写入存储介质时对数据进行加密,从存储介质中读取数据时自动解密,防止攻击者绕过数据库认证机制直接读取数据文件中的数据,以解决静态数据泄露问题。该功能对于应用层几乎透明无感知,用户可根据需要决定是否启用透明数据加密功能。
备机build备机加快备机故障的恢复。减小主机io和带宽压力。
在工业监控和远程控制、智慧城市的延展、智能家居、车联网等物联网场景下,传感监控设备多,采样率高,数据存储为追加模型,操作和分析并重的场景。大并发、大数据量、以联机事务处理为主的交易型应用,如电商、金融、O2O、电信CRM/计费等,应用可按需选择不同的主备部署模式。#openGauss #入门 #安装 #数据库 #开源。
openGauss提供向量化引擎,通常用在OLAP数据仓库类系统。主要是因为分析型系统通常是数据处理密集型,基本上都是采用顺序方式来访问表中大部分的数据,然后再进行计算,最后将计算结果输出给用户。
账本数据库特性,对用户指定的防篡改表增加校验信息,并记录用户对其数据的操作历史,通过数据和操作历史的一致性校验来保证用户数据无法被恶意篡改。在用户对防篡改表执行DML操作时,系统对防篡改表增加少量额外的行级校验信息,同时记录操作的SQL语句和数据的变化历史。通过特性提供的校验接口,用户可以方便的校验防篡改表中的数据与系统记录的操作信息是否一致。
这种查询的特征是只涉及单表和简单表达式的查询,因此为了加速这类查询,提出了SQL-BY-PASS框架,在parse层对这类查询做简单的模式判别后,进入到特殊的执行路径里,跳过经典的执行器执行框架,包括算子的初始化与执行、表达式与投影等经典框架,直接重写一套简洁的执行路径,并且直接调用存储接口,这样可以大大加速简单查询的执行速度。列表分区功能,即根据表的一列,将要插入表的记录中出现的键值分为若干个列
openGauss是集中式数据库系统,在这样的系统架构中,业务数据存储在单个物理节点上,数据访问任务被推送到服务节点执行,通过服务器的高并发,实现对数据处理的快速响应。管理和监控数据库系统中各个功能单元和物理资源的运行情况,确保整个系统的稳定运行。openGauss实例包含主、备两种类型,支持一主多备。openGauss实例通信,发送应用的SQL命令,接收。openGauss实例分散部署在不同的物
全局系统缓存(Global SysCache)是系统表数据的全局缓存和本地缓存。原理如图1所示。图 1Global SysCache原理图。
SQL PATCH能够在避免直接修改用户业务语句的前提下对查询执行的方式做一定调整。在发现查询语句的执行计划、执行方式未达预期的场景下,可以通过创建查询补丁的方式,使用Hint对查询计划进行调优或对特定的语句进行报错短路处理。
首先确认数据库端口号是否为26000,如果端口号无误,可能是没有启动数据库服务造成此报错。请执行如下命令启动数据库服务。
openGauss会把事务ID记在行头,在一个事务取得一行时,通过比较行头的事务ID和事务本身的ID判断这行是否可见,而事务ID是一个无符号整数,如果事务ID耗尽,事务ID会跨过整数的界限重新计算,此时原先可见的行就会变成不可见的行,为了避免这个问题,Freeze操作会将行头的事务标记为一个特殊的事务ID,标记了这个特殊的事务ID的行将对所有事务可见,以此避免事务ID耗尽产生的问题。然而,一个8位
openGauss的SMP并行技术是一种利用计算机多核CPU架构来实现多线程并行计算,以充分利用CPU资源来提高查询性能的技术。在复杂查询场景中,单个查询的执行较长,系统并发度低,通过SMP并行执行技术实现算子级的并行,能够有效减少查询执行时间,提升查询性能及资源利用率。SMP并行技术的整体实现思想是对于能够并行的查询算子,将数据分片,启动若干个工作线程分别计算,最后将结果汇总,返回前端。SMP并