产品功能

功能特性

Wali 数据中台提供完整的数据管理能力，从数据采集到处理再到访问， 为您的数据应用提供坚实的技术基础

多源数据采集
海量数据处理
统一数据访问

多源数据采集

强大的数据采集能力，支持从多个异构数据源实时采集和同步数据

技术特点

  • 支持主流关系型数据库（MySQL、PostgreSQL、Oracle、SQL Server）
  • 支持国产数据库（人大金仓、达梦、OceanBase）
  • 支持 NoSQL 数据库（MongoDB、Redis、Elasticsearch）
  • 支持文件系统和对象存储（本地文件、S3、OSS）
  • 自动化增量同步，支持实时和定时采集策略
  • 数据变更捕获（CDC）技术，确保数据实时性

典型使用场景

1
整合多个历史系统的数据到统一平台
2
实时同步业务数据库到数据仓库
3
从遗留系统迁移数据到新系统

海量数据处理

高性能的数据处理引擎，轻松应对 TB 级数据的清洗、转换和聚合需求

技术特点

  • 分布式计算架构，支持水平扩展
  • 内置丰富的数据转换算子（过滤、映射、聚合、关联）
  • 支持自定义数据处理逻辑和 UDF
  • 智能数据质量检查和异常数据处理
  • 支持批处理和流处理两种模式
  • 可视化数据处理流程配置

典型使用场景

1
大规模数据清洗和标准化
2
多源数据关联和融合
3
实时数据聚合和指标计算

统一数据访问

提供标准化的数据访问接口，简化应用开发和系统集成

技术特点

  • RESTful API 接口，支持标准 HTTP 协议
  • GraphQL 支持，灵活查询所需数据
  • JDBC/ODBC 驱动，兼容传统 SQL 工具
  • 统一的数据视图和虚拟表
  • 细粒度的权限控制和数据脱敏
  • API 限流和访问监控

典型使用场景

1
为前端应用提供统一的数据接口
2
支持 BI 工具直接连接查询
3
为第三方系统提供数据服务
部署方案

灵活的部署模式

根据业务规模和需求，选择最适合的部署方式，支持单机或分布式部署，灵活适应不同场景

单机部署
适合中小规模数据场景，快速部署，低成本运维

核心特性

  • 一键安装部署，5 分钟即可启动
  • 资源占用少，单台服务器即可运行
  • 适合数据量在 TB 级以内的场景
  • 支持 Docker 容器化部署
  • 本地化部署，数据完全可控

适用场景

1
中小企业数据中台建设
2
部门级数据管理平台
3
开发测试环境
4
数据安全要求高的场景

系统要求

CPU:
4 核及以上
内存:
8GB 及以上
存储:
100GB 及以上
操作系统:
Linux / Windows Server
分布式部署
适合大规模数据场景，高可用架构，弹性扩展

核心特性

  • 水平扩展，支持动态增减节点
  • 高可用设计，自动故障转移
  • 适合 PB 级数据处理需求
  • 支持 Kubernetes 编排
  • 多数据中心部署支持

适用场景

1
大型企业数据中台
2
集团级数据管理平台
3
高并发数据服务场景
4
海量数据处理需求

系统要求

CPU:
每节点 8 核及以上
内存:
每节点 16GB 及以上
存储:
分布式存储集群
操作系统:
Linux（推荐 CentOS / Ubuntu）

部署架构示意

清晰的架构设计，让部署更简单

单机部署架构

应用层
Web UI / API Gateway
处理层
数据采集 / 处理引擎
存储层
本地数据库 / 文件系统

分布式部署架构

负载均衡层
Nginx / HAProxy
节点 1
节点 2
节点 N
分布式存储
HDFS / Ceph / MinIO

技术架构

基于现代化技术栈，构建稳定可靠的数据中台

应用层

Web 管理界面、API 网关、数据服务接口

L4

服务层

数据采集服务、数据处理服务、元数据管理、权限控制

L3

计算层

流式处理引擎、批处理引擎、任务调度、资源管理

L2

存储层

关系型数据库、NoSQL、对象存储、分布式文件系统

L1

核心技术栈

基于业界领先的开源技术构建

开发框架
  • Java / Spring Boot
    核心服务框架
  • Python
    数据处理脚本
  • React / Vue.js
    管理界面
  • Node.js
    API 网关
数据存储
  • PostgreSQL / MySQL
    元数据存储
  • Redis
    缓存和消息队列
  • Elasticsearch
    全文检索
  • MinIO / S3
    对象存储
数据处理
  • Apache Flink
    流式处理
  • Apache Spark
    批量处理
  • Debezium
    CDC 数据捕获
  • Apache Kafka
    消息中间件
安全与监控
  • OAuth 2.0 / JWT
    身份认证
  • RBAC
    权限控制
  • Prometheus
    监控告警
  • ELK Stack
    日志分析

系统要求

灵活的部署环境支持

操作系统
  • Linux（推荐 CentOS 7+、Ubuntu 18.04+）
  • Windows Server 2016+
  • 支持 Docker 容器化部署
  • 支持 Kubernetes 编排
运行环境
  • JDK 11 或更高版本
  • Python 3.8 或更高版本
  • Node.js 16 或更高版本
  • Docker 20.10 或更高版本（可选）
数据库支持
  • MySQL 5.7+ / PostgreSQL 12+
  • Oracle 11g+ / SQL Server 2016+
  • 人大金仓 V8+ / 达梦 DM8+
  • OceanBase / TiDB
网络要求
  • 支持 HTTP/HTTPS 协议
  • 支持 WebSocket 长连接
  • 建议千兆网络环境
  • 支持内网和公网部署

兼容性说明

国
国产化支持
全面支持国产操作系统（麒麟、统信 UOS）和国产数据库
云
云平台兼容
支持阿里云、腾讯云、华为云等主流云平台部署
容
容器化部署
提供 Docker 镜像和 Kubernetes Helm Charts
升
版本升级
支持平滑升级，向后兼容历史版本数据