针对图像处理、语音识别、自然语言处理等深度学习场景下，需要搭建大规模的GPU集群，针对不同的算法模型、不同的深度学习框架，用户如何统一调度与管理GPU集群的计算资源、存储资源，分配给不同的租户使用，是需要解决的问题。
对于TensorFlow、Caffe、MxNet等深度学习框架，如何快速部署，提供开发镜像环境，满足不同用户在不同场景下的框架需求、算法需求与开发需求，也是数据科学家难以逾越的一道门槛。
面对不同用户同时进行模型训练、在线推理，采用什么策略对各个任务进行调度，是抢占模式还是先出，以及每个训练任务利用哪个GPU加速卡，每个卡的运行状态如何，都需要统一的监控与管理。
针对以上问题，为用户提供一体化的软硬件部署和管理服务，减少系统安装维护工作量；优化分布式训练部署模型，实现多机多卡GPU资源与训练作业灵活调度；提供丰富的可自定义软件和镜像库，充分满足客户对AI计算环境的需求。
• 灵活的资源调度机制：提供强大的资源调度策略，以及资源实时监控，使企业可以有效、合理的使用各种计算资源。
• 完善的API接口服务：系统所有核心业务，都对外提供完善的API接口，用户可以通过这些接口，实现人工智能平台服务与用户已有SaaS平台的深度集成。
• 灵活的权限管理策略：系统通过对人员角色权限的划分，以及资源的使用规划，使得平台中不同的用户的计算资源都能很好的隔离，满足企业对权限管理的各种要求。
• 丰富的性能监控服务：AIOS平台提供完善的性能监控服务，能实时监控系统所有服务的健康状况和硬件/网络利用率情况，并针对各种日常运维工作，提供可视化的操作界面，提高系统运维管理者的工作效率。
特性及优势
AIOS平台为用户提供了强大的全流程可视化管理平台：交互学习平台，集群管理平台，性能监控平台，审计平台这四大模块又同时对外提供丰富的接口组件，使得用户既可以通过我们的平台进行常规业务操作，又可以利用我们提供的接口组件，将核心服务集成到自己现有系统中。
AIOS平台提供了一系列的函数库，方便用户在建模编写脚本的过程中，快速调用这些函数而无需关心这些业务无关的技术细节；同时我们在系统不同功能模块中，提供了不同的工作集，方便用户在具体场景中快速操作。所有这些，都大大加速了用户在开发人工智能解决方案时的速度。
统一的集群管理：负责整个系统计算资源的集中管理、统一分配与作业调度，包括GPU资源池的集中管理与分配、多租户方式隔离计算资源、以作业方式动态分配计算资源以及计算资源回收等。
统一的监控运维：实时监控管理集群资源使用情况和集群状态，包括作业状态、GPU使用率、集群健康度等，并分析每一类的资源占用情况，提供触发预警机制。
统一的开发环境：支持拖拽式和编码式建模，提供一站式的交互开发操作界面，帮助用户完成模型脚本在线编辑、模型训练、模型验证以及模型推理等核心功能，并结合硬件资源可视化、作业调度器，提高系统硬件资源的利用率。
产品功能特性
资源管理服务：系统提供完备的资源管理平台，对所有计算资源进行集中管理，通过该平台，可以实现对各类资源的状态查询以及相关维护操作。
任务流建模：任务流建模是整个建模过程的核心，用户可以利用平台提供的标准化组件进行无编码式的建模，也可以通过平台提供的各类框架运行组件，编写自定义脚本进行建模训练。
实时日志：用户在训练过程中，可以打开实时日志查看功能，实时查看训练过程中输出的日志。
在线脚本编辑服务：
平台为了方便用户更好更快速的修改自己的建模脚本，在任务流界面提供文件管理功能，方便用户及时找到自己的脚本，并进行在线脚本编辑。
在线文件管理支持用户浏览自己的整个文件空间，并支持图像预览、在线编辑编辑，全屏脚本编辑等操作。
在线推理服务
人工智能计算平台模型训练的目的是为了训练出符合要求的模型，而在线预测才是让模型产生价值的地方。平台提供通用推理镜像服务，支持将主流模型文件部署为在线服务，并提供统一的模型接入规范，支持多种模式格式。
同时，平台在线推理服务支持推理接口的在线预测功能，以及模型推理服务的多实例部署。
系统构架
的前后台分离架构
在以前传统的网站开发中，前端一般扮演的只是切图的工作，只是简单地将UI设计师提供的原型图实现成静态的HTML页面，而具体的页面交互逻辑，比如与后台的数据交互工作等，可能都是由后台的开发人员来实现的，或者是前端是紧紧的耦合后台。导致后台的开发压力大大增加，前后端工作分配不均。不仅仅开发效率慢，而且代码难以维护。AIOS采用的前后端分离架构，很好的解决前后端分工不均，开发过程相互依赖，bug难以定位等诸多问题。将更多的用户交互逻辑由前端专职处理，而后端则可以专注于数据处理，业务权限控制等，前后端通过标准的restful接口实现数据交互。
后端专注于：服务层 & 数据访问层 & 权限控制；
前端专注于：页面展现（视图层）& 交互逻辑；
的微服务架构
AIOS采用kubernetes+docker+rabbitmq的微服务架构模式，利用kubernetes实现高可用的集群环境，以及统一的资源调度，配合docker容器技术实现多租户资源隔离，由rabbitmq实现分布式消息处理。为平台展现层提供强大的内核支撑，平台采用的微服务架构模式有以下特点：· 服务高度自治，集中管理；
· 复杂业务得到拆分，易于维护；
· 高度灵活易于拓展；
灵活的多层级资源分配机制
平台使用NFS（Network File System）实现统一的网络文件存储系统，极大简化了平台部署的复杂性，提高了公共文件资源的利用率。再结合linux多用户多任务的系统特性，实现文件存储资源的多租户资源隔离。平台为了解决不同用户群体在资源使用上的多样性和特殊性，首先在集群的节点管理上提供分区管理功能，即将集群中的所有服务器节划分为若干个区域；其次针对不同的用户组织，由管理员进行服务器资源的统一分配，管理员可以根据实际的业务需求，针对不同的用户群体进行灵活配置。
此外，为了有效提高计算资源使用的利用率，以及保障用户使用资源的公平性，平台针对计算资源以及各类业务运行时实例，提供了多层级资源分配限额机制。
多租户存储资源隔离
平台基于GlusterFS（Gluster File System）实现统一的分布式网络文件存储系统，为用户提供多租户隔离的文件存储服务，并利用GlusterFS的分布式特性，有效保障用户数据的安全性。平台基于Docker Registry为用户提供多租户镜像仓库服务，即向用户提供平台常规业务所需要的各种内置运行时镜像，又向用户提供私有的镜像仓库服务，用户可以上传自己的镜像，并在实际的开发、训练以及推理中使用自己的镜像。
平台利用Kubernetes强大的作业编排能力，为用户提供统一的计算资源调度，所有计算资源集群内共享，在用户需要时，平台根据用户的资源需求动态创建运行时环境，运行结束即收回。这样即保障了用户资源的合理使用，又大大提高了集群资源的利用率。此外，利用了容器的隔离特性，有效保障用户数据的安全。
