-
图解flyteML编排-propeller控制器
图解flyteML编排-综述 图解flyteML编排-flytekit SDK 图解flyteML编排-admin服务器 图解flyteML编排-propeller控制器 Flyte propeller作为集群当中真正的执行器，负责CRD的监听、集群资源的分配、三方子系统的交互和向admin server反馈等等1.总体架构propeller命令行有3个子命令，总体架构图如下 init-certs：用于生成webhook访问api-server的证书 webhook：用于向...…
-
图解flyteML编排-admin服务器
图解flyteML编排-综述 图解flyteML编排-flytekit SDK 图解flyteML编排-admin服务器 图解flyteML编排-propeller控制器 Flyte admin作为整个训练任务请求的中枢服务，对外承接WEB UI、SDK、CMD等工具链的通信服务，并与对象存储、DB联动，存储业务类数据，制定WF计划，编译WF模型成CRD，发送和收集第三方平台信息等。下面我们详细来看一下admin的业务流程。1.总体架构admin代码库中有两个入口，一个是ser...…
-
图解flyteML编排-flytekit SDK
图解flyteML编排-综述 图解flyteML编排-flytekit SDK 图解flyteML编排-admin服务器 图解flyteML编排-propeller控制器 FlyteML的一个比较备受欢迎的特点，就是SDK的易用性，不仅可方便的集成到训练代码中，而且其丰富的插件系统可以非常方便的想数据处理、分布式计算、模型训练、部署扩展。本章主要针对flyte SDK(flytekit)进行拓展讲解，了解其中的主逻辑和原理。1. 使用与架构1.1 SDK使用flytekit使用...…
-
图解flyteML编排-综述
图解flyteML编排-综述 图解flyteML编排-flytekit SDK 图解flyteML编排-admin服务器 图解flyteML编排-propeller控制器 Flyte 是一个面向机器学习、数据工程和分析工作流的云原生工作流编排平台。它由Lyft开发并开源，目前是Linux Foundation AI & Data下的一个孵化级项目。它的核心设计目标是让用户能够以 可复现、可扩展、类型安全 的方式定义、运行和管理复杂的数据/ML工作流。目前该项目已经可以进...…
-
图解vllm-model之model和attention_backend
图解vllm-原理与架构 图解vllm-推理服务与引擎 图解vllm-调度器与Block分配 图解vllm-执行器与worker 图解vllm-model之model和attention_backend 通过上文可以了解到，执行器在调用推理接口后，最终将请求传入worker中的ModelRunner进行推理计算，这时如何使用CUDA加速模型attention和forward的推理。另外，对于我们定制化的model是如何加入到vllm的推理框架来使用的。通过本文你可以了解到这一...…
-
图解vllm-执行器与worker
图解vllm-原理与架构 图解vllm-推理服务与引擎 图解vllm-调度器与Block分配 图解vllm-执行器与worker 图解vllm-model之model和attention_backend 执行器（Executor）是对model worker的一层封装，LLMEngine会根据engine_config来创建确定创建哪个Executor，本文将以RayGPUExecutor为例进行介绍，Ray作为较为常用模型分布式框架，应用场景比较有代表性, 可以实现推理过程...…
-
图解vllm-调度器与Block分配
图解vllm-原理与架构 图解vllm-推理服务与引擎 图解vllm-调度器与Block分配 图解vllm-执行器与worker 图解vllm-model之model和attention_backend 调度器（Scheduler）决定哪些请求可以参与推理，并为这些请求做好逻辑块->物理块的映射。这个过程只是根据目前step(prefill+decode)收集到的所有信息，对目前GPU的显存进行新的内存分配规划，而未实际操作GPU内存。在模型执行器中，这些规划metad...…
-
图解vllm-推理服务与引擎
图解vllm-原理与架构 图解vllm-推理服务与引擎 图解vllm-调度器与Block分配 图解vllm-执行器与worker 图解vllm-model之model和attention_backend 上文介绍了vLLM的分层架构，本节开始介绍vLLM的入口使用开发和引擎的详细设计。引擎层对使用者而言是承上启下的模块，在这一层不仅会对输入的参数、数据进行简单的处理封装，还会初始化核心模块，将源源不断的request组织起来，驱动迭代，最终返回给用户。1. 引擎图解引擎部分主...…
-
图解vllm-原理与架构
图解vllm-原理与架构 图解vllm-推理服务与引擎 图解vllm-调度器与Block分配 图解vllm-执行器与worker 图解vllm-model之model和attention_backend 2024年，我们已经进入大模型全面爆发的时代，作为大模型很重要的工程实践: 推理服务，则成为熟悉和了解大模型工程的关键一环。vLLM是23年开始出现的一款较为优秀的大模型推理框架，很值得学习和研究，我将发布一系列的Blog，针对近期学习vLLM的主要内容，通过图解的方式从工程...…
-
自动驾驶-数据平台简介
在自动驾驶领域中, 数据平台是一个很重要的核心平台, 无论是算法的改进，还是 bug 的解决，场景的重现，以及程序的调试都需要数据平台提供的多维度数据来驱动。本文分析了两个比较完整的开源项目：Apollo Dreamview 和 Uber Streetscape，他们的设计思想并不完全相同，各有优缺点，我会通过三篇文章来介绍他们的这些不通点。数据平台工作流程自动驾驶汽车每天产生的数据量在 PB 级规模的，这对数据的处理和展示退出了更高的要求。所以数据平台一般来讲有：数据转换，数据上传，...…