加速替代CUDA!摩尔线程开源vLLM
11月5日消息,加速近日,替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示,加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台,线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架,支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等,替代可显著提高大语言模型(LLM)的线程推理性能。
目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。
同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址:
https://github.com/MooreThreads/vLLM_musa
- ·100倍超远摄之王来了!荣耀Magic7全系升级大王影像
- ·巴黎客战尼斯大名单:登贝莱回归,穆阿尼、阿什拉夫、杜埃在列
- ·卡瓦哈尔重伤!何塞卢等人祝福:我含泪写下文字,宁愿受伤的是我
- ·[流言板]瓜帅续约前曼城向他保证会赢与英超官司,并给他大笔钱引援
- ·球场丨曾经的马竞主场卡尔德隆,公路从看台下穿过
- ·外媒:因严重的心理问题,多名以色列士兵自杀
- ·〔巡忆〕除了黄泉想玩情趣,牢鹅这辈子还有机会1起来吗?
- ·[流言板]雷迪克:海斯已经恢复场上活动,有望1到2周内复出
- ·[流言板]排名第13…曼联近4轮1胜3负只赢了曼城,净胜球再次变为负数
- ·冲超战!云南玉昆vs上海嘉定汇龙首发公布,玉昆打平即可冲超
- ·国足战胜巴林并非靠蒙!伊万训练中着重演练界外球压迫对手
- ·尤文vs卡利亚里首发:DV9、孔塞桑先发,姆班古拉、图拉姆出战
- ·[流言板]白岩松:伤病和恢复也是一门课,它将教会崔永熙很多东西
- ·哪些球员你玩着觉得手感特别好
- ·成立十年3款游戏 独立工作室Thunderhorse宣布关闭
- ·哪些球员你玩着觉得手感特别好