大模型部署指南之 LMDeploy 篇:从模型压缩到生产级API的完整武器库 本文主要介绍了LMDeploy 的核心功能、性能、安装、验证、模型仓库、命令说明、模型量化、API调用、高级功能以及总结。 2025-05-19 ai #AI大模型 #AI部署工具
大模型部署指南之 vLLM 篇:基于 PagedAttention 的工业级推理方案 本文主要介绍了 vLLM 的使用方法,包括安装、验证、调用在线模型 chat 示例、调用在线模型 complete 示例、启动服务等。 2025-05-19 ai #AI大模型 #AI部署工具
大模型部署指南之 Ollama 篇:一条命令实现开箱即用,零配置玩转主流模型 本文主要介绍了Ollama 的安装、模型管理、高级功能以及命令说明等内容,旨在帮助读者快速上手并使用 Ollama 进行大模型部署。 2025-05-19 ai #AI大模型 #AI部署工具
AI大模型核心技术解析:从Transformer原理到实战应用指南 本文主要介绍了大模型的概念、技术原理、特点、应用场景以及潜在挑战,并详细阐述了开发大模型的流程。 2025-05-18 ai #AI大模型
ModelScope vs Hugging Face:中文开发者该如何选择?附API实战对比 本文主要介绍了ModelScope和Hugging Face两个大模型平台的特点及常用API,帮助您更好地了解和使用大模型。 2025-05-17 ai #AI大模型
Ubuntu AI开发环境全栈指南:30分钟搞定所有工具安装 本文详细介绍了在Ubuntu系统上配置AI开发环境的步骤。首先,建议从清华大学开源软件镜像站下载Ubuntu镜像,推荐使用22.04稳定版或24.04尝鲜版。接着,安装核心组件如Git和Miniconda,并配置GPU环境,包括CUDA和CUDNN的安装与版本选择。此外,还介绍了如何创建基本的虚拟环境并安装常用库,如Pytorch。最后,本文还介绍了几个大模型部署、微调、前端和评估的框架,以及RA 2025-05-17 ai #AI大模型 #工具
Ubuntu 24.04 完整Docker安装指南:从零配置到实战命令大全 本文详细介绍了在Ubuntu 24.04系统上安装和配置Docker的步骤,包括添加Docker仓库、安装Docker及Docker Compose、验证安装等。此外,还提供了配置Docker镜像加速器的方法,以提升镜像拉取速度。 2025-05-16 os > tool #工具 #Docker
告别ModuleNotFoundError!VSCode中Python项目正确设置源码根目录的4种方法 VSCode 自定义设置源代码根目录,解决 Python 提示 ModuleNotFoundError 问题 2025-05-16 os > tool #工具 #IDE
解决Ubuntu24.04中Conda补全问题:Bash/Zsh双终端配置指南 本文介绍了如何在Bash和Zsh中支持Conda命令及其补全功能。首先,通过安装Miniconda3来配置Conda环境。接着,分别在Bash和Zsh中初始化Conda,并安装相应的补全插件(conda-bash-completion和conda-zsh-completion)。对于Zsh,还需要修改.zshrc文件以确保补全功能正常工作。最后,通过验证命令conda env list的补全情况, 2025-05-12 os > ubuntu #Conda #Bash #Zsh #终端