Intelligent LLM inferencing via vLLM Semantic Router, LLM-D with local and cloud LLMs | Sanjeev Rampal
Intelligent LLM inferencing via vLLM Semantic Router, LLM-D with loca…
已浏览 1585 次2 个月之前
linkedin.com
oLLM - LLM inference for large-context offline workloads
oLLM - LLM inference for large-context offline workloads
5 个月之前
devpost.com
Practical Strategies for Optimizing LLM Inference Sizing and Performance | NVIDIA Technical Blog
Practical Strategies for Optimizing LLM Inference Sizing and Perform…
2024年8月21日
nvidia.com
Distributed AI Inference Will Capture Most of the LLM Value
Distributed AI Inference Will Capture Most of the LLM Value
2024年6月28日
substack.com
Learn how to build an optimized LLM inference system from the ground up in our new short course, Efficiently Serving LLMs, built in collaboration with Predibase and taught by Travis Addair. Whether… | Andrew Ng | 55 comments
2:57
Learn how to build an optimized LLM inference system from the gr…
已浏览 55 次2024年3月18日
linkedin.com
Introduction - Hugging Face LLM Course
Introduction - Hugging Face LLM Course
11 个月之前
huggingface.co
Harness the Power of Cloud-Ready AI Inference Solutions and Experience a Step-By-Step Demo of LLM Inference Deployment in the Cloud | Other 2024 | NVIDIA On-Demand
Harness the Power of Cloud-Ready AI Inference Solutions and Experi…
2024年1月8日
nvidia.com
9:57
llm-d: Distributed Inference Infrastructure for Large Language …
已浏览 2172 次2 个月之前
YouTubeFahd Mirza
5:15
LLM-D: Optimizing Distributed AI Inference with Intelligent Routing
已浏览 19 次1 个月前
YouTubeLearn by Doing with Steven
16:12
Challenges and Research Directions for Large Language Model Inferen…
1 个月前
YouTubeAI Papers Slop
5:03
New Hardware Directions for LLM Inference
已浏览 65 次1 个月前
YouTubeAI Research Roundup
0:21
Day 1 Deconstructing LLMs: The Engineer's Blueprint for Scalable …
已浏览 2 次1 个月前
YouTubeHands On Course Demo
12:01
Inference Optimization (Technical Walkthrough of NVIDIA’s Blog)
已浏览 281 次1 个月前
YouTubeAsim Munawar
26:10
How vLLM Became the Standard for Fast AI Inference | Simon Mo, Infer…
已浏览 102.4万 次1 个月前
YouTubeLightspeed Venture Partners
BIG NEWS: Our LLM Inference Toolkit Is Here
已浏览 130 次2024年11月15日
YouTubeHyperstack
1:04:45
[EP24] 硅谷线下AI infra, vLLM + Speculative Decoding
已浏览 2878 次5 个月之前
bilibili月球大叔
34:22
大规模训练与推理集群：可靠性和可用性的提升
已浏览 1856 次6 个月之前
bilibiliNVIDIA英伟达
5:26
从零学习并实现LLM推理-进展
已浏览 1073 次2024年11月18日
bilibili两年半技术栈练习
6:42
AI知识库-本地LLM部署框架xinference接口API
已浏览 491 次2024年6月4日
bilibili秋早川原Vico
1:22:52
从零开始构建LLM - 推理
已浏览 305 次9 个月之前
bilibili比尔森一撇
9:05
【AI技术分享13】LLM 上下文工程：原理与应用
已浏览 339 次7 个月之前
bilibiliAGI降临派
23:34
Google TL系统设计 - LLM inference service
已浏览 1.3万 次7 个月之前
bilibilis09g
1:15:19
【gpu mode】分散式LLM推理 | Lecture 58: Disaggregated LLM Inf…
已浏览 1288 次8 个月之前
bilibiliMindofuture
1:01:15
AI-Infra规划课—怎么学习大模型推理框架
已浏览 2826 次2 个月之前
bilibili我是傅傅猪
9:48
L14.4 The Bayesian Inference Framework
已浏览 8.5万 次2018年4月24日
YouTubeMIT OpenCourseWare
51:29
北大刘譞哲｜面向AI Infra的系统软件：挑战、思考和实践
已浏览 6505 次10 个月之前
bilibiliAITIME论道
5:12
LLM 概念全揭秘: 让开发者轻松掌握核心概念
已浏览 498 次9 个月之前
bilibiliTheitzy资源网
1:17
Efficient LLM inference solution on Intel GPU
已浏览 722 次2024年1月18日
bilibiliPaperWeekly
29:37
从北大到芝加哥到创业，快乐的系统PhD聊AI Infra
已浏览 6807 次2024年12月28日
bilibili月球大叔
0:38
【Udemy高分付费课程】工程学硕士：8 周速成为 LLM 工程师 —— 掌握 …
已浏览 1.4万 次2024年12月26日
bilibili疯狂滴小黑
观看更多视频
静态缩略图占位符