项目详情 · 开发者工具
Will It Fit? - Opinionated llama.cpp VRAM Estimator
估算llama.cpp模型推理所需的显存大小
hypfer.github.io
试用演示 在线检查通过14 hours ago
上手第一步: 输入模型大小和量化方式来估算VRAM需求
Open SourceDeveloper ToolVram EstimatorLlm“Will It Fit”“llama.cpp”“VRAM Estimator”“Opinionated”“FP16 K/V”
技术画像
- 构建者
- Solo maker
- AI 参与度
- Primarily AI-assisted
站点健康
🛠 有 4 条站点健康建议在等作者——认领本项目(X 登录)即可查看。
来源
According to this shitty vibecoded thing "I" built https://hypfer.github.io/will-it-fit-llama-cpp/ (and I guess according to math too), FP16 K/V would give me something like 90k context at the same model quant, which doesn't really fit my usage. But maybe someone else has experience to share there
致作者:挂上铭牌,认领项目
这个项目还没有作者认领——登录后把铭牌挂到你的站点上,即可完成认领。
致作者:挂上铭牌,认领项目
这个项目还没有作者认领——登录后把铭牌挂到你的站点上,即可完成认领。
继续探索
相似项目
登录 后可举报该项目的问题。
评论
Sign in to comment.