
BareMetalRT — Bare Metal AI
用NVIDIA TensorRT-LLM在消费级GPU上进行高性能大语言模型推理。
brianhabana123 · HN
TensorRT-LLM running natively on Windows (no WSL)
完整作品展
技术栈
17 projects

用NVIDIA TensorRT-LLM在消费级GPU上进行高性能大语言模型推理。
brianhabana123 · HN
TensorRT-LLM running natively on Windows (no WSL)

实时可视化硬件在运行LLM推理时的性能指标
dev_dan_2 · HN
WatchMachineGo – A visualizer to show hardware performing LLM inference

查找与您硬件兼容的AI模型并查看性能和价格估计。
cdnsteve · HN
Tokenstead, find AI models for your hardware

Runpod是无服务器GPU推理平台,冷启动低于200ms,按秒计费。
@svpino · X
You can check out Runpod here: Thanks to the Runpod team for partnering with me on this post.

在 leaderboard 上按官方基准对比 AI 大模型的性能排名
fcten · V2EX
做了一个大模型 leaderboard 网站 最近一个月 CodeX 疯狂送重置,token 根本用不完,顺手做点东西。 地址:[知行录]( https://leaderboard.cn/) 排行依据主要为模型官方基准测试成绩。非主观排名。 数据会持续更新。如果有点用,欢迎各位 v 友收藏~

检测LLM API是否被降智或偷换模型,一键跑6项探针得出结果
cocodot LLM 降智检测 — 免费的 LLM API「降智/偷换模型」在线检测:填入任意 OpenAI 兼容端点的 base_url 和临时 API Key,跑 6 项探针(模型声明、动态题、能力完整性等)生成分项报告;Key 仅用于当次检测、不落库不留存,检测方法[开源](https://github.com/cocodot2026/cocodot-llmprobe)

压缩LLM提示词和文档以降低token使用和API成本
@marcusyul · X
THEY JUST GAVE AWAY 100 MILLION FREE TOKENS SO YOU CAN STOP BURNING THROUGH YOUR CLAUDE CODE BUDGET. if you code with AI you already know: the session fills up, starts failing, and on top of that you're overpaying there's a tool that fixes this: it shrinks the context before the model even sees it same model, same response, a fraction of the cost in a real session: from $154 to $43. a 72% drop and right now: → extend your Fable sessions in Claude Code → 100M free tokens to try it out you don't switch models you don't touch your code you just stop paying to repeat yourself link below ⬇️

用您的数据微调语言模型并管理自定义事实,获得密码学删除证明。
@MBrew26730 · X
Dataset cleaning + fine tuning + continual learning at

通过现有 API 订阅同时运行多个 AI 模型。
@ContinuumCode · X

压缩提示词并检测重复工具调用,降低LLM代币成本
@DeveloperL92487 · X
I built my first app in 60min And now I got $500 MRR in one month Check here if you are interested It’s a tool to reduce agent token consumption, speed up agent response, and clean up memory cache

检测API中转站输出是否与官方100%一致
@nodeloc_cc · X
🌈 7月,你好,MODELOC上线算力池。 MODELOC自上线以来,已检测2000余次,覆盖600+中转站,为众多AI用户提供的使用参考。 MODELOC近期进行了改版,上线了算力池及市场。 加入算力池 查看帖子: 用 MODELOC 便宜地调各家大模型:一次讲清它的价格体系

通过 RavenGate 网关路由 LLM API 流量,追踪成本、分析延迟、隐蔽 PII。
charltonraven · HN
RavenGate – LLM gateway that redacts PII across SSE chunk boundaries