AI 资讯

跟进 AI 的项目、产品与讨论

已同步 34650 条公开资讯，来源和发布时间保留在每条记录中。

AIGOOD 已同步公开来源；每条资讯详情保留来源和原文链接。

清除
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文
社区讨论V2EX 技术

strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3 XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill

前言：strata 最近已经火出圈了，火到 RAM 又翻了个倍。目前京东自营，海力士颗粒的 64GB 的 DDR5 6000 内存已经几近破万。 十一长假回来，笔者也是暂时小试牛刀了一把，发现有一些关键参数，会直接影响整个 LLM 引擎的本质体验，但是默认值并不是特别合理。所以发个 tips 小文供大家交流。欢迎批评指正。 本文全程手打，无任何 AI 含量，请放心阅读。 1 、Harness 会频繁唤起子代理（ sub agent ），导致切换会话 prefill 浪费太多时间，怎么办？ 答：开启--conver…

查看详情打开原文