跳转到主要内容

Documentation Index

Fetch the complete documentation index at: https://docs.qoder.com/llms.txt

Use this file to discover all available pages before exploring further.

默认情况下,模型一轮回复要等完整产出后才作为整段消息送达。启用流式输出后,SDK 在生成过程中持续推送细粒度增量片段,可以做打字机效果,或单独渲染推理过程、工具调用过程。

启用

options 里设置 includePartialMessages: true
import { qodercliAuth, query } from '@qoder-ai/qoder-agent-sdk';

const q = query({
  prompt: 'Write a short analysis report',
  options: {
    auth: qodercliAuth(),
    includePartialMessages: true,
  },
});

打字机效果

模型生成的文本以增量片段连续到达,逐片打印就是打字机效果:
for await (const msg of q) {
  if (msg.type === 'stream_event') {
    const delta = msg.event.delta;
    if (delta?.type === 'text_delta') {
      process.stdout.write(delta.text);
    }
  }
}

推理过程

推理类模型在正式回复前会产出”思考”片段:
if (delta?.type === 'thinking_delta') {
  process.stdout.write(delta.thinking);
}

工具调用入参

工具调用的参数也是逐步生成的,例如可以拿来在 UI 里实时渲染模型正在写入的文件内容:
if (delta?.type === 'input_json_delta') {
  process.stdout.write(delta.partial_json);
}
完整事件结构见 SDK References