|
|
@ -370,7 +370,7 @@ class ConnectionHandler:
|
|
|
|
break
|
|
|
|
break
|
|
|
|
|
|
|
|
|
|
|
|
end_time = time.time()
|
|
|
|
end_time = time.time()
|
|
|
|
# self.logger.bind(tag=TAG).debug(f"大模型返回时间: {end_time - start_time} 秒, 生成token={content}")
|
|
|
|
self.logger.bind(tag=TAG).debug(f"大模型返回时间: {end_time - start_time} 秒, 生成token={content}")
|
|
|
|
|
|
|
|
|
|
|
|
# 合并当前全部文本并处理未分割部分
|
|
|
|
# 合并当前全部文本并处理未分割部分
|
|
|
|
full_text = "".join(response_message)
|
|
|
|
full_text = "".join(response_message)
|
|
|
@ -443,7 +443,7 @@ class ConnectionHandler:
|
|
|
|
)
|
|
|
|
)
|
|
|
|
memory_str = future.result()
|
|
|
|
memory_str = future.result()
|
|
|
|
|
|
|
|
|
|
|
|
# self.logger.bind(tag=TAG).info(f"对话记录: {self.dialogue.get_llm_dialogue_with_memory(memory_str)}")
|
|
|
|
self.logger.bind(tag=TAG).info(f"对话记录: {self.dialogue.get_llm_dialogue_with_memory(memory_str)}")
|
|
|
|
|
|
|
|
|
|
|
|
# 使用支持functions的streaming接口
|
|
|
|
# 使用支持functions的streaming接口
|
|
|
|
llm_responses = self.llm.response_with_functions(
|
|
|
|
llm_responses = self.llm.response_with_functions(
|
|
|
|