第八章 搭建一个带评估的端到端问答系统

在这一章节中，我们将会构建一个集成评估环节的完整问答系统。这个系统将会融合我们在前几节课中所学到的知识，并且加入了评估步骤。以下是该系统的核心操作流程：

  1. 对用户的输入进行检验，验证其是否可以通过审核 API 的标准。
  2. 若输入顺利通过审核，我们将进一步对产品目录进行搜索。
  3. 若产品搜索成功，我们将继续寻找相关的产品信息。
  4. 我们使用模型针对用户的问题进行回答。
  5. 最后，我们会使用审核 API 对生成的回答进行再次的检验。

如果最终答案没有被标记为有害，那么我们将毫无保留地将其呈现给用户。

二、端到端实现问答系统

在我们的探索之旅中，我们将实现一个完整的问答系统，一种能理解并回应人类语言的人工智能。在这个过程中，我们将使用 OpenAI 的相关API并引用相关函数，来帮助我们快速搭建一个高效且精准的模型。然而，我们需要注意到，在中文的理解和处理方面，由于模型的特性，我们可能会偶尔遇到不理想的结果。在这种情况下，你可以多尝试几次，或者进行深入的研究，以找到更稳定的方法。

让我们先从一个函数开始，它的名称是 process_user_message_ch，该函数主要负责处理用户输入的信息。这个函数接收三个参数，用户的输入、所有的历史信息，以及一个表示是否需要调试的标志。 在函数的内部，我们首先使用 OpenAI 的 Moderation API 来检查用户输入的合规性。如果输入被标记为不合规，我们将返回一个信息，告知用户请求不合规。在调试模式下，我们将打印出当前的进度。

接下来，我们利用 utils_zh.find_category_and_product_only 函数（详细请见附录代码）抽取出用户输入中的商品和对应的目录。然后，我们将抽取的信息转化为一个列表。 在获取到商品列表后，我们将查询这些商品的具体信息。之后，我们生成一个系统消息，设定一些约束，以确保我们的回应符合期望的标准。我们将生成的消息和历史信息一起送入 get_completion_from_messages 函数，得到模型的回应。之后，我们再次使用 Moderation API 检查模型的输出是否合规。如果输出不合规，我们将返回一个信息，告知无法提供该信息。

最后，我们让模型自我评估是否很好地回答了用户的问题。如果模型认为回答是满足要求的，我们则返回模型的回答；否则，我们会告知用户，他们将会被转接到人工客服进行进一步的帮助。

  1. import openai 
  2. import utils_zh
  3. from tool import get_completion_from_messages
  5. '''
  6. 注意：限于模型对中文理解能力较弱，中文 Prompt 可能会随机出现不成功，可以多次运行；也非常欢迎同学探究更稳定的中文 Prompt
  7. '''
  8. def process_user_message_ch(user_input, all_messages, debug=True):
  9.     """
  10.     对用户信息进行预处理
  12.     参数:
  13.     user_input : 用户输入
  14.     all_messages : 历史信息
  15.     debug : 是否开启 DEBUG 模式,默认开启
  16.     """
  17.     # 分隔符
  18.     delimiter = "```"
  20.     # 第一步: 使用 OpenAI 的 Moderation API 检查用户输入是否合规或者是一个注入的 Prompt
  21.     response = openai.Moderation.create(input=user_input)
  22.     moderation_output = response["results"][0]
  24.     # 经过 Moderation API 检查该输入不合规
  25.     if moderation_output["flagged"]:
  26.         print("第一步：输入被 Moderation 拒绝")
  27.         return "抱歉，您的请求不合规"
  29.     # 如果开启了 DEBUG 模式，打印实时进度
  30.     if debug: print("第一步：输入通过 Moderation 检查")
  32.     # 第二步：抽取出商品和对应的目录，类似于之前课程中的方法，做了一个封装
  33.     category_and_product_response = utils_zh.find_category_and_product_only(user_input, utils_zh.get_products_and_category())
  34.     #print(category_and_product_response)
  35.     # 将抽取出来的字符串转化为列表
  36.     category_and_product_list = utils_zh.read_string_to_list(category_and_product_response)
  37.     #print(category_and_product_list)
  39.     if debug: print("第二步：抽取出商品列表")
  41.     # 第三步：查找商品对应信息
  42.     product_information = utils_zh.generate_output_string(category_and_product_list)
  43.     if debug: print("第三步：查找抽取出的商品信息")
  45.     # 第四步：根据信息生成回答
  46.     system_message = f"""
  47.         您是一家大型电子商店的客户服务助理。\
  48.         请以友好和乐于助人的语气回答问题，并提供简洁明了的答案。\
  49.         请确保向用户提出相关的后续问题。
  50.     """
  51.     # 插入 message
  52.     messages = [
  53.         {'role': 'system', 'content': system_message},
  54.         {'role': 'user', 'content': f"{delimiter}{user_input}{delimiter}"},
  55.         {'role': 'assistant', 'content': f"相关商品信息:\n{product_information}"}
  56.     ]
  57.     # 获取 GPT3.5 的回答
  58.     # 通过附加 all_messages 实现多轮对话
  59.     final_response = get_completion_from_messages(all_messages + messages)
  60.     if debug:print("第四步：生成用户回答")
  61.     # 将该轮信息加入到历史信息中
  62.     all_messages = all_messages + messages[1:]
  64.     # 第五步：基于 Moderation API 检查输出是否合规
  65.     response = openai.Moderation.create(input=final_response)
  66.     moderation_output = response["results"][0]
  68.     # 输出不合规
  69.     if moderation_output["flagged"]:
  70.         if debug: print("第五步：输出被 Moderation 拒绝")
  71.         return "抱歉，我们不能提供该信息"
  73.     if debug: print("第五步：输出经过 Moderation 检查")
  75.     # 第六步：模型检查是否很好地回答了用户问题
  76.     user_message = f"""
  77.     用户信息: {delimiter}{user_input}{delimiter}
  78.     代理回复: {delimiter}{final_response}{delimiter}
  80.     回复是否足够回答问题
  81.     如果足够，回答 Y
  82.     如果不足够，回答 N
  83.     仅回答上述字母即可
  84.     """
  85.     # print(final_response)
  86.     messages = [
  87.         {'role': 'system', 'content': system_message},
  88.         {'role': 'user', 'content': user_message}
  89.     ]
  90.     # 要求模型评估回答
  91.     evaluation_response = get_completion_from_messages(messages)
  92.     # print(evaluation_response)
  93.     if debug: print("第六步：模型评估该回答")
  95.     # 第七步：如果评估为 Y，输出回答；如果评估为 N，反馈将由人工修正答案
  96.     if "Y" in evaluation_response:  # 使用 in 来避免模型可能生成 Yes
  97.         if debug: print("第七步：模型赞同了该回答.")
  98.         return final_response, all_messages
  99.     else:
  100.         if debug: print("第七步：模型不赞成该回答.")
  101.         neg_str = "很抱歉，我无法提供您所需的信息。我将为您转接到一位人工客服代表以获取进一步帮助。"
  102.         return neg_str, all_messages
  104. user_input = "请告诉我关于 smartx pro phone 和 the fotosnap camera 的信息。另外，请告诉我关于你们的tvs的情况。"
  105. response,_ = process_user_message_ch(user_input,[])
  106. print(response)
  1. 第一步：输入通过 Moderation 检查
  2. 第二步：抽取出商品列表
  3. 第三步：查找抽取出的商品信息
  4. 第四步：生成用户回答
  5. 第五步：输出经过 Moderation 检查
  6. 第六步：模型评估该回答
  7. 第七步：模型赞同了该回答.
  8. 关于SmartX ProPhone和FotoSnap相机的信息如下：
  10. SmartX ProPhone：
  11. - 品牌：SmartX
  12. - 型号：SX-PP10
  13. - 屏幕尺寸：6.1英寸
  14. - 存储容量：128GB
  15. - 相机：12MP双摄像头
  16. - 网络：支持5G
  17. - 保修：1年
  18. - 价格：899.99美元
  20. FotoSnap相机系列：
  21. 1. FotoSnap DSLR相机：
  22. - 品牌：FotoSnap
  23. - 型号：FS-DSLR200
  24. - 传感器：24.2MP
  25. - 视频：1080p
  26. - 屏幕：3英寸LCD
  27. - 可更换镜头
  28. - 保修：1年
  29. - 价格：599.99美元
  31. 2. FotoSnap无反相机：
  32. - 品牌：FotoSnap
  33. - 型号：FS-ML100
  34. - 传感器：20.1MP
  35. - 视频：4K
  36. - 屏幕：3英寸触摸屏
  37. - 可更换镜头
  38. - 保修：1年
  39. - 价格：799.99美元
  41. 3. FotoSnap即时相机：
  42. - 品牌：FotoSnap
  43. - 型号：FS-IC10
  44. - 即时打印
  45. - 内置闪光灯
  46. - 自拍镜
  47. - 电池供电
  48. - 保修：1年
  49. - 价格：69.99美元
  51. 关于我们的电视情况如下：
  53. 1. CineView 4K电视：
  54. - 品牌：CineView
  55. - 型号：CV-4K55
  56. - 屏幕尺寸：55英寸
  57. - 分辨率：4K
  58. - HDR支持
  59. - 智能电视功能
  60. - 保修：2年
  61. - 价格：599.99美元
  63. 2. CineView 8K电视：
  64. - 品牌：

二、持续收集用户和助手消息

为了持续优化用户和助手的问答体验，我们打造了一个友好的可视化界面，以促进用户与助手之间的便捷互动。

  1. # 调用中文 Prompt 版本
  2. def collect_messages_ch(debug=True):
  3.     """
  4.     用于收集用户的输入并生成助手的回答
  6.     参数：
  7.     debug: 用于觉得是否开启调试模式
  8.     """
  9.     user_input = inp.value_input
  10.     if debug: print(f"User Input = {user_input}")
  11.     if user_input == "":
  12.         return
  13.     inp.value = ''
  14.     global context
  15.     # 调用 process_user_message 函数
  16.     #response, context = process_user_message(user_input, context, utils.get_products_and_category(),debug=True)
  17.     response, context = process_user_message_ch(user_input, context, debug=False)
  18.     # print(response)
  19.     context.append({'role':'assistant', 'content':f"{response}"})
  20.     panels.append(
  21.         pn.Row('User:', pn.pane.Markdown(user_input, width=600)))
  22.     panels.append(
  23.         pn.Row('Assistant:', pn.pane.Markdown(response, width=600, style={'background-color': '#F6F6F6'})))
  25.     return pn.Column(*panels) # 包含了所有的对话信息
  1. import panel as pn  # 用于图形化界面
  2. pn.extension()
  4. panels = [] # collect display 
  6. # 系统信息
  7. context = [ {'role':'system', 'content':"You are Service Assistant"} ]  
  9. inp = pn.widgets.TextInput( placeholder='Enter text here…')
  10. button_conversation = pn.widgets.Button(name="Service Assistant")
  12. interactive_conversation = pn.bind(collect_messages_ch, button_conversation)
  14. dashboard = pn.Column(
  15.     inp,
  16.     pn.Row(button_conversation),
  17.     pn.panel(interactive_conversation, loading_indicator=True, height=300),
  18. )
  20. dashboard

下图展示了该问答系统的运行实况：

第八章 搭建一个带评估的端到端问答系统 - 图1

通过监控该问答系统在更多输入上的回答效果，您可以修改步骤，提高系统的整体性能。

我们可能会察觉，在某些环节，我们的 Prompt 可能更好，有些环节可能完全可以省略，甚至，我们可能会找到更好的检索方法等等。

对于这个问题，我们将在接下来的章节中进行更深入的探讨。

三、英文版

1.1 端到端问答系统

  1. import utils_en
  2. import openai
  4. def process_user_message(user_input, all_messages, debug=True):
  5.     """
  6.     对用户信息进行预处理
  8.     参数:
  9.     user_input : 用户输入
  10.     all_messages : 历史信息
  11.     debug : 是否开启 DEBUG 模式,默认开启
  12.     """
  13.     # 分隔符
  14.     delimiter = "```"
  16.     # 第一步: 使用 OpenAI 的 Moderation API 检查用户输入是否合规或者是一个注入的 Prompt
  17.     response = openai.Moderation.create(input=user_input)
  18.     moderation_output = response["results"][0]
  20.     # 经过 Moderation API 检查该输入不合规
  21.     if moderation_output["flagged"]:
  22.         print("第一步：输入被 Moderation 拒绝")
  23.         return "抱歉，您的请求不合规"
  25.     # 如果开启了 DEBUG 模式，打印实时进度
  26.     if debug: print("第一步：输入通过 Moderation 检查")
  28.     # 第二步：抽取出商品和对应的目录，类似于之前课程中的方法，做了一个封装
  29.     category_and_product_response = utils_en.find_category_and_product_only(user_input, utils_en.get_products_and_category())
  30.     #print(category_and_product_response)
  31.     # 将抽取出来的字符串转化为列表
  32.     category_and_product_list = utils_en.read_string_to_list(category_and_product_response)
  33.     #print(category_and_product_list)
  35.     if debug: print("第二步：抽取出商品列表")
  37.     # 第三步：查找商品对应信息
  38.     product_information = utils_en.generate_output_string(category_and_product_list)
  39.     if debug: print("第三步：查找抽取出的商品信息")
  41.     # 第四步：根据信息生成回答
  42.     system_message = f"""
  43.     You are a customer service assistant for a large electronic store. \
  44.     Respond in a friendly and helpful tone, with concise answers. \
  45.     Make sure to ask the user relevant follow-up questions.
  46.     """
  47.     # 插入 message
  48.     messages = [
  49.         {'role': 'system', 'content': system_message},
  50.         {'role': 'user', 'content': f"{delimiter}{user_input}{delimiter}"},
  51.         {'role': 'assistant', 'content': f"Relevant product information:\n{product_information}"}
  52.     ]
  53.     # 获取 GPT3.5 的回答
  54.     # 通过附加 all_messages 实现多轮对话
  55.     final_response = get_completion_from_messages(all_messages + messages)
  56.     if debug:print("第四步：生成用户回答")
  57.     # 将该轮信息加入到历史信息中
  58.     all_messages = all_messages + messages[1:]
  60.     # 第五步：基于 Moderation API 检查输出是否合规
  61.     response = openai.Moderation.create(input=final_response)
  62.     moderation_output = response["results"][0]
  64.     # 输出不合规
  65.     if moderation_output["flagged"]:
  66.         if debug: print("第五步：输出被 Moderation 拒绝")
  67.         return "抱歉，我们不能提供该信息"
  69.     if debug: print("第五步：输出经过 Moderation 检查")
  71.     # 第六步：模型检查是否很好地回答了用户问题
  72.     user_message = f"""
  73.     Customer message: {delimiter}{user_input}{delimiter}
  74.     Agent response: {delimiter}{final_response}{delimiter}
  76.     Does the response sufficiently answer the question?
  77.     """
  78.     messages = [
  79.         {'role': 'system', 'content': system_message},
  80.         {'role': 'user', 'content': user_message}
  81.     ]
  82.     # 要求模型评估回答
  83.     evaluation_response = get_completion_from_messages(messages)
  84.     if debug: print("第六步：模型评估该回答")
  86.     # 第七步：如果评估为 Y，输出回答；如果评估为 N，反馈将由人工修正答案
  87.     if "Y" in evaluation_response:  # 使用 in 来避免模型可能生成 Yes
  88.         if debug: print("第七步：模型赞同了该回答.")
  89.         return final_response, all_messages
  90.     else:
  91.         if debug: print("第七步：模型不赞成该回答.")
  92.         neg_str = "很抱歉，我无法提供您所需的信息。我将为您转接到一位人工客服代表以获取进一步帮助。"
  93.         return neg_str, all_messages
  95. user_input = "tell me about the smartx pro phone and the fotosnap camera, the dslr one. Also what tell me about your tvs"
  96. response,_ = process_user_message(user_input,[])
  97. print(response)
  1. 第一步：输入通过 Moderation 检查
  2. 第二步：抽取出商品列表
  3. 第三步：查找抽取出的商品信息
  4. 第四步：生成用户回答
  5. 第五步：输出经过 Moderation 检查
  6. 第六步：模型评估该回答
  7. 第七步：模型赞同了该回答.
  8. Sure! Here's some information about the SmartX ProPhone and the FotoSnap DSLR Camera:
  10. 1. SmartX ProPhone:
  11.    - Brand: SmartX
  12.    - Model Number: SX-PP10
  13.    - Features: 6.1-inch display, 128GB storage, 12MP dual camera, 5G connectivity
  14.    - Description: A powerful smartphone with advanced camera features.
  15.    - Price: $899.99
  16.    - Warranty: 1 year
  18. 2. FotoSnap DSLR Camera:
  19.    - Brand: FotoSnap
  20.    - Model Number: FS-DSLR200
  21.    - Features: 24.2MP sensor, 1080p video, 3-inch LCD, interchangeable lenses
  22.    - Description: Capture stunning photos and videos with this versatile DSLR camera.
  23.    - Price: $599.99
  24.    - Warranty: 1 year
  26. Now, could you please let me know which specific TV models you are interested in?

2.1 持续收集用户和助手信息

  1. def collect_messages_en(debug=False):
  2.     """
  3.     用于收集用户的输入并生成助手的回答
  5.     参数：
  6.     debug: 用于觉得是否开启调试模式
  7.     """
  8.     user_input = inp.value_input
  9.     if debug: print(f"User Input = {user_input}")
  10.     if user_input == "":
  11.         return
  12.     inp.value = ''
  13.     global context
  14.     # 调用 process_user_message 函数
  15.     #response, context = process_user_message(user_input, context, utils.get_products_and_category(),debug=True)
  16.     response, context = process_user_message(user_input, context, debug=False)
  17.     context.append({'role':'assistant', 'content':f"{response}"})
  18.     panels.append(
  19.         pn.Row('User:', pn.pane.Markdown(user_input, width=600)))
  20.     panels.append(
  21.         pn.Row('Assistant:', pn.pane.Markdown(response, width=600, style={'background-color': '#F6F6F6'})))
  23.     return pn.Column(*panels) # 包含了所有的对话信息