第二章 语言模型，提问范式与 Token 一、语言模型 二、Tokens 三、Helper function 辅助函数 (提问范式) 四、英文版 第二章 语言模型，提问范式与 Token 在本章中，我们将和您分享大型语言模型（LLM）的工作原理、训练方式以及分词器（tokenizer）等细节对 LLM 输出的影响。我们还将介绍 LLM 的提问...

科技类-技术 为 JSON 键名命名 担任面试官 担任机器学习工程师 在学校担任讲师 作为 IT 专家 充当微信小程序技术专家 充当全栈软件开发人员 担任高级前端开发人员 充当正则表达式生成器 充当 Solr 搜索引擎 充当前端智能思路助手 作为网络安全专家 作为技术审查员 担任开发者关系顾问 作为 IT 架构师 充当 Java...

6.1 语言模型 语言模型是干嘛的?chunking 语言模型有什么用? 如何计算语言模型的参数? 原因:马尔科夫假设 例子：计算bigram 概率 公式： 三句话的例子： 9222句话的例子： 6.2 词向量 • 词向量的来历 • 什么是 Word2vec • Word2vec 的Skip-gram 和 CBOW 模型 • CBOW ...

第二章 文档加载 一、PDF 文档 1.1 加载PDF文档 1.2 探索加载的数据 二、YouTube音频 2.1 加载Youtube音频文档 2.2 探索加载的数据 三、网页文档 3.1 加载网页文档 3.2 探索加载的数据 四、Notion文档 4.1 加载Notion Markdown文档 4.2 探索加载的数据 五、英文版 ...

Spark 概述 安全 下载 运行示例和 Shell 在集群上运行 进一步学习链接 Spark 概述 Apache Spark 是一个快速的，通用的集群计算系统。它对 Java，Scala，Python 和 R 提供了的高层 API，并有一个经优化的支持通用执行图计算的引擎。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 ...

第三章 迭代优化 一、从产品说明书生成营销产品描述 1.1 初始提示 1.3 提示优化2: 处理抓错文本细节 二、总结 三、英文版 表格是以 HTML 格式呈现的，加载出来 第三章 迭代优化 在开发大语言模型应用时，很难通过第一次尝试就得到完美适用的 Prompt。但关键是要有一个良好的迭代优化过程 ，以不断改进 Prompt。相比训练机...

医学类-医生 充当 AI 辅助医生 充当医生 担任营养师 充当虚拟医生 担任语言病理学家 (SLP) 医学类-医生 充当 AI 辅助医生 我想让你扮演一名人工智能辅助医生。我将为您提供患者的详细信息，您的任务是使用最新的人工智能工具，例如医学成像软件和其他机器学习程序，以诊断最可能导致其症状的原因。您还应该将体检、实验室测试等传统方法...

第九章 评估（上）——存在一个简单的正确答案时 一、找出相关产品和类别名称 二、在一些查询上进行评估 三、更难的测试用例 四、修改指令以处理难测试用例 五、在难测试用例上评估修改后的指令 六、回归测试：验证模型在以前的测试用例上仍然有效 七、收集开发集进行自动化测试 八、通过与理想答案比较来评估测试用例 九、在所有测试用例上运行评估，并计算正...

第五章 推断 一、情感推断 1.1 情感倾向分析 3.1 推断讨论主题 英文版 第五章 推断 在这一章中，我们将通过一个故事，引领你了解如何从产品评价和新闻文章中推导出情感和主题。 让我们先想象一下，你是一名初创公司的数据分析师，你的任务是从各种产品评论和新闻文章中提取出关键的情感和主题。这些任务包括了标签提取、实体提取、以及理解文本的情感...

Spark RDD（Resilient Distributed Datasets）论文 概要 1：介绍 2：Resilient Distributed Datasets（RDDs） 2.1 RDD 抽象 2.2 Spark 编程接口 2.2.1 例子 – 监控日志数据挖掘 2.3 RDD 模型的优势 2.4 不适合用 RDDs 的应用 3 S...