亚马逊AWS官方博客
采用大型语言模型的生成式人工智能 — DeepLearning.AI 和 AWS 的全新实践课程
生成式人工智能风靡全球，新一波广泛采用人工智能的浪潮开始袭来，每种客户体验和应用程序都有可能通过生成式人工智能进行重塑。生成式人工智能可用于创建新内容和新想法，包括对话、故事、图像、视频和音乐。生成式人工智能由超大型机器学习模型提供支持，这些模型是根据海量数据（通常称为基础模型（FM））进行预训练后生成。
其中一部分 FM 又称为大型语言模型（LLM），通过在大量自然语言任务中接受数万亿个单字的训练而生成。这些 LLM 能够理解、学习和生成与人类生成的文本几乎没有区别的文本。不仅如此，LLM 还可以参与互动对话，回答问题，总结对话和文档，并提供有效建议。它们可以为许多任务和行业的应用程序提供支持，比如营销创意写作、法律文件摘要、金融市场研究、医疗保健模拟临床试验以及软件开发代码编写。
各企业纷纷采取行动，将生成式人工智能集成到其产品和服务中。这增加了对数据科学家和工程师的需求，他们了解生成式人工智能以及熟知如何应用 LLM 来解决业务使用案例。
因此我很高兴地宣布 DeepLearning.AI 和 AWS 将在 Coursera 的教育平台上联合推出一门新的实践课程采用大型语言模型的生成式人工智能。数据科学家和工程师学习该课程后，可以精通如何为实际应用程序选择、训练、微调和部署 LLM。
DeepLearning.AI 由机器学习和教育先驱 Andrew Ng 于 2017 年创立，其使命是通过提供世界一流的人工智能培训来发展全球人工智能社区并实现这些社区的互联互通。
DeepLearning.AI 与来自 AWS 的生成式人工智能专家合作，包括 Chris Fregly、Shelbee Eigenbrode、Mike Chambers 和我，为希望学习如何通过 LLM 构建生成式人工智能应用程序的数据科学家和工程师开发和提供这门课程。我们综合了 Amazon、AWS 和 Hugging Face 的各行业专家和应用科学家的意见，在 Andrew Ng 的指导下研发了课程内容。
课程要点
这是第一门专门针对 LLM 的 Coursera 综合课程，详细介绍了典型的生成式人工智能项目生命周期，包括确定问题范围、选择 LLM、根据您的域调整 LLM、优化部署模型以及集成到业务应用程序中。该课程不仅侧重于生成式人工智能的实践性，还重点介绍了 LLM 背后的科学性及其有效性。
按需课程分为三周的内容，包括大约 16 小时的视频、测验、实验和额外阅读内容。由 AWS 合作伙伴 Vocareum 主持的操作实验让您可以直接在课程提供的 AWS 环境中实际应用这些技术，包括使用 LLM 和探索其有效性所需的所有资源。
通过短短三周课程的学校，您就熟练地可以在业务和实际应用中使用生成式人工智能。让我们快速浏览一下每周的课程内容。
第 1 周 — 生成式人工智能使用案例、项目生命周期和模型预训练
在第 1 周的课程中，您将学习为许多 LLM 提供支持的转换器架构，了解这些模型的训练方式，并考虑开发它们所需的计算资源。您还将学习如何在推理时使用提示工程和指定生成式配置设置指导模型输出。
在第一个操作实验中，您将为给定的生成式任务构建和比较不同的提示。在这项操作中，您将汇总多人之间的对话。例如，想象一下总结您与客户之间的支持对话。您将学习提示工程技术，尝试不同的生成式配置参数，并试用各种采样策略，从而研究出用于改进生成的模型响应的方法。
第 2 周 — 微调、高效参数微调（PEFT）和模型评估
在第 2 周的课程中，您将学习通过微调过程使预训练模型适应特定任务和数据集的方法。通过一种称为高效参数微调（PEFT）的微调变体，您可以使用很小的资源（通常是单个 GPU）对大型模型进行微调。此外，您还将了解用于评估和比较 LLM 性能的指标。
在第二个实验中，您将动手体验高效参数微调（PEFT），并将结果与第一个实验的提示工程进行比较。这种并行比较有助于您直观地了解不同技术对于 LLM 适应特定域的数据集和使用案例的定性和定量影响。
第 3 周 — 利用人类反馈强化学习（RLHF）、检索增强生成（RAG）和 LangChain 进行微调
在第 3 周的课程中，您将学习利用“人类反馈强化学习”（RLHF）技术，让 LLM 的响应更加人性化，并符合人类的偏好。RLHF 是提升模型诚实性、无害性和帮助性的关键方法。您还将学习例如检索增强生成（RAG）之类的技术以及例如 LangChain 之类的库，通过这些技术和库，LLM 可与自定义数据来源和 API 集成，以进一步改善模型的响应。
在最后一个实验中，您将动手体验 RLHF。您将使用奖励模型和称为近端策略优化（PPO）的强化学习算法对 LLM 进行微调，以提高模型响应的无害性。最后，您将评估模型在完成 RLHF 过程前后的无害性，直观地了解 RLHF 对于使 LLM 符合人类价值观和偏好的作用。
立即注册
采用大型语言模型的生成式人工智能是一门为期三周的按需课程，面向想要学习如何通过 LLM 构建生成式人工智能应用程序的数据科学家和工程师。
– Antje