亚马逊AWS官方博客
大语言模型工程化:挑战与解决方案
本文通过一个企业翻译应用案例,全面阐述了大语言模型应用从构思到上线的完整过程。文章讨论了业务场景发现与目标设定的重要性,分析了翻译应用面临的主要挑战,如专有名词翻译、长文本处理、翻译风格、准确度提升等。针对这些挑战,文章提出了使用定制模型、自省机制、专有词表、长文本拆解等解决方案。此外,还探讨了安全合规、部署策略、模型评估、用户反馈等重要考虑因素。最后,文章勾勒出一个通用的大语言模型应用架构,为企业构建和部署大语言模型应用提供了全面的参考框架。
升级了来自 Anthropic 的 Claude 3.5 Sonnet(现已推出)、计算机使用(公测版)Amazon Bedrock 中的 Claude 3.5 Haiku(即将推出)
四个月前,我们在 Amazon Bedrock 中推出了 Anthropic 的 Claude 3.5,这 […]
Network Firewall 部署小指南(四)通过私网 NAT 实现零停机变更
本文介绍了一种在 AWS 中使用 AWS Network Firewall(NFW)检查和过滤私有子网出站流量的新部署架构,该方案无需变更现有 NAT 网关和公网业务子网,并能实现变更过程的零停机。
利用大模型 embedding 结合 Aurora PostgreSQL 实现医疗术语检索增强生成的解决方案
在这篇博客中,我们将讨论使用双路召回的方式来优化医疗文献检索。其一是利用大模型对所有医疗文献的摘要进行 embedding,输出的向量数据存储到向量数据库;用户检索时,把用户输入的医疗术语进行 embedding 向量化,在向量数据库中进行相似性检索,找到最相似的文档。其二是通过对文献的摘要提取关键字,存入 Aurora PostgreSQL 中并创建倒排索引,实现对用户输入进行全文检索。两种方法结合,提高文档召回的精确度,缩小上图中的 Medical data 的范围和尺寸,达到减少幻觉并降低 token 数的诉求。
AWS 一周综述:代理式工作流、Amazon Transcribe、AWS Lambda 见解等(2024 年 10 月 21 日)
代理式工作流正迅速成为 AI 创新的基石,该服务使智能系统能够以类似人类解决问题的方式自主处理和优化复杂任 […]
使用 Envoy Redis Proxy 在 Amazon ElastiCache 集群进行数据同步
背景 随着 IT 信息系统在各行各业的演进越来越快,用户对 IT 信息系统的依赖性越来越强,对 IT 信息系统 […]
Network Firewall 部署小指南(三)安装指南
Network Firewall 为您的 VPC 和子网提供了全面的网络流量检查与防护功能。本文将基于出站流量检查分布式部署模型,详细阐述如何通过 AWS Console 完成 NFW 的安装过程。安装和配置完成后,NFW 的安全策略能够对私有子网中的主机进行所有对外 Internet 访问的控制,并将这些访问活动记录在 NFW 日志中。
条条大路通罗马 – Spring Data Redis 连接 Elasticache Redis 集群模式
1. 前言 Amazon ElastiCache 是一种 Web 服务,可让用户在云中轻松设置、管理和扩展分布 […]
AWS Graviton4 加速 Apache APISIX 消息处理
本文将比较 4 种相同大小的 EC2 实例在执行 APISIX Benchmark 时的性能和性价比,总结在 Graviton4 使用 APISIX 的优势,并提供 Benchmark 环境搭建和执行的操作步骤。
备份 Amazon Aurora MySQL 审计日志文件到 Amazon S3 方案
在数据库的安全合规中,通过记录操作日志来进行数据库审计是一种常规的方法。本篇博客聚焦备份 Amazon Aurora MySQL 高级审计日志到 S3,可以显著降低成本来管理审计日志。
