| |
|
|
- 开源大模型本地部署与应用
- 因为信息安全和领域专业的需要,很多企业需要大模型的本地化部署,本讲座结合开源大模型实例,讲解 大模型的选型、本地部署和应用。
-
- 主讲:刘老师,哈佛大学人工智能方向博士后/高级访问学者
- 时间:2025年10月18日
- 费用:免费
- 地点:在线交流,会议网址报名接收后通知
- 限制人数:100人
|
- 交流安排
-
- 1. 开源大模型概览
2. 开源大模型的本地化部署
① 模型选型与获取
② 推理实现
③ 微调训练
④ 在线部署
3. 开源大模型应用
① 大模型调用
② 利用RAG技术
③ 开发智能体应用
- 目标听众:关注AI的技术人员
请关注"火龙果"官方微信号,可以订阅讲座实录,还可以了解后续的课程,欢迎参与!
-
-
|
|
|
| |
|
问题1:在普通电脑上使用的场景? 问题2:大模型在无人机领域,航迹规划避障领域应用? 问题3:大模型客服系统应用的水平?
| 问题1:大模型模型部署后的保护措施有哪些? 问题2:物联网设备目前部署大模型仍然存在瓶颈,未来这个方向的发展态势? 问题3:大模型在网络安全的应用情况?成熟度如何?
| 问题1:如何选择模型 问题2:如何解决数据安全问题 问题3:如何部署
| 问题1:如何在Android端部署自己训练的模型 问题2:Android端部署模型有哪些问题和卡点 问题3:Android端部署模型有哪些限制
| 问题1:如何减少开源模型部署的复杂性,有没有相应的解决办法? 问题2:金融、医疗等行业为何倾向本地化部署?如何实现数据隔离与低延迟推理? 问题3:开源大模型在垂直领域(如医疗、法律)如何通过微调实现专业化?
| 问题1:开源大模型的选型思路
| 问题1:如何对Gemma 3n 或者 Embedding Gemma进行微调,扫描语言对话中的敏感信息如涉及个人信息,银行账号,转账 ,还有识别人的情绪紧张,焦虑等
| 问题1:本地化部署对电脑硬盘配置要求为什么会那么高,一般配置的电脑都没法去部署后正常使用。
| 问题1:如何提高RAG的检索效果 问题2:不同的微调方法的比较,适用条件
| 问题1:开源模型微调后的价值有多大, 怎么全面评估。
| 问题1:如何正确打包环境在离线环境镜像部署 问题2:大模型场景选型及对应的具体资源匹配情况,什么样的资源应该选择什么样的模型。 问题3:模型在数据处理中的安全问题如何规避
| 问题1:在企业私域模型,智能体应用中,面临如合同、招投标文件超长文本校对时,如何结合最新法规、企业自己内控要求、法务自身经营,超出上下午长度下完成这个场景
| 问题1:大模型算力和数据存储的安全性如何确保? 问题2:生产环境的数据如何防止大模型篡改? 问题3:大模型在数据库运维中能做哪些工作?
| 问题1:知识图谱应用方面,模型选型 问题2:对于实体、属性、关系提取,是否用不同的模型效果会好一些 问题3:用过deberta、LLM,效果都不太好,尤其是实体对齐方面,F1较低。
| 问题1:自己部署的模型能不能跟常用的线上AI工具整合实现强大而又便捷的AI功能? 问题2:输入一键优化功能如何实现?自己部署的LLM为常用的AI编程、生图模型做输入优化效果如何? 问题3:把自己部署的模型集成到常用的IDE进行AI编程兼容性怎么样?
| 问题1:开源大模型部署后如何训练优化 问题2:开源大模型部署后怎么变成自己的智能体?
| 问题1:怎么评判一个大模型能力的优劣?现在小尺寸模型越来越多,0.4B、0.7B的都有了,是否可以在普通电脑上部署?性能怎么样? 问题2:怎么做微调,怎么使用RAG?
|
|
|