研华携手满拓科技、群联举办LLM工程师实战营
2024/8/7
近期，研华与满拓科技、群联电子于7月26日在研华林口智能园区，共同主办了首场「Edge AI工程师实战营- LLM大型语言模型班」，本次实战营旨在帮助企业快速建立「可负担的」自有生成式AI平台，通过研华AIR-520 LLM边缘运算服务器所提供的独家功能，如预训练模型、AI推论、大量部署『Edge AI SDK & DeviceOn』，结合群联aiDAPTIV+技术与满拓科技的DeepExpert落地解决方案，让企业客户仅需针对内部资料进行设定及微调，即可轻松打造专属的生成式AI环境，摆脱GPU和VRAM的高昂建置成本。
此次实战营将分享医疗照护、半导体、零售行业的LLM实作案例，瞄准企业在职工程师、产品经理、军公教、科研单位的实作需求，与其他课程不同的是，学员结业后即可打造企业自有LLM，从硬件验证、大型语言模型训练、AI推论到大量部署的软硬体整合。
联合软件生态伙伴培育企业生成式AI人才
研华台湾营运处副总经理林其锋表示，台湾生成式AI市场将逐渐发展企业自有平台，而嵌入式应用需求多样且广泛，企业在导入GenAI时即面临技术与资金的门坎，也因此研华希望与合作伙伴，从培育人才、技术服务、商务咨询着手，协助客户降低生成式AI模型落地的困难，「Edge AI工程师实战营- LLM大型语言模型班」正是研华推动企业自有LLM平台的第一步，竭诚欢迎有实作需求的企业用户参加。
满拓科技执行长吴昕益指出，研华拥有完整的边缘AI运算软硬体整合方案，并有多年为嵌入式客户服务的经验，深知企业在落地LLM所面临的挑战。因此，满拓与研华携手合作，从人才培育解决客户痛点，在实战营中，满拓将结合研华AIR-520 LLM边缘运算服务器进行实机演示，包括LLM Fine Tune平台、文档管理、客户服务及Fine Tune概念等，并搭配Chat应用于医疗照护、半导体、零售行业等客户案例。
工业级LLM边缘运算解决方案仅传统模式1/10的训练成本
研华「Edge AI工程师实战营- LLM大型语言模型班」于7月26日全日于研华林口智能园区举行，首批招生20位企业学员。课程以研华AIR-520 LLM边缘运算服务器作为实作硬件平台，其搭载AMD EPYC 7003 Milan系列CPU、支持4个PCIex16扩充插槽、可容纳最多4张NVIDIA RTX 4000 Ada GPU卡，最高可支持Llama-3 70B LLM容量。AIR-520结合群联aiDAPTIV+技术，提供on-premise Fine Tune LLM训练的服务，解决在cloud端执行生成式AI模型微调运算所造的数据外泄疑虑，可维持数据安全性，且模型训练成本相比传统模式仅1/10。
此外，AIR-520搭配Edge AI SDK开发套件与其它研华边缘推论运算装置（如：AIR-030、AIR-310等），不仅简化了LLM Fine Tune训练，并且提供缘推论运算装置上的快速评价（Inference Benchmark Tool）、推论运行开发工具（Inference Runtime SDK）和推论部署平台（Inference Deployment Platform）。透过搭配DeviceOn加值软件工具，针对大量、远端的边缘系统，方便地管理AI模型、程序的更新。
-25/PR-AIR-520_w820h46020240830105212.jpg)
-25/AIR-520_04--20240503141558.jpg)
