技嘉已正式发布其新的本地AI模型训练和微调实用程序,可与新系列AI硬件配合使用。将新实用程序与技嘉推荐的硬件配合使用,用户可以本地训练和微调具有多达2360亿个或更多参数的AI模型。以前,训练这种规模的AI模型通常需要远程数据中心的帮助。
新的基于Linux的AITOP实用程序与Gigabyte硬件配合使用,专门设计用于运行AI模型。该列表包括主板、AITOP品牌的SSD、显卡和电源。目前,专用网站仅包含单个电源和主板。它还列出了两个SSD和三个显卡。
根据新闻稿,技嘉的其他显卡应该可以与AITOP配合使用。其中包括技嘉的NvidiaGeForceRTX40系列显卡、AMDRadeonRX7900系列、RadeonProW7900和W7800系列。
AITOP已准备好支持HuggingFace上的70多个开源LLM模型。这些模型包括Baichuan2、Distill-GPT2、GLM4、Llama2和Llama3等。尽管HuggingFace列出了超过770,000种不同的模型,但AITOP中的选择受到多种因素的限制,包括实际上仍然是台式电脑硬件的内存容量限制。
通过在本地执行AI模型微调,用户可以更加放心在训练模型时他们的敏感数据保持安全和私密。用户无需具备AI编程技能即可使用该工具,仪表板可轻松监控硬件加载状态和训练质量。
技嘉将过去用于训练AI模型的复杂命令参数简化为可自定义的设置和易于操作的微调选项。它提供了技嘉所谓的“友好图形用户界面”,以帮助初学者和更有经验的用户了解信息和设置。
技嘉的软件还包括其AITOPTutor,这是一种AI技术,可帮助为初学者和高级AI模型操作员提供AITOP解决方案咨询、设置指导和技术支持。该实用程序仅在Linux下运行,可从技嘉的网页免费下载。