无需代码,无需云:基于轻量级视觉语言AI的端侧设计稿转代码

生成式AI(文本、图像、音乐、视频)创意协作与反馈系统AI辅助写作与文本生成UI/UX 设计师软件工程师与开发者AI/ML 研究员与工程师

弥合视觉设计与功能代码之间的差距仍然是现代UI工作流程中的持续挑战,特别是对于小团队和非编程人员而言。现有解决方案(如Figma转代码工具和最近的视觉语言模型)通常依赖专有云API或大规模架构,限制了离线操作、隐私和控制。我们提出LiteViT5,一种轻量级的端侧视觉语言模型,可直接从设计稿图像生成HTML,实现无需云基础设施的私有化无代码原型设计。LiteViT5基于紧凑的ViT-T5编码器-解码器框架,包含235M参数,在分布内(WebSight)和分布外(Design2Code)基准测试中均取得竞争性结果。我们评估了其在结构、位置、颜色和基于CLIP的相似性指标上的性能,并报告其与PaliGemma-3B、LLaVA-7B和DeepSeek-VL-7B等大10-30倍的模型相当。我们进一步在24名参与者评估感知准确性、代码质量和可编辑性的用户研究中评估了LiteViT5。我们的发现表明LiteViT5支持快速设计迭代,减少了对开发者交接的依赖,使其成为民主化网页界面创建的实际辅助工具。这项工作凸显了高效、以人为中心的生成式AI在赋能界面设计方面的潜力超越了仅限于专家的工作流程。为支持透明性和可复现性,我们将LiteViT5作为开源模型发布在Hugging Face上。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/iui/226600/2026

广告推荐

学习 AI 编程到 CodeNow

一眼看懂

论文快照

fact_check
dataset
来源
IUI
calendar_month
年份
2026
emoji_events
奖项
未标记奖项
group
作者
3 位作者
sell
研究子方向
生成式AI(文本、图像、音乐、视频)、创意协作与反馈系统、AI辅助写作与文本生成
work
职业/产业
UI/UX 设计师、软件工程师与开发者、AI/ML 研究员与工程师
article
内容状态
仅摘要
hub
相关论文
3 篇相关论文