这项工作为LLM引入了可学习的半结构化稀疏性。MaskLLM模型将掩码选择视为一个分布学习问题，通过在大规模数据集上进行端到端训练，可以创建准确的掩码。学习到的通用掩码可以进一步转移到下游任务或域，实现无损压缩。