无监督学习是什么?没有预先标签时怎样寻找数据结构
用客户留言聚类解释无监督学习,说明特征和距离怎样影响分组,并区分自然分组、业务分类与异常判断,避免把聚类编号当成真实标签。
先理解这个概念
无监督学习从没有预先目标标签的数据中寻找结构,例如把相似样本聚成一组,或学习更紧凑的数据表示。它并非不需要人为选择:数据表示和算法设置仍会影响结果。分出的组不自动等于真实业务类别,发现异常也不等于确认欺诈,解释与验证需要回到原始样本和任务目的。
聚类按相似性分组而非学习答案表
假设一批客户留言没有退款或配送标签,可以先表示成向量,再按相似性聚类,查看每组常见内容。系统产生的第一组或第二组只是标识,名称通常需要阅读样本后确定,不能因为编号稳定就当作已经识别了业务意图。
这个例子用于说明探索方法,没有对客户资料做实际分析。如果任务已明确只有两类,并且有可靠标注,监督分类可能更直接。无监督学习更适合先探索未知结构,但不能凭少量样本就认定所有潜在类别都被发现。
特征尺度和距离会改变发现的结构
若用消费金额和购买次数聚类,数值尺度不同可能让某个字段主导距离。文本向量也会受表示模型影响。算法没有标签可以对照,不表示设置可以随意,仍要检查输入处理和相似性是否符合实际问题。
不同聚类算法对群组形状和噪声的假设不同,有些需要预先指定组数。不能仅挑一个图形最整齐的结果。应阅读组内相近样本及组间边界,检查同一种留言是否被分散,以及明显不同的内容是否挤在一起。
探索结果要与业务判断保持距离
聚类可以帮助整理主题或挑选后续标注样本,异常检测可以提供复查线索。但群组是否值得采取行动,需要另外的业务依据。一个客户处在少数群组,只能说明在当前表示下比较特殊,不能据此直接作出负面判断。
保存算法和处理方式,定期比较新数据是否改变结构。若后来获得标注,可以用独立样本检查这些分组是否有用。本文依据公开算法资料解释边界,没有报告真实客户群组或把任何聚类结果写成经过验证的市场结论。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。