开始准备
建立一个语料项目
导入原始文本后,系统会保留基础处理结果;后续增删停用词时只重新应用词表,不重复解析和分词。
导入原始文本后,系统会保留基础处理结果;后续增删停用词时只重新应用词表,不重复解析和分词。
等待导入
选择原始文件,并按数据类型确认正文列或拆分方式。导入后先检查文本数量、字符规模、空值和重复情况。
基础处理只需要完整执行一次。之后如果只是增删停用词,会直接复用已有分词结果,不重新解析原始文件。
先看高频词,再逐个判断是否属于噪音。每次调整只重新应用停用词,不重复执行文件解析和分词。
AI 只分析高频候选词和少量真实样本,给出“建议过滤 / 建议保留 / 人工确认”。系统不会自动删除任何词,最终由你决定。
可同时选择多个语言词库,与个人词库、TXT 和人工勾选词自动合并。应用词库只重新过滤已有分词结果,不会重新解析原始文件,也不会调用 AI。
词库默认全部关闭,由用户主动选择。通用词库覆盖范围较宽,应用后建议在“检查结果”中复核主题词是否保留。中文、英文为完整支持;其他语言词表已内置并标记为 Beta。
检查关键信息是否保留、噪音词是否已经处理。用于语义分析的完整文本会单独保留,不会因为筛停用词被破坏。
CSV 是正式清洗产出:text 列只包含最终清洗完成的文本,不会再混入原始文本、语义中间层或分词缓存;原有时间、评分、地区等业务字段会尽量保留。