杂。”顾彦平淡淡道。

领导以身作则，做的还比你更多，这下你没啥话好讲。

赵元任只好把话咽回去，他转而提起：“那什么时候要做完？”

顾彦平说：“我什么时候做完，你能有T+1的时间。”

他妈的组长还是个股民？难怪语气阴沉，估计最近没少赔。只买基金不买股票的赵元任腹诽道。

“哦对了，你注意看组的公共空间，每天我会把我的经验做上传，包括Boss的一些算法，和应用的注意事项我会上传到我们组的代码仓库里，你注意看。

那会节约你非常多的时间。”

自此，无休止的开始转动了。

赵元任感觉自己就像是一个齿轮一样。

他把文件分块下载，然后打开查看，这才发现这些资料压根不能直接用于训练。

网页里充斥着导航栏，广告，版权声明，推荐链接之类的内容。

另外一篇文章可能被不同的网站转载几十上百次，标题只是稍作修改，内容几乎完全一致，百家号的泛滥导致去重工作是天量。

论坛帖子则有大量无意义的回复。

千禧年的回复，“我顶”、“沙发”、“路过”、“露珠好人”。

再加上中文文本本身的复杂度。

简体繁体异体字混杂，全角半角符号不统一，网页编码错误会把一段正常文字变成乱码。

火星文就不说了。

有些内容看上去是中文，实际上是机器翻译的语句，语法正确，表达方式却格外怪异。

种种问题堆叠在一起，赵元任找不到切入点。

这就好像已经被猫打乱的毛球，所有的线头混在一起，你压根找不到最初的那根线头。

晚上十点，马辽起身，“走？”

赵元任看了眼自己处理后的文本，数据量比上午减少了百分之四十，心想已经够了，但他很快打开公共仓库看了眼，顾彦平的已经清洗完了。

还写了一篇文档给他们看：“数据清洗第一天。”

他下意识道：“算了，马里奥，你先走吧，我再看看。”

“......别指望靠规则去判断内容质量，格式混乱的内容不一定就没有价值，格式标准的内容也可能全是垃圾。

以这篇内容为例，这是标准的垃圾内容...”

接下来是举例，一篇营销软文，前面在讲失眠危害，中间列几个毫无意义的常识

本章未完，请点击"下一页"继续阅读！ 第2页 / 共3页