做了两年短视频审核员后，陈樊有时会分不清现实和网络世界。现实中听到有人骂脏话，不小心在马路上看到老鼠、流浪猫被轧流血，或是看到小孩出现在超市刀具区，他的第一反应都是：“毙”掉它。
陈樊的日常工作就是坐在电脑前，日复一日地速览千余条视频，识别其中低俗、涉黄或暴力等违反法律法规、公序良俗的内容，轻点鼠标和键盘，将其“打回”，不予发布。
每一个用户在互联网平台上看到、听到或传播的内容，包括文章、评论、声音、字幕、弹幕、广告、直播、用户头像、买家秀等，都需要经过互联网公司内容审核部门的筛选和监测。而在这些偌大的信息工厂里，每一条以不同形式呈现的内容都被放在流水线上，经过机器初筛和分类、人工审核、抽检、推流或限流等环节，分发到网络能到达的世界各个角落。
当用户为获得流量和关注花式“整活儿”时，各大平台也紧绷着弦儿，不断更新自身的审核规则，并将其通过算法、策略和人工审核等构成的一整套审核体系落地。仅人工审核环节，互联网大厂便需要数万名像陈樊这样的基层审核员，他们分布在全国的多个审核基地内，以分秒计地处理海量信息，三班轮换，24小时、365天在线把关。
实际上，几乎每家大厂都设置了审核岗，尤其是内容类平台，规模最大的当数字节跳动，其直接或间接雇用着数万名审核员，用“人墙”堆起了保障平台内容质量安全的“防火墙”。据不完全统计，国内互联网公司内容审核员的从业规模已经达到10万人以上。
某种程度上，审核员可以被视为内容流水线上的“数字工人”。但陈樊更愿意称自己为互联网“保安”，因为他的工作就是把不合规的内容拦在门外。
张塬是腾讯旗下内容标准化方案提供商云雀（下称“腾讯云雀”）的一名审核员，日常工作是审核腾讯视频平台上用户发布的原创视频。每一条视频已经被机器算法提前细分成若干分类，而他的任务只是排掉特定的“雷”，比如敏感词汇，涉黄赌毒内容，少儿类动画视频中出现的血腥、暴力打斗画面等。
这些通过算法初筛并成功发布到平台上的视频，会进入待审核的“视频池”内，在这期间至少能被个别用户看到，经过审核员们随机分检后，才会被推流。如果张塬发现其含有不合规的内容，就会添加标记，驳回，如遇到疑难案例，则申请上级部门复核。
张塬所在小组负责的“视频池”里每天有7000多条内容，有时数量会增减，分摊下来，组内审核员每天至少要审380条视频，长中短视频均有覆盖。有时候遇到长达2小时的解说类长视频，张塬只能跳着看开头、中间和结尾。工作量不允许他面面俱到。
对审核员来说，工资和审核量、准确率直接挂钩。张塬所在的腾讯云雀天津基地将审核业务依据难度分成1段5段，再根据审核数量分成1星5星。腾讯云雀按照不同的内容类型将业务部门划分为业务段，当审核员的有效工作量超过所在业务段的基本数量要求后，超出的部分可以按照阶梯单价折算成绩效工资，每条单价在0.3元0.5元左右，审得越多，超额部分的单价越高。
张塬所在的业务段，5780条是最低标准，算下来每天保底275条，但没有人会满足于只拿及格线的工资，且客观上的激励机制、来自主管的要求、团队氛围等，使得每个人都“卷”了起来。
张塬刚入职时，每天的工作量要求是310条左右，一周后正式上机，已经涨到380条了。“有些员工铆足劲争第一名，审更快、更多，加班干，一个月能做到1万多条，也带动整个团队流水线提速，后来，及格线也一再提高。”
而牵制着审核量无限提高的另一因素是准确率。张塬所在业务的月度准确率底线%，低于此，审核员就会被扣除相应系数的绩效，低于95.5%则当月绩效为0，连续两个月低于95.5%可能会被劝退。
用户会随时发布内容，这要求审核员也必须24小时在岗，因此互联网大厂的审核员需要三班倒，一般分为早班、小夜班和大夜班。对多数审核员来说，最煎熬的是大夜班，一般是在晚上11点至次日8点工作，每月轮3次5次，大夜班会有每小时8元的补助。
大夜班的好处是审核量相对少一些，但作息颠倒导致的生理不适也让审核员的健康亮起红灯：上完大夜班后，张塬偶尔会突然心悸、心脏疼。
另一位在互联网中厂工作的审核员说，她每天上班是掐着小时度过的。此前，该公司根据大数据，剔除工作量最高和最低者，算出大部分人的平均审核速度约为200条/时，约7.5小时完成当天工作，据此算出每天工作量是1500条图文内容，剩下的半小时是喝水、上厕所时间。到了今年5月，每天的工作量已经涨至1600条，“相当于每天多了半小时的量，做不完，自己留下来加班，且没有加班费”。为了达标，她和同事们不得不审得更快些，吃午饭时也抱着电脑。
比起图文、视频，实时进行的直播更考验审核员的敏感度和耐力。陈樊说，尤其要注意深夜异常热闹的直播间，可能有穿着暴露、言语暧昧的主播出现，这时他只能打起精神，并养成一眼鉴别“擦边”内容的能力。
有时，投稿人还会带着挑衅、戏弄的心态，试图钻审核体系的空子。有一次，陈樊上大夜班时，审到一个短片，突然视频中的人物一回头露出面目狰狞的鬼脸，这给他留下不小的心理阴影，以至于下了班自己不太敢看电影。
张塬更害怕质检部门发来的漏放、错判的弹窗信息，这意味着扣钱、扣分、一天白干。今年开始，他每月到手的工资从5000元降至3000元左右，“大家更喜欢十几秒的短视频，而看剧的人少了，直接导致待审视频变少，有时候一天只能审100多条”。
审核员的工作性质，决定了内容审核行业具有人力密集型的特征。互联网大厂也在不断摸索方法，研究如何组建并管理庞大的审核业务。
公开信息显示，腾讯全资子公司腾讯云雀、腾讯瑞德铭等主要承接腾讯整个公司的内容审核业务，腾讯云雀旗下有西安、海南、武汉、天津等多个审核基地。B站的审核团队主要在南京、芜湖、成都，小红书的审核团队扎根武汉，快手则在成都、武汉、天津等地布局审核业务。
作为内容分发行业的巨头，字节跳动也在国内拥有大规模的内容审核团队，其下设的内容质量与数据服务平台（下称“字节CQC”），对今日头条、抖音、西瓜视频等十余款产品的内容安全与质量进行把关。
审核扛起了互联网公司内容质量保障和安全风控的重担。为了实现这一目的，字节跳动搭建了一个由算法、策略、人工审核构成的闭环控制系统，这也是拥有大量用户规模和内容基数的大厂开展内容审核的主流思路。
字节CQC的管理人员苏昉向经济观察网透露，字节跳动将人工审核业务分给三类公司承接。第一类是字节跳动在全国设立的十余个审核基地，位于天津、济南、西安、武汉等地，员工签约主体为字节跳动子公司，享受字节跳动员工的福利待遇，这类业务被称为“内包”。第二类是“卫星城”项目，字节跳动把业务分流到大城市旁的小城市，如广东清远、四川内江等地，一线审核员用外包形式雇佣，管理岗位由字节跳动派驻。第三类是将非核心审核业务交由第三方公司的纯外包业务。这三类业务对审核员的招募要求不同，一般情况下，用工成本逐级递减。
字节跳动未披露过审核业务的具体信息，据财经媒体《晚点 LatePost》的报道，2021年初其审核团队已超2万人。苏昉透露，如今该审核团队的整体规模较3年前有所增长。
和传统制造业相比，互联网平台生产的内容数量庞大、琐碎且复杂。以字节跳动为例，其平台上的内容涵盖文章、小说、图片、短视频、音频、直播、弹幕、评论、广告甚至用户头像、个人信息等，都需要审核。仅今日头条，日活跃用户数上亿，创作者每天上传的内容达百万篇量级。
苏昉说，互联网公司是靠数据指标来运转的，要完成某个产品的审核任务，需要先把所有内容拆解，细化成数百个、数千个项目，再制定审核规则，交给每个基地的团队去招人、培训、上机实操。而基地的管理层、字节CQC中台部门通过回收审核数据，来检验审核的结果，并不负责调整审核规则。
字节跳动人力资源部门前员工魏洵曾负责该公司某审核基地的人员招聘，如培训师、不同职级的管理岗等。他透露，字节跳动本部负责招聘管理序列，而一线审核员则通过外包的人力资源公司大批量招聘。
不同职级的管理岗支撑起整个审核基地的运作和管理。魏洵和业务部门对齐人才画像后，摸索出了一些心得：和内容审核管理岗最适配的是电销团队的管理者，例如苹果售后、移动客服的管理人员。“（这些业务的）场景很像，都是管一批人进行简单的流水线工作，而且电销会有管理超200人的管理岗，其他单位很少有这样大的管理幅度。一个基地多则上千人，管理难度不亚于一个制造业大工厂。”
除此之外，魏洵还常盯着出身快消品、餐饮连锁店的管理人员，如国美电器、麦当劳、肯德基、手机品牌线下门店的店长或经理等，定向挖人。
实体商业的管理经验有时无法适配到内容审核业务中，所以来自头部快消品的质量管理师有了用武之地。“这类管理者有运用工具保证车间质检率的经验，如果能借此创造出新的测量工具，能作为调整审核员绩效激励机制的参考。”魏洵说。
审核员的工作不仅是排“雷”。海量内容经审核、分类处理后，能形成一系列数据，作为衡量各产品内容质量的反馈。一定程度上，内容审核不仅是监管要求使然，其背后还是一家互联网企业价值观的映射：依据什么标准，来分辨一条条内容孰优孰劣。
在大型内容平台上，每天巨量的原创内容必须先经过机器审核，再由审核员识别违规内容、有潜力获得更大流量的优质内容等，背后需要算法和策略部门制定后验式的规则。因此，除了人工审核，后台算法部门和中台策略部门也发挥着重要作用。
一位字节CQC策略部门人士称，他主要负责对接审核基地，参与修订审核规则的工作。如果人力和成本没有上限，平台上的所有的内容都可以过一遍人工审核。正因为有上限，所以需要策略部门来决定哪些内容由机器来审，哪些内容优先审、从严审。
“红线”规则较为明确，即相关监管文件里的条文精神，它是不可逾越的生命线，也是各大厂审核里优先、紧急和重要程度最高的部分。
但除此之外，还有大量内容处在灰色地带。不同平台也在通过机器审核和人工审核等环节，在尽量不影响用户体验的情况下给予这类内容一定的包容度。
上述字节CQC策略部门人士补充说，内容审核的标准不是非红即黑的，有一定的主观性。而且，内容管理也可以非常精细化，平台上的每条内容都有一个维度叫可见度，大厂以此限制内容的传播，例如仅用户自己可见，或是在流量上限定传播范围，包括小端小推（仅在部分端口推广）等。例如，一些博主在视频中分享股票、基金等涉及金融的观点，但他没有给出明确的投资建议。这类内容既有正面科普作用，也可能带来风险，但并非绝对的“红线”风险，所以平台会在可见度等维度上将其限流。
有些用户因为内容阅读量过低，常会投诉平台限流。“有时不关平台的事，单纯只是他的内容没什么人看而已。”上述字节CQC策略部门人士解释。
站在互联网公司的角度，让审核员保质保量完成工作的同时，持续优化成本，是内容审核业务的重要课题。
将审核基地转外包，便是其中的一个降本思路。2022年，字节CQC内部开始推动审核业务商务流程外包（BPO）实验，将不同核心程度的审核环节外包，并对比效果，以选择最优方案。
苏昉参与了多个字节CQC审核业务从基地转外包的工作。他说，不只是字节跳动在做审核外包，在互联网行业审核业务的用工管理上有个很明显的趋势：外包越来越多了。不同大厂之间比拼的是把降本增效做到极致，又不影响内容质量和安全。
上游的产品部门核算成本时，觉得审核业务所占成本过高，就会向字节CQC发起降本需求。苏昉和团队的工作是给出多个将审核基地（内包）转“卫星城”或转外包的方案，其中包含转外包后成本预计降多少、风险提高多少等数据。苏昉需要给出具体建议，哪些审核项目更适合转成外包，而涉及敏感信息的部分项目，如果交给外包公司做，审核员走神或对规则不熟悉，导致错放、漏放问题内容后，平台可能因此面临处罚。
选择哪些外包公司，是采购部门的工作，苏昉需要给出需求，如外包公司需要具备哪些招人的能力能否快速招到符合资质标准的人，如果有临时项目或审核业务临时爆量，能否在短时间内招到足量的人。谈好外包公司后，字节CQC还需作为甲方，在前期明确招聘审核员的要求、培训审核规则，在中后期不停地进行抽检等工作。
将基地转去哪里，字节CQC在选址上首先考虑人力成本，其次评估外包公司的报价、口碑，最后才会考虑是否离其办公地更近一些，方便出差。基于此，“审核之都”也在不断下沉，从最初的天津、济南、武汉、西安等青年劳动力充足的二线城市，转移到三四线城市，例如腾讯云雀下沉到河北邯郸、海南澄迈，字节跳动CQC去了四川内江、广东清远。苏昉经手的基地转外包项目，降本比例能达到10%30%，这和城市能级、人员素质和薪资水平直接相关。
为了承接内容审核业务，许多城市推出税收优惠政策、兴建产业园，以此吸引互联网公司进驻。这个互联网行业边缘工种，能给一座二三线城市创造过万的就业岗位，众多年轻人将留在当地纳税、消费和买房。近年来，天津已有腾讯、字节跳动、快手、陌陌等公司的审核业务落地，武汉凭借高校资源优势，也吸引了字节跳动、腾讯、快手、网易、百度、小红书、B站、斗鱼、金山、小米、搜狐、Soul等公司聚集。
苏昉还表示，拉动就业率能让这些公司获得当地政府的税收政策支持，这也能缩减一定的成本。
先使用机器审核完成初筛，再使用人工审核复审，目前仍是互联网公司采用的主要审核流程。但用机器算法代替人力，已成为内容审核行业降本的另一重要手段。
某家互联网小厂的一位前内容审核基层管理人士称，以前没有人工智能（AI）的年代，需要铺设大量人力去做审核。后来，可以24小时不间断进行审核的AI算法替换了很多人力，留下来的审核员主要做样本校正维护、训练AI、处理AI过滤不了的问题等工作。
AI对审核效率的提升效果十分显著。“以前人工审一张图需要3秒5秒，会有视觉疲劳，按照政策要求先审后发，会有内容积压。”上述小厂前基层管理人士说，现在内容审核工作已经能实现机器秒过，扫描几十万字符的内容可能只需要十几分钟，大厂的服务带宽和模型库条件更好，机器审核速度就更快了。
上述小厂前基层管理人士表示，2019年，他所在公司刚接入AI审核的时候，机器审核的准确率只有70%。随着各公司的策略部门不断优化模型、补充模型、识别变种模型，目前行业内的机器审核准确率可以达到85%以上。
不过，用户也在不断对抗机器算法，有的用户会将涉敏感内容的图片旋转涂画、将敏感词用谐音字或首字母替代。苏昉说，这意味着人工审核暂时无法完全被机器审核替代，“当审核部门识别到多数用户存在新的违规行为，而机器算法覆盖不了，就必须调整规则，策略部门、算法部门和审核基地迅速开会拉齐信息”。
苏昉还称，不管是审核基地，还是中台的策略部门，现在正配合字节CQC提供审核数据，训练机器算法。“一定程度上，审核部门承担很多投喂数据、训练机器的任务，但把机器训练得越好，审核和策略部门人员被裁得也越快。”
据上述小厂前基层管理人士观察，受机器算法冲击最大的，就是基层审核岗位。很多已经适应当前基层工作、不会去主动学习更深层次的业务、安于现状的审核员，通常是互联网公司的裁员目标。
对陈樊来说，这不算是个好消息。在做了两年视频审核工作后，他发现自己的语言组织能力和逻辑思维能力明显下降。这份重复点击鼠标的工作，几乎不需要他进行表达和创造。龙8long8