觉得有用,欢迎点「在看」或转发给同事。
「AI做的调研能信吗?」这是我聊竞品分析话题时被问得最多的一句。空口无凭,这次我直接实测:拿「在线教育工具」这个信息量巨大的赛道当考题,让WorkBuddy从零做一轮完整调研,五个维度逐项打分。评分只看结果,不讲情面。
先说结论:总分42/50,能顶替初级分析师80%的活,但有两个短板你必须知道。
维度一:信息搜集广度(9/10)
第一道题:「列出在线教育工具赛道的主要玩家,按细分方向分类」。
它联网跑了一轮,给出了23家公司,按K12、职业教育、语言学习、企业培训四条线分好类,每家附一句话定位和来源链接。我拿自己知道的名单对照,主流玩家没有漏掉的,还带出了两家2025年之后才起来的新公司——这说明它确实在实时搜索,不是背旧数据。
扣1分的原因:海外玩家覆盖偏弱,主动追问后才补齐。如果你的赛道涉及出海,记得明确要求「国内海外都要」。
维度二:信息准确度(8/10)
这是大家最担心的维度,我核得也最狠。我从它的调研结果里抽了15个硬数据——融资金额、定价、上线时间——逐个点开来源核对。
结果:13个准确,1个是过期数据(某产品去年调过价,它抓到旧定价页),1个来源页面已失效无法验证。87%的抽检准确率,比我预期高,但也证明了那条铁律:关键数字必须人工复核。好在每条都带来源链接,核对一个数字只要十几秒。
给8分:会犯错,但错误可追溯、可修正,这比说不清来源的「一本正经」值钱。
维度三:分析深度(8/10)
搜集是体力活,分析才见真章。我让它基于调研回答:「这个赛道未来两年的机会窗口在哪?」
它没有泛泛而谈,而是从前面的数据里推:差评高频词集中在「内容同质化」和「完课率低」,新融资集中流向AI互动课方向,由此推出「个性化学习路径」是最可能的突破口,并给出了三条切入建议。逻辑链完整,结论敢下判断,这是我给高分的原因。
差在哪:给的建议偏「正确的废话」的比例还有约三分之一,需要你追问「具体到功能层面怎么做」才能逼出干货。
维度四:报告成型能力(9/10)
一句话让它把全部调研整理成Word报告:结构完整、表格工整、摘要页干净,直接能进汇报现场。我唯一动手改的是把四级标题压成三级。从「一堆对话记录」到「一份能交的文档」只花了两分钟,这个维度它比大多数职场新人做得好。
维度五:持续追踪能力(8/10)
调研不是一次性的。我把两周前的旧档案喂回去,让它「重新搜索,标出这两周的变化」。它准确捕捉到一家竞品的新版本发布和一起并购传闻,并主动标注了传闻「未经官方证实」。扣分点:变化检测依赖你主动发起,它不会自己定时盯——想要全自动追踪,得配合定时任务功能来做。
附:我的测评方法,你可以自己复现
有读者问过我测评标准怎么定的,这里交代清楚,你拿自己的赛道也能照做一遍:
• 考题选自己熟的领域。只有你熟悉的赛道,才能判断AI答得对不对。拿完全陌生的领域测AI,测出来的其实是你自己的盲区。
• 每个维度只用一道题,题目提前写死,避免测的过程中不自觉地「喂答案」。
• 准确度必须抽硬数据核。观点对错见仁见智,但融资额、定价、日期这类硬数据有标准答案,核15个就能算出靠谱率。
• 同一道题隔天再问一次。我把广度题隔了一天重跑,两次结果重合度约九成,说明输出稳定,不是碰运气——这一步很多测评都省了,但它决定你敢不敢把流程固定下来。
另外说一个测评之外的意外发现:让它「用表格汇报」和「用文字汇报」,质量差别很大。同样的调研内容,要求表格输出时遗漏明显更少,因为表格的空格会逼它把每个维度都填上。以后要全面性,先要表格。
总分42/50,两个短板划重点
第一,过期数据风险。抽检核对不能省,尤其是定价和融资额。第二,深度要靠追问。第一轮答案通常是75分,连续追问两三轮才能到90分,把它当「反应极快但需要带的实习生」,预期就对了。
换算成钱:一个初级分析师做这轮调研至少两个工作日,WorkBuddy加上我核对的时间总共三小时。这笔账,怎么算都划算。
还要提醒一句适用边界:这套打分针对的是公开信息调研。渠道内幕、未公开的销售数据、靠人脉才能拿到的一手消息,AI再强也搜不到——这部分永远是人的主场,也是你在调研这件事上不可替代的部分。工具补足的是下限,上限还是看人。
写在最后
昨天第一篇教了竞品调研四步法,今天用实测告诉你这套方法的能力边界在哪。明天第三篇是真实案例:一位市场部主管靠这套流程,把月度竞品简报从「没人看」做成了「老板追着要」。
你会把调研这种活交给AI吗,还是觉得关键信息必须自己查才放心?评论区聊聊你的顾虑,点个「在看」,转给你团队里做调研的同事。
#WorkBuddy #AI办公 #效率工具
—— 高总AI办公笔记
① 点个 「在看」 或 转发 给同事
② 关注 高总AI办公笔记,每周持续更新 AI 办公干货
③ 本文已同步发布于 kas2.com,电脑端阅读体验更佳
卡神








