运营MOOC平台应关心哪些数据?如何用数据分析来改进平台和产品的发展?
背景:大型开放式网络课程,即MOOC(massive open online courses)。2012年,美国的顶尖大学陆续设立网络学习平台,在网上提供免费课程,Coursera、Udacity、edX三大课程提供商的兴起,给更多学生提供了系统学习的可能。2013年2月,新加坡国立大学与美国公司Coursera合作,加入大型开放式网络课程平台。新国大是第一所与Coursera达成合作协议的新加坡大学,它2014年率先通过该公司平台推出量子物理学和古典音乐创作的课程。
这三个大平台的课程全部针对高等教育,并且像真正的大学一样,有一套自己的学习和管理系统。再者,它们的课程都是免费的。
以Coursera为例,这家公司原本已和包括美国哥伦比亚大学、普林斯顿大学等全球33所学府合作。2013年2月,公司再宣布有另外29所大学加入他们的阵容。
中国较为有名的MOOC平台有果壳网MOOC学院、网易云课堂等等。2013年7月,复旦大学,上海交通大学签约“MOOC”平台Coursera。
现在问题来了, 对于一个新起的行业,那么运营MOOC平台应关心哪些数据?如何用数据分析来改进平台和产品的发展?
下面是来自清华在线上学院-立课教育-赵鑫老师的回答 :
我个人一直觉得,基于数据的课程设计和课程运营是一件关系到MOOC生死存亡的事,我特别期待高手的出现。
我个人会从应用和数据两个层面来思考这个问题。
1、应用:用数据来度量什么,至少可以用于:
评估用户:学习效果(能力)、学习速度(潜能)、思维方式(智能)、学习习惯(行为)、群组合作(人际);
评估课程:内容设计(页面、视频)、活动设计(讨论、作业)。
2、数据:在数据源层面,我会关心数据采集和数据清洗。一般而言,MOOC学习活动有两个关键的数据源,学习过程,练习过程。
学习过程可以用来度量用户的学习行为,比如构建一个用户×内容的二维矩阵,度量学习速度;
练习过程是极其有价值的数据源,至少可以从用户、知识点、难度等方面做关联分析。
如下表是我对于MOOC数据采集方面的一些粗浅想法,基于edX平台,坦率的说,弱爆了,计算机专业的小伙伴看完就笑了。仅供参考。
来自福建师范大学 刘洋老师的回答:
楼主的问题范围很大,问题的顺序也刚好是目前很多朋友对数据分析理解的误区。我试着来解答一下,如有谬误,请多指正。
说明:答主从事数据分析相关工作5年。无任何利益相关,不是MOOCs相关工作的。
题主的这个问题需要反过来问: 如果要改进平台的产品,帮助平台发展,我们应该关注哪些数据?如何去进行分析?
我这么改的原因只有一个: 先明确分析的商业目标,然后再构建自己的分析体系,然后再是数据的采集,清洗之类的工作。
题主的问题范围很大,所以我这里需要再次更改问题,以便目标变得更加清晰。
我们主要将问题分为两个角度:平台和产品
从平台的角度来讲,最重要的目标是吸引用户并且留住他们,跟运营强相关。因此在这个角度,需求的数据大部分跟运营层面的工作的有关。此时我们运营做的工作大致可以分为两类:拉新和激活老用户。数据的需求一般如下:
拉新: 新用户数、来源分布、留存(次日、三日、周、月)、质量(人均观影数,人均停留时间、人均访问页面数)。同时以来源渠道作为维度,分析不同渠道下的这些数据,从而得出每个渠道的ROI。
激活老用户 :老用户数、用户访问间隔、老用户留存(次日、三日、周、月)、老用户质量(人均观影数,人均停留时间、人均访问页面数等)。激活老用户会采取多种运营手段单独或者组合进行,这里需要评估每一次活动所来的具体的效果提升。比如缩短用户访问间隔,提升老用户的停留时间等。在这里,我们主要的工作是评估运营活动的效果,得到运营活动的ROI,因此如何建立合理的A/B 测试体系,来区分不同活动的效果,是很重要的。测试体系的数据组成则是这段话开头的那些。
上面所说的东西比较通用话,根据MOOC平台自身的特性,这些指标需要自己定义。比如像coursera这样既有PC网页也有移动APP的,需要分别制定拉新和激活老用户的体系。
拉新:
PC网页 :来源主要分为搜索、自然流量、推广流量、引荐流量三种。在用户访问:需要分别评估这三种来源带来的注册转化率、注册后用户的次日、周、月登陆率、日均访问页面数、日均停留时间等数据。在产品方面:需要分别评估三种来源带来用户不同的跳出率、在不同页面(课程)的退出率、用户进来访问的课程分布等。
实际操作中,搜索来源需要重点分析,分析关键词,SEO效率之类的;推广 流量需要分 析ROI、引荐流量的分析可以找到哪些网站有我们想要找的人, 方便我们去换友链等等。
移动APP :来源主要分为不同的应用商店下载、自己网站带量。前者的分析主要是看不同的应用商店带来的用户的留存率、注册转化率、App启动率、APP启动次数、日均停留时间等;如果没有很多经费去推广,那么后者应该是MOOC类APP的主要用户来源。需要分析在不同的地方推荐APP的转化效果。另外从整体上看,PC和网页的用户行为是不太一样的(比如PC在线看,移动端下载离线看?)因此在做用户评估的时候,需要采用不同的数据指标和策略。这里涉及到具体产品的设计和形态,我就不方便再继续深入了。
总结一下: 对平台来讲,本质的任务是流量运营,这时的数据分析指标都需要围绕这个任务来设计。
2. 从产品的角度来讲:主要涉及到MOOC类产品的用户需求和设计目标。这里我因为不做MOOC这类,但是我老爸老妈是老师,所以我试着假定一些目标来设计这个数据指标体系。
教育类产品主要是为学生提供可供学习的内容和场所。那么我们的数据分析主要分析目标就是内容和场所。
内容:
从用户的观看角度来讲, 内容主要是丰富度(内容的多寡)、独家内容占比、用户喜爱的内容排行(需要分类)、观看完的内容排行、半途放弃的内容分布等等。这些指标主要是发现用户对内容的偏好,方便对用户进行运营,也为内容的发展提供方向。
从平台产品设计来讲 ,教育跟电商购物不一样,教育是需要成体系的,就像我们做数据分析的,你需要学习数学,也需要统计学、概率论,根据不同的方向还需要学习一些R语言、Python等等,另外类似SPSS这样的工具也可能需要学习。专业之上,还有一些语文、英语的基础。所以这个时候我们不仅需要分析独立课程的情况,还需要根据课程的科学,搭建课程组合,然后分析课程组合的情况。具体课程组合怎么设计和怎么评估我现在没有办法回答, 如果有MOOC相关工作的朋友,欢迎赐教。
场所:
场所实际上就是我们这个学习的页面情况,包括我们提供给学生的各种工具:包括但不仅限于观看工具、下载工具、作业评估工具、讨论工具等等。那么我们这里分析的目标实际上就是这些工具的情况:使用人数、完成使用率、使用频率等。比如作业评估工具,多少人看了课程,然后开始做作业?开始做作业到做完作业的人数又有多少?这些决定了我们如何去运营这些用户。同样的讨论区要看用户的经常性问题在哪里?哪些人是在讨论区活跃?实际上一个工具就是一个产品,分析的方法跟平台的运营分析类似。
总体来讲, 如果要分析MOOC的产品,需要从产品设计的出发点出发,来不断的采集产品各种实用环节中的数据,从数量和质量两个方面去做各种评估。然后得出最优的产品方案,因此在这里,A/B测试方法和工具会特别重要。