我們深信,MR的明天在于今天的我們,在于我們的渴望和熱血,在于我們的視野和行動.品創MR全球趨勢課題組為擴展中國研究者的視野而努力.
文 | Ben Leet
品創編者按: 我們一直很困惑于在線樣本的質量，如何運維樣本庫，如何補充新的樣本，如何激勵受訪者，我們一直在和在線調查和樣本庫管理的專家們探索這些問題的更好的答案。因為這也是客戶把任務交給我們的原因。讓我們看看Ben，一個在線調查專家的看法。
最近我被邀請在歐洲的洞察創新變化大會上作題為2020年的研究是什么樣的演講。我決定談談圍繞我們在線調查和樣本庫管理這部分的行業趨勢，以及我覺得未來會怎么樣。
問題 1 –不耐煩的受訪者
我們在自己的panel中做了一些全面的測試，以了解受訪者的心態。其結果是讓人意外的：幾乎60%的panel每次使用超過15分鐘，而其中幾乎80%想要做超過15分鐘的調查。然而我們發現大部分受訪者承認至少有時會在調查中為提高速度而降低回答質量，在給出的原因中，名列前茅的是無聊或啰嗦或低刺激（謝禮）。
問題 2 –不好的研究者讓在線調查變得更長更復雜
要求我們實施的調查在變得更長、更復雜、更重復。現在平均調查時間超過了20分鐘，而且其中很多還不能進行移動操作。為了獲得高質量的數據，并避免這種在調查中提高速度的趨勢，應該提高刺激（謝禮）作為花費的時間和所帶來的不便的補償。
問題 3 –不對等對待Panel用戶就得到不好的質量
研究公司相信所有的panels都是用同樣的方式建立的，因此，他們只關心他們購買樣本的價格。當然，他們會“說”質量是重要的，但是甚至沒有詢問過正確的質量問題，而是基于價格作出購買決定。
研究公司在寫著冗長而無聊的問卷，認為受訪者會在意他們給出的答案，然后研究公司會付幾個子兒給受訪者。因此受訪者的行為也就變得要盡量快地加速完成調查以得到他們少得可憐的謝禮。總的來說，行業在任務上有誤差，這就意味著縱向的數據會隨著時間而變化，即使方法“必須不變以保持一致性”。
問題 4 –樣本的來源
業內有一種常見的錯誤概念即所有的panel都是以同樣的方式建立起來的所以panel = 好的質量，而攔截 = 壞的質量。即使是ESOMAR 的28個問題也有這樣的暗指。
“請描述并解釋您得到受訪者的不同類型的網絡樣本來源。是數據庫嗎？積極管理的研究panel？直銷清單？社交網絡？網絡攔截(river) 樣本？”這種語境暗示了對于網絡樣本提供者的來源類型描述能夠提供對樣本質量的洞察。
首先，這種語境是完全錯誤的。樣本的購買者絕對無法僅僅通過了解樣本panal是來自panel還是攔截而得到任何關于樣本質量的洞察。正如我在阿姆斯特丹說過的，一個好的類比是釣魚。您更愿意吃一條今天剛從河里釣來的魚,還是上周從恒河釣來并包裝好的魚？湖里的魚味道更好，但是因為我們對它一無所知，所以我們更愿意選擇從恒河大量打撈的，能傳染疾病的，包裝好的魚？我對此表示懷疑。
網絡樣本的質量取決于樣本的實際來源。Panel還是攔截并不是來源，它只是方法。有許多聯合機構和發布者的流量不是用于survey router (攔截)，就是用于panel，而且同樣的來源常常同時被攔截和panel所用，所以所有這些其實都是關于流動的來源。
真正能夠確定樣本質量的問題應該是：
你們是怎樣進行招募的？請描述不同的來源，以及混合使用是怎樣建立起研究panels/推動survey routers的。
你的公司是否有能力追溯來源中受訪者的質量，并積極主動地對這些來源進行管理？具體是怎么做的？
在你管理的panel中，平均退出率、不合適率和召回率分別是多少？
問題 5 – panel公司更在意效率而不是質量
他們當然是這樣的。在商品化的市場中，質量在銷售過程中其實什么也不是，企業沒有別的選擇，只能追求維持利潤的效率。所有的業務都有股東在后面盯著，要從創造的利潤中賺錢，這就意味著如果價格降低了，就一定要削減費用。
大部分panel公司是怎樣削減費用的：
最明顯的就是確保受訪者看到盡可能多的調查，并完成盡可能多的調查。這就需要通過發送對他們進行預處理。這樣能夠優化panels，但會帶來數據的偏離。 “一份邀請針對一個調查”的日子已經遠去很久了。
減少謝禮。相對于總是很長時間的低質量調查來說，謝禮總是很低。
更便宜的來源。更便宜的網絡流量來源總是傾向于轉化出更高的利潤，這并不是什么巧合，因為這些來源只驅使那些非常為了錢主動積極的調查接受者。能否運用機器學習和一些智能數據技術（運算法則）以便在不詢問受眾的情況下，就能更好地預測哪些調查與哪些受眾相關？這能帶來更好的受訪者體驗，而不需要對他們進行傳統方式需要進行的預處理。這意味著我們還是能夠承擔接近于低質量來源的成本，而不必在基本目標上作出妥協。
我們的世界在2020年會是什么樣子？想想大數據和機器學習涌現的速度吧，一個災難性的后果是有人會建立一種運算法則來代替受訪者，而我們的研究客戶不會注意到數據有任何不同。事實上，我們已經在使我們的受訪者像機器一樣思考了。如果我們想要阻止這種趨勢，我們就必須在與受訪者的溝通方面做得更好：
1.保持簡短。時間是寶貴的。我們已經對他們了解了那么多，為什么還要一遍又一遍地問那些同樣的該死的問題？在這里我們可以更聰明一點。
2.要更多考慮移動端。沒有人想坐在電腦前30分鐘回答你的問題，把它縮短到10分鐘，發到他們的移動設備上，這樣所獲得的洞察就會更豐富更精確。
這個行業的變化比以往任何時候都快，現在是在機器完全取代我們之前擁抱變化的時候了。
聯系方式