上海大資料採集方案

論證現有資料是否足夠豐富、準確，以致可以為問題提供答案，是大資料分析的第二步，專案是否可行取決於這步的結論。大資料和傳統資料的生成方式有本質不同。傳統資料往往是在識別問題、根據問題設計問卷、之後展開調查獲得的資料，而大資料卻是企業或者個體各類活動產生的附屬產品。作為附屬產品，大資料往往不是為了特定資料專案生成，也存在較高噪音。這就要求資料可行性論證過程需要仔細推敲，現有資料得出來的結論是否足夠可靠。由於大資料分析技術本質屬於資料探勘法，過度擬合問題往往是大資料分析的難點。

因此，在資料可行性論證主要涉及三個環節。第一，釐清專案需要的大資料、小資料和專業知識第二，完成從抽象概念到具體指標的落實第三，考察資料的代表性。