資料採集技術包括哪幾方面 優缺點分別是什麼

1、通過各軟體廠商開放資料介面，實現不同軟體資料的互聯互通。這是目前最為常見的一種資料對接方式。

2、優勢：介面對接方式的資料可靠性與價值較高，一般不存在資料重複的情況；資料可通過介面實時傳輸，滿足資料實時應用要求。

3、缺點：①介面開發費用高；②需協調多個軟體廠商，工作量大且容易爛尾；③可擴充套件性不高，如：由於新業務需要各軟體系統開發出新的業務模組，其和大資料平臺之間的資料介面也需做相應修改和變動，甚至要推翻以前的所有資料介面編碼，工作量大、耗時長。

4、軟體機器人是目前比較前沿的軟體資料對接技術，即能採集客戶端軟體資料，也能採集網站網站中的軟體資料。

5、常見的是博為小幫軟體機器人，產品設計原則為“所見即所得”，即不需要軟體廠商配合的情況下，採集軟體介面上的資料，輸出的結果是結構化的資料庫或者excel表。

6、如果只需要介面上的業務資料，或者遇到軟體廠商不配合/倒閉、資料庫分析困難的情況下， 利用軟體機器人採集資料更可取，尤其是詳情頁資料的採集功能比較有特色。

7、技術特點如下：①無需原軟體廠商配合；②相容性強，可採集匯聚Windows平臺各種軟體系統資料；③輸出結構化資料；④即配即用，實施週期短、簡單高效；⑤配置簡單，不用程式設計，每個人都可以DIY一個軟體機器人；⑥價格相對人工和介面，降低不少。

8、缺點：採集軟體資料的實時性有一定限制。

9、網路爬蟲是模擬客戶端發生網路請求，接收請求響應，一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。

10、爬蟲採集資料的缺點：①輸出資料多為非結構化資料；②只能採集網站資料，容易受網站反爬機制影響；③使用人群狹窄，需要有專業程式設計知識才能玩轉。

11、資料的採集融合，開放資料庫是最直接的一種方式。

12、優勢：開放資料庫方式可以直接從目標資料庫中獲取需要的資料，準確性高，實時性也有保證，是最直接、便捷的一種方式。

13、缺點：開放資料庫方式也需要協調各軟體廠商開放資料庫，這需要看對方的意願，一般出於安全考慮，不會開放；一個平臺如果同時連線多個軟體廠商的資料庫，並實時獲取資料，這對平臺效能也是巨大挑戰。