眾所周知，數(shù)據(jù)對于機器學習的重要性。了解數(shù)據(jù)訪問模式將幫助數(shù)據(jù)科學家確定適合其項目的正確存儲基礎架構。數(shù)據(jù)基礎架構使機器學習成為可能。然而，一旦開始使用，機器學習就面臨著關鍵的數(shù)據(jù)挑戰(zhàn)，需要首先解決：
質量 稀疏性 完整性
接下來，讓我們深入研究其中的每一個，以便大家了解如何克服機器學習的這些挑戰(zhàn)：
1. 質量
許多數(shù)據(jù)科學家希望利用外部來源的數(shù)據(jù)。然而，通常沒有質量控制或保證如何捕獲原始數(shù)據(jù)。
你相信外部數(shù)據(jù)的準確性嗎?
這是一個很好的例子。漂浮在海洋中的浮標上的傳感器收集有關海洋溫度的數(shù)據(jù)。但是，當傳感器無法收集溫度時，它將記錄為999。此外，在2000年之前，僅用兩個數(shù)字記錄了年份的數(shù)字。但是在2000年之后，記錄的數(shù)字變?yōu)榱怂膫€。
因此，我們需要了解數(shù)據(jù)的質量以及如何準備數(shù)據(jù)。在這種情況下，分析浮標數(shù)據(jù)的科學家可以使用平均值、均值、最小值、最大值來可視化原始數(shù)據(jù)，捕獲這些數(shù)據(jù)庫錯誤并相應地對其進行清理。
2. 稀疏性
在這種情況下，稀疏適用于元數(shù)據(jù)。通常，元數(shù)據(jù)字段不完整，有些字段已填寫，有些字段留空。如果數(shù)據(jù)是從單一來源生成的，則可能是由于人類缺乏規(guī)范或知識所致。但是，如果數(shù)據(jù)來自各種來源，而沒有元數(shù)據(jù)的標準定義，則每個數(shù)據(jù)集可能具有完全不同的字段。因此，將它們組合在一起時，完成的字段可能不對應。
當前，關于捕獲哪些元數(shù)據(jù)沒有行業(yè)標準。然而，元數(shù)據(jù)與數(shù)據(jù)本身一樣重要。當您具有填充了不同元數(shù)據(jù)字段的相同類型的數(shù)據(jù)時，如何關聯(lián)和過濾數(shù)據(jù)?
如果以浮標為例，初始數(shù)據(jù)傳感器每十分鐘收集一次水溫，而較新的浮標每三分鐘收集一次水溫。關聯(lián)數(shù)據(jù)的唯一方法是通過元數(shù)據(jù)在捕獲時公開。當科學家進行歷史分析時，他們需要元數(shù)據(jù)以便能夠相應地調整其模型。
3. 完整性
數(shù)據(jù)完整性是數(shù)據(jù)準確性和一致性的保證。數(shù)據(jù)保管鏈對于證明數(shù)據(jù)在流水線和位置中移動時不會受到損害至關重要。當數(shù)據(jù)的捕獲和攝取受到控制時，您可以相對輕松地驗證其完整性。但是，與他人合作時，很難進行驗證。生成數(shù)據(jù)時，沒有用于外部數(shù)據(jù)的安全證書。您也不能確保數(shù)據(jù)記錄完全符合預期，也不能確保接收到的數(shù)據(jù)與原始記錄時完全相同。
關于物聯(lián)網數(shù)據(jù)和區(qū)塊鏈存在一些有趣的概念，但是，在廣泛采用這種概念之前，數(shù)據(jù)完整性取決于安全技術和策略的結合。例如，由于數(shù)據(jù)在靜態(tài)或傳輸過程中可能會受到威脅，因此通過網絡傳輸?shù)臄?shù)據(jù)應使用https，并且在靜態(tài)時應進行加密。另一方面，訪問控制應受策略驅動，以避免人為錯誤。
如何開始?
數(shù)據(jù)質量、稀疏性和完整性直接影響最終模型的準確性，并且是當今機器學習面臨的一些比較大的挑戰(zhàn)。擁有清晰數(shù)據(jù)定義，政策并探索行業(yè)特定數(shù)據(jù)標準的組織將在短期和長期項目中受益。
如果您還沒有，那么您的組織應該首先定義自己的數(shù)據(jù)收集策略，元數(shù)據(jù)格式，然后應用標準的安全技術。數(shù)據(jù)質量和稀疏性齊頭并進。下一步，設置元數(shù)據(jù)策略，并確?？梢允褂貌东@的定性數(shù)據(jù)來驗證數(shù)據(jù)的有效性。最后，為了確保數(shù)據(jù)完整性，可以在生成數(shù)據(jù)時應用數(shù)字證書，應該在傳輸過程中強制使用SSL，并且始終保持啟用加密狀態(tài)。
安全數(shù)據(jù)協(xié)作
如果您所在的行業(yè)需要與外部組織不斷交換數(shù)據(jù)，那么最好開放您的數(shù)據(jù)和元格式的源代碼，因為這些標準比許多專有標準更廣泛。更好的是，您可以發(fā)起一個行業(yè)開放標準委員會，讓其他人參與和貢獻。一個很好的例子是“開放目標”(https://www.opentargets.org/)，這是一種“公私合作伙伴關系，利用人類遺傳學和基因組學數(shù)據(jù)進行系統(tǒng)的藥物靶點識別和優(yōu)先排序。”
尤其是研究數(shù)據(jù)生態(tài)系統(tǒng)已經變得高度復雜，組織內部和外部的合作者需要快速訪問數(shù)據(jù)以及簡化數(shù)據(jù)管理的方法。機器學習的挑戰(zhàn)很多。第一步是使用正確的數(shù)據(jù)和基礎結構啟動項目。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
