Przekształcanie danych jest nieuniknionym etapem modelowania predykcyjnego w przemysłowej statystycznej analizie danych. Solidnego modelu predykcyjnego nie można zbudować tylko dzięki algorytmom uczenia maszynowego. Dopiero w momencie zrozumienia problemu biznesowego i przekształceniu go na rozwiązanie analityczne ( dzięki manipulacjom i przekształceniom danych ) możemy zweryfikować nasze intuicje i spostrzeżenia.

Wśród kilku etapów budowy modelu, większość czasu spędza się w zrozumieniu danych wejściowych ( źródłowych ) przy jednoczesnym wykonywaniu niezbędnych manipulacji na danych.

Czym jest manipulowanie danymi ?

Manipulowanie danymi jest potocznie zwane statystyczną eksploracją danych. Jest to zbiór procedur statystycznych lub matematycznych  wykonywanych na zbiorach danych mających na celu zwiększenie dokładności i precyzji w statystycznym rozwiązywaniu problemów weryfikacji hipotez, przewidywań i klasyfikacji.

Proces gromadzenia danych może mieć wiele luk i posiadać mnóstwo błędów. Istnieją różne czynniki niekontrolowane, które prowadzą do nieścisłości w danych, takich jak sytuacja psychologiczna respondentów, osobiste uprzedzenia lub różnice w odczytach ( błędy maszyn ).

Łagodzenie tych nieścisłości, czyli wykonywanie różnych manipulacji na danych statystycznych prowadzi do uzyskania  jak największej z możliwych dokładności analiz statystycznych w badaniach i modelowaniu przemysłowym.

p.s. Nie ma dobrych i złych sposobów manipulowania danymi. W zależności od problemu różne sposoby obróbki danych i procedury statystyczne są pożądane. Tylko odpowiednie ich połączenie z danymi wejściowymi daje cenne efekty.