Jak wyglądałby sukces?

Prezydent Trump zwolnił Erikę McEntarfer, komisarz Biura Statystyki Pracy, po tym, jak lipcowy raport o zatrudnieniu wykazał bardzo niewielki wzrost zatrudnienia w ostatnim kwartale. Początkowo prezydent oskarżył ją o „manipulowanie” danymi, aby go oczernić . Ostatnio członkowie jego administracji próbowali ograniczyć krytykę jedynie do istotnych zmian (jednym z reprezentatywnych przykładów jest tweet Casey Mulligana tutaj ).

Przyjmijmy mniej prowokacyjny powód (niepewne dane o zatrudnieniu) za prawdziwą motywację do zadania dociekliwego pytania: Jak wyglądałaby udana zmiana programu statystycznego?

Nie byłoby tak, że poprawki zniknęłyby. W statystyce poprawki będą zawsze. Każdy raport statystyczny jest koniecznie oparty na różnych założeniach. Ostatecznie zbierasz próbkę, której używasz, aby w oparciu o założenia i stylizowane fakty, formułować twierdzenia dotyczące całej populacji. Idealnie byłoby zbadać całą populację, ale jest to zbyt kosztowne, zarówno pod względem finansowym, jak i czasowym. Dlatego używa się (idealnie) reprezentatywnej próby populacji. Jeśli te założenia i stylizowane fakty ulegną zmianie lub przestaną być przydatne, model należy zrewidować. Rewizja z kolei zmieni wyniki twierdzeń, które próba może poprzeć. W takim przypadku obecność zrewidowanych danych jest oznaką ulepszenia modelu. Bez rewizji model będzie z czasem stawał się mniej użyteczny.

A co z rozmiarem rewizji? To oczywiście budzi obawy. Jeśli rewizje modelu często wahają się w ogromnych granicach, to model jest zasadniczo wadliwy. Jednak ekonomista z University of Central Arkansas, Jeremy Horpedahl, pokazuje, że rewizje danych BLS z czasem zmalały (zobacz również ten wpis Gary'ego Wagnera, ekonomisty z University of Louisiana). Nie ma tu wiele miejsca na poprawę.

Rozmiar i częstotliwość rewizji będą zależeć od próby, a przede wszystkim od wskaźnika odpowiedzi w próbie. Głównym problemem związanym z danymi BLS jest spadek wskaźników odpowiedzi . Spadek wskaźników odpowiedzi oznacza konieczność przeprowadzania coraz większych imputacji przy mniejszej ilości danych. Nie jest to idealne rozwiązanie. Poprawa wskaźników odpowiedzi może świadczyć o lepszej jakości danych.

Możemy również zobaczyć, jak dane BLS odpowiadają innym źródłom. ADP, firma zajmująca się listami płac, publikuje własne miesięczne badanie miejsc pracy . Nie jest ono identyczne z raportem BLS (różnice można znaleźć w ich FAQ na dole), ale jest użytecznym narzędziem porównawczym. Rzeczywiście, zmiany w danych BLS (i zmiany wprowadzone przez ADP) mają tendencję do zbliżania do siebie dwóch zestawów danych. Z biegiem czasu prywatne dane dotyczące zatrudnienia BLS i prywatne dane dotyczące zatrudnienia ADP różnią się, przy czym raport ADP jest średnio o 1000 miejsc pracy niższy niż raport BLS. Biorąc pod uwagę, że mówimy o zyskach/stratach miejsc pracy w dziesiątkach, jeśli nie setkach tysięcy, każdego miesiąca, taka rozbieżność wcale nie jest zła.[1] Mniejsza rozbieżność między tymi dwoma zestawami danych byłaby oznaką poprawy.

Poprawa danych ekonomicznych to dobra rzecz. Ale każda poprawa będzie trudnym procesem. Trzeba być bardzo, bardzo ostrożnym w ocenie, czy zmiana jest poprawą.

— [1] Uwaga: Wszystkie dane pochodzą z danych nieskorygowanych sezonowo. Ponieważ korekta sezonowa jest funkcją modeli wybranych przez każdą agencję, NSA zapewnia najlepsze porównanie. Jednak użycie danych skorygowanych sezonowo nie zmienia tego aż tak bardzo. Rozbieżność wzrasta do 5000 pracowników miesięcznie.