Führen Sie visionäre Webforschungsstudien mit Deep Web Data & Excel-Webabfragen durch

Was würdest du sagen, wenn ich dir sagen würde, dass du die Werkzeuge zur Verfügung hast, um bahnbrechende, weltbewegende Forschung zu betreiben? Nun, du tust es und ich zeige dir wie.

Regierungen, akademische Einrichtungen und gemeinnützige Forschungseinrichtungen veröffentlichen Tabellen voller Daten öffentlich. Ohne einen Benutzer, der diese Informationen verwendet, wird sein wahrer Wert niemals bekannt sein. Leider haben nur wenige Leute die Einsicht, die Fähigkeiten oder die Werkzeuge, um die Daten zu nutzen und interessante Zusammenhänge zwischen scheinbar nicht zusammenhängenden Informationen herzustellen.

Hintergrund

Bei der Recherche, die ich für meinen eigenen Blog durchführe, geht es häufig darum, das sogenannte unsichtbare Web 10 zu durchsuchen, um das unsichtbare Web zu erkunden. 10 Suchmaschinen, um das unsichtbare Web zu erkunden. Wir kennen das Web. Aber wussten Sie, dass es einen riesigen Informationsspeicher gibt, auf den Suchmaschinen wie Google keinen direkten Zugriff haben? Dies ist das unsichtbare Web. Lesen Sie mehr, um Daten zu finden, die für die Öffentlichkeit freigegeben wurden, aber für Suchmaschinen verborgen sind. Die 5 am weitesten entwickelten Suchmaschinen im Web Die 5 am weitesten entwickelten Suchmaschinen im Web Lesen Sie mehr in einer Online-Datenbank. Dies ist das Deep Web TorSearch-Ziel, das Google für das Deep Web zu sein TorSearch-Ziele, das Google für das Deep Web zu sein Tor ist ein versteckter Dienst und Teil des Deep Web. TorSearch ist eine neue anonyme Suchmaschine, die der Gründer Chris MacNaughton erstellen möchte “Google von Tor”. Lesen Sie mehr und es ist voll von wertvollen Daten. Sehr oft stoße ich auf Webseiten, die nur wenige der wertvollsten Daten zu Themen enthalten, die von Zensusdaten bis zu epidemiologischen Studien zu seltenen Krankheiten reichen. Ich habe ständig neue Ideen, wie ich versuchen kann, diese unterschiedlichen Datenquellen mit verschiedenen Tools in Beziehung zu setzen - und eines der wertvollsten Tools, das ich gefunden habe, ist die Webabfrage in Microsoft Excel.

Interessante Datenkorrelationen finden

Was ich Ihnen heute zeigen werde, ist ein Beispiel dafür, wie Sie Excel-Webabfragen verwenden können, um Daten von verschiedenen Websites einzulesen und sie gegeneinander abzubilden, um nach potenziellen Korrelationen zwischen den Daten zu suchen.

Um eine solche Übung zu beginnen, müssen Sie eine interessante Hypothese aufstellen. Zum Beispiel - um die Dinge hier interessant zu halten - werde ich willkürlich postulieren, dass der Anstieg der Autismusraten in den Vereinigten Staaten entweder durch Impfstoffimpfungen oder durch die zunehmende Präsenz elektromagnetischer Felder bei und in der Nähe von Kindern wie Mobiltelefonen verursacht wird. Es ist eine verrückte Hypothese, wie man sie auf den meisten Verschwörungstheorien-Websites findet, aber das macht das Spaß. Also lass uns anfangen, sollen wir?

Öffnen Sie zunächst Excel, gehen Sie zum Datenmenüpunkt und suchen Sie das “Aus dem Web” Symbol in der Menüleiste.

So importieren Sie die verschiedenen Datentabellen der zahlreichen Websites, die sie veröffentlicht haben.

Importieren von Webdaten in Excel

In früheren Zeiten müssten Sie also versuchen, die Daten aus dieser Tabelle auf einer Webseite zu kopieren, in Excel einzufügen und sich dann mit all den verrückten Formatierungsproblemen zu befassen. Totaler Ärger, und oft sind es die Kopfschmerzen nicht wert. Nun, mit Excel-Webabfragen sind diese Zeiten vorbei. Bevor Sie die Daten importieren können, müssen Sie natürlich im Web surfen, um die gewünschten Daten im Tabellenformat zu finden. In meinem Fall habe ich eine Website gefunden, auf der die Statistik des US-amerikanischen Bildungsministeriums für die Anzahl der US-amerikanischen öffentlichen Schulschüler veröffentlicht wurde, bei denen Autismus festgestellt wurde. Ein schöner Tisch lieferte Zahlen aus dem Jahr 1994 bis 2006.

Also klicken Sie einfach auf “Aus dem Web”, Fügen Sie die Webseiten-URL in das Feld für die Abfrageadresse ein, und scrollen Sie die Seite nach unten, bis der gelbe Pfeil neben der Tabelle mit den Daten angezeigt wird, die Sie importieren möchten.

Klicken Sie auf den Pfeil, um ein grünes Häkchen anzuzeigen.

Sagen Sie schließlich Excel, in welchem ​​Feld Sie die Tabellendaten in Ihre neue Tabelle einfügen wollen.

Dann - Voila! Die Daten fließen automatisch direkt in Ihre Tabelle ein.

Mit dem Trend der öffentlichen Schulautismusraten von 1996 bis 2006 ist es also an der Zeit, sich auf die Suche nach Trends für Impfungen und die Nutzung von Mobiltelefonen zu begeben.

Glücklicherweise fand ich in den USA von 1985 bis 2012 schnell Trends für Handynutzer. Hervorragende Daten für diese Studie. Ich habe wieder das Excel-Web-Abfrage-Tool zum Importieren dieser Tabelle verwendet.

Ich habe diese Tabelle in ein sauberes neues Blatt importiert. Dann entdeckte ich Impftrends für einen Prozentsatz von Schulkindern, die für verschiedene Krankheiten geimpft wurden. Ich habe diese Tabelle mit dem Web Query-Tool in ein drittes Blatt importiert. So hatte ich schließlich drei Blätter mit drei Tabellen, die mit den scheinbar unverbundenen Daten gefüllt waren, die ich im Web gefunden hatte.

Der nächste Schritt besteht darin, Excel zu verwenden, um die Daten zu analysieren und mögliche Zusammenhänge zu identifizieren. Hier kommt eines meiner beliebtesten Datenanalyse-Tools ins Spiel - das PivotTable.

Analysieren von Daten in Excel mit der PivotTable

Am besten erstellen Sie Ihre PivotTable in einem völlig neuen leeren Blatt. Sie möchten den Assistenten für das, was Sie gerade tun, verwenden. Um den PivotTable-Assistenten in Excel zu aktivieren, müssen Sie gleichzeitig die Tastenkombination Alt-D drücken, bis ein Benachrichtigungsfenster angezeigt wird. Lassen Sie dann diese Tasten los und drücken Sie die “P” Schlüssel. Dann wird der Assistent angezeigt.

Im ersten Fenster des Assistenten möchten Sie auswählen “Mehrere Konsolidierungsbereiche”, So können Sie die Daten aus allen importierten Blättern auswählen. Auf diese Weise können Sie alle scheinbar nicht zusammenhängenden Daten in einer einzigen, leistungsstarken Pivotable-Umgebung zusammenfassen. In einigen Fällen müssen Sie möglicherweise einige Daten massieren. Zum Beispiel musste ich das reparieren “Jahr” Feld in der Autismus-Tabelle, so dass es zeigte “1994” anstatt “1994-95” - Es passt besser zu den Tabellen auf den anderen Blättern, die auch das Hauptjahrsfeld hatten.

Dieses gemeinsame Feld zwischen Daten ist das, was Sie benötigen, um Informationen miteinander in Beziehung zu setzen. Denken Sie also daran, wenn Sie im Web nach Ihren Daten suchen.

Sobald das PivotTable fertig ist und Sie alle verschiedenen Datenwerte in einer Tabelle angezeigt haben, ist es Zeit für eine visuelle Analyse, um zu sehen, ob eine offensichtliche Verbindung besteht, die Sie anspricht.

Daten visualisieren ist der Schlüssel

Eine Reihe von Zahlen in einer Tabelle zu haben ist großartig, wenn Sie ein Ökonom sind, aber der schnellste und einfachste Weg, dies zu erreichen “Aha!” Wenn Sie versuchen, Verbindungen wie eine Nadel im Heuhaufen zu finden, erfolgt dies über Diagramme und Grafiken. Sobald Sie Ihren PivotChart mit allen gesammelten Datensätzen eingerichtet haben, können Sie Ihr Diagramm erstellen. Normalerweise ist ein Liniendiagramm am besten, aber es hängt von den Daten ab. Es gibt Zeiten, in denen ein Balkendiagramm viel besser funktioniert. Versuchen Sie zu verstehen, welche Art von Daten Sie betrachten und welche Formvergleiche am besten funktionieren.

In diesem Fall betrachte ich Daten über einen längeren Zeitraum. Daher ist ein Liniendiagramm wirklich der beste Weg, um Trends über die Jahre zu erkennen. Bei der Darstellung der Autismusraten (grün) gegen die herabgesetzten Impfraten (dunkelblau), Windpockenimpfstoffe (hellblau) und die Verwendung von Mobiltelefonen (violett) tauchte plötzlich eine seltsame Korrelation in diesem Beispielsatz auf, mit dem ich spielte.

Seltsamerweise entsprach der Trend bei der Nutzung von Mobiltelefonen von 1994 bis 2006 dem Anstieg der Autismusraten im gleichen Zeitraum nahezu perfekt. Das Muster war zwar völlig unerwartet, aber es ist ein perfektes Beispiel dafür, wie interessante Daten zusammengeführt werden können, um faszinierende Anhaltspunkte aufzuzeigen. So erhalten Sie mehr Einsicht und Motivation, um weiter voranzukommen und nach weiteren Daten zu suchen, die Ihre Hypothese möglicherweise noch verstärken.

Eine solche Korrelation beweist nichts. Es gibt viele Trends, die im Laufe der Zeit ansteigen - das Muster könnte Zufall sein, aber es könnte auch ein wichtiger Hinweis auf Ihrer Suche nach mehr Daten im Internet sein. Glücklicherweise verfügen Sie über ein leistungsfähiges Werkzeug namens Excel-Webabfragen, das die Suche ein wenig einfacher macht.

Bildnachweis: Kevin Dooley über Photopin cc

Erfahren Sie mehr über: Microsoft Excel.