So teilen Sie eine riesige CSV-Excel-Tabelle in separate Dateien auf

Excel ist bei so vielen täglichen Aufgaben hervorragend. Hin und wieder stößt man jedoch auf einen seiner Nachteile: die Größe einer Tabelle. Wenn Sie wissen möchten, wie Sie eine Excel-Tabelle verkleinern oder eine große CSV-Datei aufteilen, haben wir für Sie eine Übersicht.

Das Zeilenlimit für Tabellenkalkulationen ist an und für sich eine ziemlich ernste Aufgabe. Das aktuelle Zeilenlimit für Excel-Tabellen beträgt 1.048.576. Das ist richtig - über 1 Million Zeilen und ebenso viele Spalten.

Das Erreichen des Zeilenlimits ist jedoch bei bestimmten Aufgaben unglaublich einfach. Wenn Sie über E-Mail vermarkten, importieren Sie möglicherweise eine CSV-Datei. So importieren Sie Daten in Ihre Excel-Tabellen auf einfache und einfache Weise. So importieren Sie Daten in Ihre Excel-Tabellen. Sie haben Schwierigkeiten beim Importieren oder Exportieren von Daten eine Kalkulationstabelle? In diesem Lernprogramm lernen Sie die Kunst des Verschiebens von Daten zwischen Microsoft Excel, CSV, HTML und anderen Dateiformaten kennen. Lesen Sie mehr mit Millionen von E-Mail-Adressen. Das einzige Problem ist, wie Sie eigentlich eine Tabelle mit so vielen Adressen verwalten? Was ist außerdem, wenn Ihnen jemand eine CSV sendet, die bereits das Limit überschritten hat (von einem anderen Programm)??

Nun, ich werde Ihnen zeigen, wie Sie diesen riesigen CSV in leicht zu handhabende Brocken unterteilen können.

(Sie haben keine großen CSV-Dateien zur Hand? Es gibt einige ziemlich große CSV-Datensätze. 15 Massive Online-Datenbanken, die Sie kennen sollten 15 Massive Online-Datenbanken, die Sie über das Internet wissen sollten: Alle diese Daten werden in umfangreichen Wissensdatenbanken zusammengefasst. Anruf Online-Enzyklopädien oder Datenbanken - die Frage ist, ob Sie die besten wissen. Lesen Sie mehr unter data.gov. Ich verwende die 260.000-Zeilen-Liste "Hospital Compare", damit Sie dieselbe Datei verwenden können.)

1. Verwenden Sie ein Programm

Es gibt eine Reihe nützlicher CSV-Splitter-Programme. Ich zeige dir zwei der besten.

CSV Chunker

CSV Chunker ist ein Open Source CSV-Splitter. Es kann mit riesigen Dateien umgehen und diese schnell in Blöcke Ihrer Wahl aufteilen. Es dauerte ungefähr 3 Sekunden, um unser Hospital Compare CSV in 106 Abschnitte mit jeweils 2.500 Zeilen aufzuteilen.

CSV-Splitter

CSV Splitter ist unser zweites Werkzeug. Es bietet im Wesentlichen die gleiche Funktionalität wie CSV Chunker, allerdings mit einem etwas schlankeren Design. Der CSV-Splitter benötigte etwa 4 Sekunden, um unser Hospital Compare CSV in 106 mit jeweils 2.500 Zeilen aufzuteilen.

2. Verwenden Sie eine Stapeldatei

Als nächstes eine programmierbare Stapeldatei Schreiben einer einfachen Stapelverarbeitungsdatei (BAT-Datei) Erstellen einer einfachen Stapelverarbeitungsdatei (BAT-Datei) Stapelverarbeitungsdateien können alltägliche Computeraufgaben automatisieren. Im Folgenden erfahren Sie, wie Batch-Dateien funktionieren und wie Sie Ihr erstes Batch-Skript schreiben. Weiterlesen . Wir können eine Batch-Datei verwenden, um die CSV-Datei in kleinere Blöcke zu verarbeiten, und die Datei so anpassen, dass unterschiedliche Blöcke bereitgestellt werden.

Öffnen Sie ein neues Textdokument. Kopieren Sie Folgendes und fügen Sie Folgendes ein:

@echo off setlocal ENABLEDELAYEDEXPANSION REM Bearbeiten Sie diesen Wert, um den Namen der Datei zu ändern, die geteilt werden muss. Fügen Sie die Erweiterung ein. SET BFN = HCAHPSHospital.csv REM Bearbeiten Sie diesen Wert, um die Anzahl der Zeilen pro Datei zu ändern. SET LPF = 2500 REM Bearbeiten Sie diesen Wert, um den Namen jeder kurzen Datei zu ändern. Es folgt eine Nummer, die angibt, wo es in der Liste steht. SET SFN = HosptialSplitFile REM Nicht außerhalb dieser Zeile ändern. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 Für / F "delims ==" %% l in (% BFN%) Do (SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% if! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) Endlocal Pause

Sie müssen die Batchdatei vor der Ausführung konfigurieren. Ich erkläre Ihnen, was jeder Befehl bewirkt, und Sie können ihn an die Größe Ihrer Batch-Datei sowie an die erforderliche Ausgabe anpassen.

• “SET BFN =” sollte auf die CSV verweisen, die Sie zusammenbrechen müssen
• “SET LPF =” ist die Anzahl der Zeilen, auf die Sie Ihre neue Datei beschränken möchten
• “SET SFN =” ist das neue Benennungsschema für Ihre aufgeteilten Dateien

Sobald Sie Ihre Variablen eingegeben haben, gehen Sie zu Datei> Speichern unter. Wählen Sie den Dateinamen und wählen Sie sparen. Wählen Sie dann Ihre neu gespeicherte Textdatei aus und drücken Sie F2 umbenennen. Ersetzen Sie die TXT-Erweiterung durch BAT und drücken Sie OK wenn die Warnung erscheint Jetzt können Sie Ihr großes CSV aufteilen!

Ich warne Sie jedoch, diese Methode dauert einige Zeit. Es ist wahrscheinlich besser, einen der oben genannten Splitter zu verwenden.

Das ursprüngliche Skript und den Thread finden Sie hier.

3. Verwenden Sie ein PowerShell-Skript

Batch-Dateien sind praktisch. Sie können sie für eine Vielzahl von täglichen Aufgaben verwenden. PowerShell-Skripts sind jedoch insbesondere für diese Art der Verarbeitung und Aufteilung im Großen und Ganzen schneller.

Das folgende Skript schneidet schnell große CSV-Dateien in kleinere Dateien. Ich habe wieder das Hospital Compare CSV für mein Beispiel verwendet. Es dauerte ungefähr 3 Sekunden, bis der Befehl ausgeführt wurde. Öffnen Sie die Windows PowerShell ISE. Wenn Sie sich nicht sicher sind, wie Sie das tun sollen, geben Sie ein Powershell ise in die Startmenü-Suche und wählen Sie die entsprechende Option. Wählen Sie bei geöffneter PowerShell-ISE die Option Skript anzeigen Pfeil in der oberen rechten Ecke (im unteren Bild rot umrandet).

Kopieren Sie den folgenden Befehl und fügen Sie ihn in das Skriptfeld oben auf dem Bildschirm ein.

$ i = 0; Get-Content C: \ Benutzer \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % $ i ++; $ _ | Datei C: \ Benutzer \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv

Zunächst müssen Sie den Speicherort der Eingabedatei ändern. Zweitens müssen Sie angeben, wie viele Zeilen Ihre Ausgabedateien enthalten sollen. Zuletzt geben Sie den Ort der Ausgabedatei an. Ich habe dort meine Dateipfade gelassen, um die Situation zu veranschaulichen. Darüber hinaus Ihren Ausgabedateinamen haben müssen das “_ $ i.csv”Suffix passend zu mir. Andernfalls werden Ihre Ausgabedateien nicht ordnungsgemäß nummeriert.

Wenn Sie die Datei mit Ihren eigenen Daten bearbeitet haben, drücken Sie STRG + S um dein Skript zu speichern.

Das Original-Skript finden Sie hier.

4. Laden Sie es in ein Datenmodell

Unsere endgültige Lösung teilt den großen CSV nicht in kleinere Teile auf. Jose Barreto, ein Mitglied des OneDrive-Teams, hat kürzlich gezeigt, wie Sie eine große CSV-Datei in Excel laden können. In diesem Fall bedeutet groß das 1,048.567-Zeilenlimit. Er erklärt in einem Lernprogramm, dass Excel 2016 nicht nur die Datei tatsächlich lädt, sondern auch eine Datenverbindung zur CSV-Datei erstellen kann.

Die Daten der ursprünglichen CSV stehen dem Benutzer in einem Datenmodell zur Verfügung. Barreto erstellte eine Pivot-Tabelle mit “bis zu 8,5 Millionen Reihen ohne Probleme.” Das obige Bild stammt aus Barretos Blogeintrag (unten verlinkt) und zeigt insgesamt 2 Millionen Zeilen in Excel. (Informationen zur Verwendung einer Pivot-Tabelle für die Datenanalyse. Verwendung einer Excel-Pivot-Tabelle für die Datenanalyse. Verwendung einer Excel-Pivot-Tabelle für die Datenanalyse. Die Pivot-Tabelle ist eines der leistungsfähigsten Werkzeuge im Excel 2013-Repertoire. Es ist Wird häufig für die Analyse großer Datenmengen verwendet. Befolgen Sie unsere Schritt-für-Schritt-Demonstration, um alles darüber zu erfahren. Weitere Informationen.)

Wenn dies die Lösung ist, die zu Ihnen passt, folgen Sie der ausführlichen Anleitung von Jose Barreto hier. Denken Sie daran, dies ist keine Aufteilung der CSV-Datei, aber Sie können Ihre Daten innerhalb bestimmter Excel-Tools bearbeiten. Visualisierung der Datenanalyse mit den Power Tools von Excel. Visualisierung der Datenanalyse mit den Power Tools von Excel Datenverwaltungsfunktionen. Wenn Sie eines der neuen Tools verwendet haben, werden Sie alle benötigen. Werden Sie zum Meister Ihrer Datenanalyse mit Elektrowerkzeugen! Weiterlesen . Wenn Sie direkt auf Ihre Daten zugreifen, kann dies einen Versuch wert sein.

Zerbrich es!

Wir haben vier Lösungen aufgeführt, um Ihre massiven CSV-Dateien aufzubrechen, darunter zwei verschiedene Tools.

Von den vier Lösungen ist die Batchdatei wahrscheinlich die langsamste. 5 Gründe für die Verwendung von PowerShell anstelle von Batch Scripting. 5 Gründe für die Verwendung von PowerShell anstelle von Batch Scripting in einigen zusätzlichen Funktionen, und kickte alles mehrere Kerben. Hier sind einige Gründe, warum Sie es versuchen sollten. Weiterlesen . Das PowerShell-Skript ist schnell und einfach anpassbar, während die beiden Anwendungen einfach zu verwenden sind. Schließlich haben Sie die Möglichkeit, Ihre Daten direkt in Millionen von Zeilen in Excel zu importieren.

Welche Methode wählst du? Und hast du noch andere Tipps? Bitte teile es mit uns in den Kommentaren!

Bild-Gutschrift: lucadp / Depositphotos

Erfahren Sie mehr über: Microsoft Excel, Tabellenkalkulation.