用 Python 对 csv 大文件进行切割

csv 文件不同于 xls/xlsx 文件，虽然它也能被 Excel 软件打开，但其实它是一种纯文本格式，使用逗号分隔一系列值，跟记事本是类似的。基于这个特点，数据能够被不断添加到 csv 文件中，所以在一些大型项目中，用于存储数据的一个 csv 文件往往包含百万条甚至千万条级别的数据。这样一个庞大的数据文件在多数情况下都是打不开的，即使能打开，显示的数据也是不完整的，甚至还有可能损坏原文件。

所以我们需要对它进行切割，将其分解成一个个小的 csv 文件，再处理起来就方便多了。下面是利用 Python 对 csv 文件进行切割的处理程序，简单记录以备后用。

源代码

import csv
import os

# 源文件路径
path = 'E:/TestFile/账务明细总表.csv'

# 分割后的子文件存储路径
workspace = 'E:/TestFile/workspace'

with open(path, 'r', newline='') as file:
    csvreader = csv.reader(file)
    a = next(csvreader)
    #print(a)
    i = j = 0
    for row in csvreader:
        print(row)
        # 每 10000 个就 j 加 1，然后就有一个新的文件名。
        if i % 10000 == 0:
            j += 1

        csv_path = os.path.join(workspace, 'part_{}.csv'.format(j))

        print(csv_path)
        # 不存在此文件的时候，就创建
        if not os.path.exists(os.path.dirname(csv_path)):
            os.makedirs(os.path.dirname(csv_path))
            with open(csv_path, 'w', newline='') as file:

                csvwriter = csv.writer(file)
                # 表头为啥老是加不上呢 ？？？
                # csvwriter.writerow(['账务流水号', '业务流水号', '商户订单号', '商品名称', '发生时间', '对方账号', '收入金额（+元）'
                # , '支出金额（-元）', '账户余额（元）', '交易渠道', '业务类型', '备注'])
                csvwriter.writerow(row)
            i += 1
        # 存在的时候就往里面添加
        else:
            with open(csv_path, 'a', newline='') as file:
                csvwriter = csv.writer(file)
                csvwriter.writerow(row)
            i += 1

执行结果