在开发ASP.NET应用程序时，批量添加数据库记录是一个常见的需求，尤其是在处理大量数据导入或初始化数据时，高效的批量操作不仅能提升应用性能，还能减少数据库连接开销，本文将详细介绍如何在ASP.NET中实现批量添加数据库记录,涵盖多种方法及其适用场景。
使用Entity Framework Core进行批量插入
Entity Framework Core（EF Core）是ASP.NET开发中常用的ORM框架，它提供了多种批量操作方法。AddRange方法是最简单的批量插入方式，适用于少量数据,可以通过以下代码实现：
var entities = new List<Entity>();
for (int i = 0; i < 1000; i++)
{
entities.Add(new Entity { Name = $"Item {i}" });
}
using (var context = new MyDbContext())
{
context.Entities.AddRange(entities);
context.SaveChanges();
}
AddRange在处理大量数据时性能较差，因为EF Core会为每个实体生成单独的SQL语句，对于更高效的批量操作，可以使用EF Core的BulkInsert扩展方法，例如通过第三方库如EFCore.BulkExtensions，这种方法可以显著减少数据库往返次数,提高性能。
使用ADO.NET直接执行批量SQL语句
对于需要极致性能的场景，可以直接使用ADO.NET的SqlBulkCopy类。SqlBulkCopy专门为批量数据传输设计，支持将数据从DataTable或DataReader直接复制到SQL Server表中,以下是一个示例：
var dataTable = new DataTable();
dataTable.Columns.Add("Name", typeof(string));
for (int i = 0; i < 10000; i++)
{
dataTable.Rows.Add($"Item {i}");
}
using (var connection = new SqlConnection(connectionString))
{
connection.Open();
using (var bulkCopy = new SqlBulkCopy(connection))
{
bulkCopy.DestinationTableName = "Entities";
bulkCopy.WriteToServer(dataTable);
}
}
SqlBulkCopy的优势在于其高效性和低资源占用,但需要注意数据类型匹配和事务处理。
使用Dapper进行批量操作
Dapper是一个轻量级的ORM框架，它提供了高性能的数据库访问能力，通过Dapper的Execute方法,可以批量执行SQL语句。
var entities = new List<Entity>();
for (int i = 0; i < 1000; i++)
{
entities.Add(new Entity { Name = $"Item {i}" });
}
using (var connection = new SqlConnection(connectionString))
{
connection.Open();
connection.Execute("INSERT INTO Entities (Name) VALUES (@Name)", entities);
}
Dapper的批量操作依赖于参数化查询，可以防止SQL注入攻击,同时保持较高的性能。
处理大数据量的优化策略
当数据量极大时（例如超过10万条记录），直接一次性插入可能会导致内存溢出或性能下降，此时可以采用分批次插入的方式，将数据分成多个小批次,每批次处理一定数量的记录：
var batchSize = 1000;
for (int i = 0; i < entities.Count; i += batchSize)
{
var batch = entities.Skip(i).Take(batchSize).ToList();
using (var context = new MyDbContext())
{
context.Entities.AddRange(batch);
context.SaveChanges();
}
}
还可以禁用EF Core的变更追踪功能，通过AsNoTracking()方法减少内存开销。
事务管理的重要性
批量操作通常需要事务支持，以确保数据一致性，在ASP.NET中，可以通过TransactionScope实现分布式事务：
using (var scope = new TransactionScope())
{
using (var context = new MyDbContext())
{
context.Entities.AddRange(entities);
context.SaveChanges();
}
scope.Complete();
}
事务可以确保所有操作要么全部成功，要么全部回滚,避免部分数据插入导致的不一致状态。
异步批量操作
对于高并发场景，建议使用异步方法避免阻塞线程，EF Core和Dapper都支持异步操作，
await context.Entities.AddRangeAsync(entities); await context.SaveChangesAsync();
异步操作可以提高应用的响应能力，特别是在处理大量I/O密集型任务时。
在ASP.NET中实现批量添加数据库记录有多种方法，选择合适的技术取决于具体需求，EF Core适合中小型数据量，SqlBulkCopy适合高性能场景，而Dapper则提供了灵活性和性能的平衡，无论采用哪种方法，都需要注意事务管理、分批次处理和异步操作,以确保应用的稳定性和高效性。
FAQs
Q1: 批量插入数据时如何避免内存溢出？
A1: 可以通过分批次插入的方式，将大数据集拆分为多个小批次，每批次处理一定数量的记录，每1000条记录插入一次，同时使用AsNoTracking()或SqlBulkCopy减少内存开销。
Q2: 如何在批量操作中处理错误和回滚？
A2: 可以使用TransactionScope包裹批量操作，确保所有操作在事务中执行，如果任何一步失败，事务将自动回滚，避免部分数据插入，可以捕获异常并记录日志,以便后续排查问题。