博客
关于我
MongoDB快速插入1000w测试数据(Java)
阅读量:794 次
发布时间:2023-02-09

本文共 2655 字,大约阅读时间需要 8 分钟。

MongoDB 数据插入优化指南

1. 添加 Maven 依赖

在项目中添加 MongoDB 驱动依赖,采用以下方式配置:

org.mongodb
mongodb-driver-sync
4.5.0

请根据实际需求选择最新版本。

2. 复制代码

以下是用于插入数据的完整 Java 类代码:

import com.mongodb.client.MongoClients;import com.mongodb.client.MongoClient;import com.mongodb.client.MongoDatabase;import com.mongodb.client.MongoCollection;import com.mongodb.client.model.Indexes;import org.bson.Document;import java.util.ArrayList;import java.util.List;import java.util.Random;public class MongoDBInsertTestData {    private static final String DATABASE_NAME = "test_database";    private static final String COLLECTION_NAME = "test_collection";    private static final int TOTAL_RECORDS = 100_000_000;    private static final int BATCH_SIZE = 10_000;    public static void main(String[] args) {        try (MongoClient mongoClient = MongoClients.create("mongodb://localhost:27017")) {            MongoDatabase database = mongoClient.getDatabase(DATABASE_NAME);            MongoCollection collection = database.getCollection(COLLECTION_NAME);            // 创建唯一索引            collection.createIndex(Indexes.ascending("id"));            insertData(collection);            System.out.println("Data insertion completed.");        }    }    private static void insertData(MongoCollection collection) {        Random random = new Random();        List
batch = new ArrayList<>(); for (int i = 0; i < TOTAL_RECORDS; i++) { Document doc = new Document("id", i) .append("name", generateRandomString(10)) .append("value", random.nextDouble()) .append("timestamp", System.currentTimeMillis()); batch.add(doc); if (batch.size() == BATCH_SIZE) { collection.insertMany(batch); System.out.println("Inserted " + batch.size() + " records."); batch.clear(); } } if (!batch.isEmpty()) { collection.insertMany(batch); System.out.println("Inserted " + batch.size() + " records."); } } private static String generateRandomString(int length) { StringBuilder sb = new StringBuilder(length); String characters = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz"; Random random = new Random(); for (int i = 0; i < length; i++) { sb.append(characters.charAt(random.nextInt(characters.length()))); } return sb.toString(); }}

3. 修改配置并运行

在项目中添加上述依赖后,将代码复制到合适的位置,并确保以下配置正确:

  • pom.xml 中添加 MongoDB 依赖。
  • 修改 MongoDB 连接地址,确保 mongodb://localhost:27017 与你的本地 MongoDB 实例一致。

运行代码时,命令行执行 mvn clean run,即可开始插入测试数据。

转载地址:http://qnffk.baihongyu.com/

你可能感兴趣的文章
Mqtt搭建代理服务器进行通信-浅析
查看>>
MQTT(1):MQTT协议介绍
查看>>
MQTT(2):MQTT协议原理
查看>>
MQ选型 | 为什么是RocketMQ而不是Kafka?
查看>>
Mr Cao 的提问
查看>>
MS COCO数据集介绍
查看>>
MS Edge浏览器“STATUS_INVALID_IMAGE_HASH“兼容性问题
查看>>
Ms Sql 2000 & Ms Sql 2005 & Ms Sql 2008更改 tempdb 数据库的物理位置
查看>>
ms sql server 2008 sp2更新异常
查看>>
MS SQL查询库、表、列数据结构信息汇总
查看>>
MS UC 2013-0-Prepare Tool
查看>>
MSBuild 教程(2)
查看>>
msbuild发布web应用程序
查看>>
MSB与LSB
查看>>
MSCRM调用外部JS文件
查看>>
MSCRM调用外部JS文件
查看>>
MSEdgeDriver (Chromium) 不适用于版本 >= 79.0.313 (Canary)
查看>>
MsEdgeTTS开源项目使用教程
查看>>
msf
查看>>
MSFT Outlook VBA处理新邮件的方法
查看>>