Qt怎么實現記錄清理

這篇文章主要介紹“Qt怎么實現記錄清理”，在日常操作中，相信很多人在Qt怎么實現記錄清理問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Qt怎么實現記錄清理”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

一、前言

記錄清理功能，在數據量很小的情況下，用不上，如果數據量大了的話，長年累月存儲的，那就顯得極其重要了，好比視頻監控中的NVR存儲的視頻一樣，一般來說存儲個60天，那超過60天怎辦呢，擦除早期的數據用來存儲最近的數據即可。在這個氣體安全管理系統中，數據量長年累月也是很大的，一般來說一個節點默認每分鐘存儲一個數據，如果100個節點（這個應該是保守的數量，據說應用的好多個現場有500個左右的節點，至于如何突破的modbus255個節點的限制，后面的文章會單獨講解），一天下來就是1006024=144000，100天都1440萬條數據了，千萬級別，這個如果不做早期數據的清理的話，慢慢下去各種性能影響會越來越突出，要么加大存儲間隔，要么設定只保存最近的多少條記錄，這幾個參數都是可以調節的，存儲間隔在探測器設置中進行設置，每個探測器節點都可以設置不同的存儲間隔；保留最大的記錄數在系統設置中設置，默認100W條，超過的會定時清理早期數據。

為此特定封裝了一個類DbCleanThread專門用來清理數據和文件夾，為什么還有個清理文件夾的功能呢，這也是現實中需求來的，比如有時候存儲一些圖片和視頻文件等，如果存儲器容量不夠大，尤其是嵌入式linux，板子上一般存儲器不會很大，目前8G居多，隨著時間的推移，文件數量會越來越多，本身存儲的剩余容量會越來越小，這也需要定期清理早期的文件，保證在現有容量允許的情況下，循環存儲文件，編寫這個類盡量做成了通用的類，考慮了很多個參數，比如可以設定條件字段、排序字段、清理的間隔、文件夾路徑、最大大小等。

二、功能特點

1. 采集數據端口，支持串口端口+網絡端口，串口支持自由設置串口號+波特率，網絡支持自由設置IP地址+通訊端口，每個端口支持采集周期，默認1秒鐘一個地址，支持設置通訊超時次數，默認3次，支持最大重連時間，用于重新讀取離線的設備。

2. 控制器信息，能夠添加控制器名稱，選擇控制器地址+控制器型號，設置該控制器下面的探測器數量。

3. 探測器信息，能夠添加位號，可自由選擇探測器型號，氣體種類，氣體符號，高報值，低報值，緩沖值，清零值，是否啟用，報警聲音，背景地圖，存儲周期，數值換算小數點位數，報警延時時間，報警的類型（HH,LL,HL）等。

4. 控制器型號+探測器型號+氣體種類+氣體符號，均可自由配置。

5. 地圖支持導入和刪除，所有的探測器對應地圖位置可自由拖動保存。

6. 端口信息+控制器信息+探測器信息，支持導入導出+導出到excel+打印。

7. 運行記錄+報警記錄+用戶記錄，支持多條件組合查詢，比如時間段+控制器+探測器等，所有記錄支持導出到excel+打印。

8. 導出到excel的記錄支持所有excel+wps等表格文件版本，不依賴excel等軟件。

9. 可刪除指定時間范圍內的數據，支持自動清理早期數據，設置最大保存記錄數。

10. 支持報警短信轉發，支持多個接收手機號碼，可設定發送間隔，比如即時發送或者6個小時發送一次所有的報警信息，短信內容過長，自動拆分多條短信。

11. 支持報警郵件轉發，支持多個接收郵箱，可設定發送間隔，比如即時發送或者6個小時發送一次所有的報警信息，支持附件發送。

12. 高報顏色+低報顏色+正常顏色+0值顏色+曲線背景+曲線顏色等，都可以自由選擇。

13. 軟件的中文標題+英文標題+logo路徑+版權所有都可以自由設置。

14. 提供開關設置開機運行+報警聲音+自動登錄+記住密碼等。

15. 報警聲音可設置播放次數，界面提供17種皮膚文件選擇。

16. 支持云端數據同步，可設置云端數據庫的信息，比如數據庫名稱，用戶名+密碼等。

17. 支持網絡轉發和網絡接收，網絡接收開啟后，軟件從udp接收數據進行解析。網絡轉發支持多個目標IP，這樣就實現了本地采集的軟件，自由將數據轉到客戶端，隨時查看探測器數據。

18. 自動記住用戶最后停留的界面+其他信息，重啟后自動應用。

19. 報警自動切換到對應的地圖，探測器按鈕閃爍。

20. 雙擊探測器圖標，可以進行回控。

21. 支持用戶權限管理，管理員+操作員兩大類，用戶登錄+用戶退出，可以記住密碼和自動登錄，超過三次報錯提示并關閉程序。

22. 支持四種監控模式，設備面板監控+地圖監控+表格數據監控+曲線數據監控，可自由切換，四種同步應用。

23. 支持報警繼電器聯動，一個位號可以跨串口聯動多個模塊和繼電器號，支持多對多。

24. 本地數據存儲支持sqlite+mysql，支持遠程數據同步到云端數據庫。自動重連。

25. 本地設備采集到的數據實時上傳到云端，以便手機APP或者web等其他方式提取。

26. 支持兩種數據源，一種是串口和網絡通過協議采集設備數據，一種是數據庫采集。數據庫采集模式可以作為通用的系統使用。

27. 自帶設備模擬工具，支持16個設備數據模擬，同時還帶數據庫數據模擬，以便在沒有設備的時候測試數據。

28. 默認通信協議采用modbus協議，后期增加mqtt等物聯網協議的支持，做成通用系統。

29. 支持所有windows操作系統+linux操作系統和其他操作系統。

三、效果圖

四、核心代碼

#pragma execution_character_set("utf-8")
#include "dbcleanthread.h"

QScopedPointer<DbCleanThread> DbCleanThread::self;
DbCleanThread *DbCleanThread::Instance()
{
    if (self.isNull()) {
        static QMutex mutex;
        QMutexLocker locker(&mutex);
        if (self.isNull()) {
            self.reset(new DbCleanThread);
        }
    }

    return self.data();
}

DbCleanThread::DbCleanThread(QObject *parent) : QThread(parent)
{
    stopped = false;
    isBusy = false;
    lastTime = QDateTime::currentDateTime();

    tableName = "DeviceLog";
    countName = "*";
    whereColumnName = "SaveTime";
    orderSql = "SaveTime asc";
    maxCount = 100000;
    interval = 30 * 60;

    dirPath = "";
    dirFileFilter = QStringList("*.jpg");
    dirMaxSize = 1024;

    dbType = DbType_MySql;
    connName = "qt_sql_default_connection";
    hostName = "127.0.0.1";
    port = 3306;
    dbName = "db_mysql";
    userName = "root";
    userPwd = "root";
}

DbCleanThread::~DbCleanThread()
{
    this->stop();
    this->wait();
}

void DbCleanThread::run()
{
    //在這里打開數據庫,Qt5.10以后增加了安全性,不能用主線程創建的數據庫連接
    QSqlDatabase dbConn;
    if (dbType == DbType_Sqlite) {
        dbConn = QSqlDatabase::addDatabase("QSQLITE", connName);
        dbConn.setDatabaseName(dbName);
    } else if (dbType == DbType_MySql) {
        dbConn = QSqlDatabase::addDatabase("QMYSQL", connName);
        dbConn.setConnectOptions("MYSQL_OPT_RECONNECT=1;MYSQL_OPT_CONNECT_TIMEOUT=1;MYSQL_OPT_READ_TIMEOUT=1;MYSQL_OPT_WRITE_TIMEOUT=1");
        dbConn.setHostName(hostName);
        dbConn.setPort(port);
        dbConn.setDatabaseName(dbName);
        dbConn.setUserName(userName);
        dbConn.setPassword(userPwd);
    }

    //數據庫打開失敗則不用處理
    if (!dbConn.open()) {
        qDebug() << this->objectName() << dbConn.lastError();
        return;
    }

    while (!stopped) {
        //定時執行一次校驗時間是否到了該清理的時候
        QDateTime now = QDateTime::currentDateTime();
        if (lastTime.secsTo(now) >= interval) {
            if (isBusy) {
                qDebug() << this->objectName() << "DbCleanThread isBusy";
                lastTime = now;
                continue;
            }

            isBusy = true;
            clean();
            isBusy = false;
            lastTime = now;
            msleep(1);
        }

        msleep(100);
    }

    stopped = false;
}

void DbCleanThread::setTableName(const QString &tableName)
{
    this->tableName = tableName;
}

void DbCleanThread::setWhereColumnName(const QString &whereColumnName)
{
    this->whereColumnName = whereColumnName;
}

void DbCleanThread::setOrderSql(const QString &orderSql)
{
    this->orderSql = orderSql;
}

void DbCleanThread::setMaxCount(int maxCount)
{
    this->maxCount = maxCount;
}

void DbCleanThread::setInterval(int interval)
{
    this->interval = interval;
}

void DbCleanThread::setPar(const QString &tableName, const QString &countName,
                           const QString &whereColumnName, const QString &orderSql,
                           int maxCount, int interval)
{
    this->tableName = tableName;
    this->countName = countName;
    this->whereColumnName = whereColumnName;
    this->orderSql = orderSql;
    this->maxCount = maxCount;
    this->interval = interval;
}

void DbCleanThread::setDirPath(const QString &dirPath)
{
    this->dirPath = dirPath;
}

void DbCleanThread::setDirFileFilter(const QStringList &dirFileFilter)
{
    this->dirFileFilter = dirFileFilter;
}

void DbCleanThread::setDirMaxSize(int dirMaxSize)
{
    this->dirMaxSize = dirMaxSize;
}

void DbCleanThread::setConnInfo(DbCleanThread::DbType dbType, const QString &connName, const QString &hostName, int port,
                                const QString &dbName, const QString &userName, const QString &userPwd)
{
    this->dbType = dbType;
    this->connName = connName;
    this->hostName = hostName;
    this->port = port;
    this->dbName = dbName;
    this->userName = userName;
    this->userPwd = userPwd;
}

void DbCleanThread::deleteDirectory(const QString &path)
{
    QDir dir(path);
    if (!dir.exists()) {
        return;
    }

    dir.setFilter(QDir::AllEntries | QDir::NoDotAndDotDot);
    QFileInfoList fileList = dir.entryInfoList();

    foreach (QFileInfo fi, fileList) {
        if (fi.isFile()) {
            fi.dir().remove(fi.fileName());
        } else {
            deleteDirectory(fi.absoluteFilePath());
            dir.rmdir(fi.absoluteFilePath());
        }
    }
}

void DbCleanThread::stop()
{
    stopped = true;
}

void DbCleanThread::clean()
{
    //首先查找總記錄數,如果總記錄數超過限制,則將超出的部分按照字段排序進行刪除
    QString sql = QString("select count(%1) from %2").arg(countName).arg(tableName);
    QSqlQuery query(QSqlDatabase::database(connName));
    query.exec(sql);
    query.next();

    int count = query.value(0).toInt();
    int cleanCount = (count - maxCount);
    if (cleanCount >= 100) {
        QDateTime dtStart = QDateTime::currentDateTime();

        //每次最大清理1000條數據
        cleanCount = cleanCount > 1000 ? 1000 : cleanCount;

        //將要刪除的數據指定字段集合查詢出來
        query.clear();
        sql = QString("select %2 from %1 order by %3 limit %4").arg(tableName).arg(whereColumnName).arg(orderSql).arg(cleanCount);
        query.exec(sql);

        QStringList list;
        while(query.next()) {
            list << query.value(0).toString();
        }

        //刪除數據
        query.clear();
        sql = QString("delete from %1 where %2 in(%3)").arg(tableName).arg(whereColumnName).arg(list.join(","));
        bool ok = query.exec(sql);

        QDateTime dtEnd = QDateTime::currentDateTime();
        double msec = dtStart.msecsTo(dtEnd);
        emit cleanFinsh(ok, cleanCount, msec);
    }

    //自動清理文件夾
    if (!dirPath.isEmpty()) {
        //找出該文件夾下的所有文件夾
        QDir dir(dirPath);
        if (!dir.exists()) {
            return;
        }

        //按照目錄查找,過濾文件夾,按照文件名稱排序
        dir.setFilter(QDir::Dirs | QDir::NoSymLinks | QDir::NoDotAndDotDot);
        dir.setSorting(QDir::Name);
        QStringList list = dir.entryList();

        //遍歷所有目錄,對所有文件大小相加得到總大小,文件就在文件夾下,不會再有子目錄
        qint64 size = 0;
        foreach (QString path, list) {
            QDir d(dirPath + "/" + path);
            QFileInfoList infos = d.entryInfoList(dirFileFilter);
            foreach (QFileInfo info, infos) {
                size += info.size();
            }

            //轉化成MB,超過預定大小自動刪除第一個文件夾,跳出循環無需繼續判斷
            int sizeMB = size / (1024 * 1024);
            if (sizeMB >= dirMaxSize) {
                //刪除該目錄下的所有文件
                QString firstDir = dirPath + "/" + list.at(0);
                QDir dir(firstDir);
                dir.setFilter(QDir::AllEntries | QDir::NoDotAndDotDot);
                QStringList list = dir.entryList();
                foreach (QString file, list) {
                    dir.remove(file);
                    qDebug() << "remove file" << firstDir << file;
                }

                //刪除文件夾本身
                dir.rmdir(firstDir);
                qDebug() << "remove dir" << firstDir;

                emit cleanDir(firstDir);
                break;
            }
        }
    }
}

到此，關于“Qt怎么實現記錄清理”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！