如何實現linux系統下批量轉換UTF8到GB2312并處理UTF8的BOM標記

這篇文章主要介紹“如何實現linux系統下批量轉換UTF8到GB2312并處理UTF8的BOM標記”，在日常操作中，相信很多人在如何實現linux系統下批量轉換UTF8到GB2312并處理UTF8的BOM標記問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何實現linux系統下批量轉換UTF8到GB2312并處理UTF8的BOM標記”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

　　內容：

代碼如下:

　　#!/bin/bash
　　for loop in `find . -type f -name "*.sql" -print`do
　　echo $loop
　　mv -f $loop $loop.tmp
　　dos2unix $loop.tmp
　　file_check_utf8='file_check_utf8.log'
　　sed -n '1l' $loop.tmp >$file_check_utf810.    if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&111.    then
      echo 'UTF-8 BOM'
      sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14.        iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15.        rm -rf intermediate.txt
      rm -rf $loop.tmp
　　elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&118.    then
      echo 'UTF-8'
　　 iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21.        rm -rf $loop.tmp
　　 else
       echo 'ANSI'
       mv -f $loop.tmp $loop
　　fi
　　rm -rf $file_check_utf8
　　 #模擬unix2dos，要求文本文件最后一行必須有換行符28.    sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29.    mv -f $loop.tmp $loop
　　done
　　
　　#!/bin/bash
　　for loop in `find . -type f -name "*.sql" -print`do
　　echo $loop
　　mv -f $loop $loop.tmp
　　dos2unix $loop.tmp
　　file_check_utf8='file_check_utf8.log'
　　sed -n '1l' $loop.tmp >$file_check_utf810.    if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&111.    then
      echo 'UTF-8 BOM'
      sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14.        iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15.        rm -rf intermediate.txt
      rm -rf $loop.tmp
　　elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&118.    then
      echo 'UTF-8'
　　 iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21.        rm -rf $loop.tmp
　　 else
       echo 'ANSI'
       mv -f $loop.tmp $loop
　　fi
　　rm -rf $file_check_utf8
　　 #模擬unix2dos，要求文本文件最后一行必須有換行符28.    sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29.    mv -f $loop.tmp $loop
　　done

　　解釋

　　1.處理UTF8的BOM，本人沒有找到好的辦法，最后用sed＋grep判斷了一下，如果前三個字節是\\357\\273\\277，則文件必定是UTF8，用sed去掉這三個字節再轉換

　　2.為了避免重復或者遺漏，腳本中用iconv對沒有BOM的文件嘗試轉換了一把，轉換成功說明文件是UTF8，否則說明是ANSI也就是GB2312

　　3.關于最后的sed命令，那是因為本人的系統上沒有unix2dos命令，所以進行了模擬，目的是為了方便自己在windows下查看和編輯

到此，關于“如何實現linux系統下批量轉換UTF8到GB2312并處理UTF8的BOM標記”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！