Shift_JISをUTF-8に変換する方法

import os
import chardet
from pathlib import Path
from shutil import copyfile

src_dir = Path("example.com")
dest_dir = Path("new")

# エラーログファイルのパス
error_log_path = 'error_log.txt'

with open(error_log_path, 'w', encoding='utf-8') as error_log:
    for ext in ["*.html", "*.htm"]:
        for src_path in src_dir.glob("**/" + ext):
            # 変換後のパスを作成
            relative_path = src_path.relative_to(src_dir)
            dest_path = dest_dir / relative_path
            dest_path.parent.mkdir(parents=True, exist_ok=True)

            # ファイルのバイナリデータを読み込み
            rawdata = src_path.read_bytes()

            # デコード前にバイナリレベルで元の改行コードを判定
            original_newline = '\r\n' if b'\r\n' in rawdata else '\n'

            result = chardet.detect(rawdata)
            charenc = result['encoding']
            charenc_str = charenc.lower() if charenc else ''

            # 既にUTF-8またはASCIIの場合はそのままコピー
            if charenc_str in ['utf-8', 'ascii']:
                copyfile(src_path, dest_path)
                error_log.write(f"Already UTF-8/ASCII, copied: {src_path}\n")
                continue

            # Shift_JIS（CP932）を考慮して読み込み・変換を試みる
            try:
                # 日本語Windows環境の拡張文字に対応するため cp932 を優先使用
                encoding_to_use = 'cp932' if charenc_str in ['shift_jis', 'cp932', 'shift_jisx0213'] else (charenc or 'cp932')
                
                try:
                    content = rawdata.decode(encoding_to_use)
                except (UnicodeDecodeError, LookupError):
                    # デコード失敗時は cp932 で再試行
                    content = rawdata.decode('cp932')

                # 改行コードを一旦 '\n' に統一して正規化
                content = content.replace('\r\n', '\n').replace('\r', '\n')

                # 元の改行コードを指定して保存
                with open(dest_path, 'w', encoding='utf-8', newline=original_newline) as f:
                    f.write(content)

            except Exception as e:
                # エラーが発生した場合はログに書き出す
                error_log.write(f"Failed to convert file: {src_path}, Error: {e}\n")

コピー

import os
import shutil
import re
import logging

# ロギングの設定
logging.basicConfig(filename='error.log', level=logging.ERROR)

# 入力・出力先のディレクトリ
input_dir = 'new'
output_dir = 'neo'

# 出力先ディレクトリが存在しない場合作成
os.makedirs(output_dir, exist_ok=True)

# 入力ディレクトリとそのすべてのサブディレクトリを順に処理
for dirpath, dirnames, filenames in os.walk(input_dir):
    for filename in filenames:
        if not filename.endswith(('.html', '.htm')):  # .htmlまたは.htmファイル以外はスキップ
            continue

        filepath = os.path.join(dirpath, filename)
        relative_dir = os.path.relpath(dirpath, input_dir)
        new_dirpath = os.path.join(output_dir, relative_dir)
        os.makedirs(new_dirpath, exist_ok=True)
        new_filepath = os.path.join(new_dirpath, filename)

        with open(filepath, 'rb') as file:
            rawdata = file.read()

        # UTF-8として読み込み、メタタグの記述を書き換える
        try:
            # バイナリ段階で元の改行コード（CRLF か LF か）を判定
            original_newline = '\r\n' if b'\r\n' in rawdata else '\n'

            contents = rawdata.decode('utf-8')
            
            # charsetおよびencodingのShift_JIS指定をUTF-8に変更
            contents = re.sub(r'charset=["\']?shift_jis["\']?', 'charset="utf-8"', contents, flags=re.I)
            contents = re.sub(r'encoding=["\']?shift_jis["\' ]?', 'encoding="utf-8"', contents, flags=re.I)

            # 改行コードを一旦 '\n' に統一して正規化
            contents = contents.replace('\r\n', '\n').replace('\r', '\n')

            # 元の改行コードを指定して保存
            with open(new_filepath, 'w', encoding='utf-8', newline=original_newline) as new_file:
                new_file.write(contents)

        except UnicodeDecodeError:
            # UTF-8で読み込めなかったファイルはエラーログを出力し、そのままコピー
            logging.error(f'{filepath}: Not valid UTF-8. Copied without text replacement.')
            shutil.copy(filepath, new_filepath)

コピー

from pathlib import Path

src_dir = Path("neo")

# 結果を保存するテキストファイルのパス
list_txt_path = 'list.txt'
non_utf8_files = []

# .htmlと.htmの両方を探す
for extension in ['**/*.html', '**/*.htm']:
    for src_path in src_dir.glob(extension):
        try:
            # バイナリを読み込んでUTF-8でデコードできるか検証
            rawdata = src_path.read_bytes()
            rawdata.decode('utf-8')
        except UnicodeDecodeError:
            # UTF-8でデコードできなかったファイルのパスをリストに追加
            non_utf8_files.append(str(src_path))
        except Exception as e:
            print(f"Failed to check file: {src_path}, Error: {e}")

# リストの内容をテキストファイルに書き出す
with open(list_txt_path, 'w', encoding='utf-8') as list_txt:
    if non_utf8_files:
        for filepath in non_utf8_files:
            list_txt.write(filepath + '\n')
    else:
        list_txt.write('すべてのファイルがUTF-8で、list.txtは空です。\n')

コピー