Refactor project structure and add new features
This commit is contained in:
Serge Zaigraeff
@@ -0,0 +1,37 @@
|
||||
"""
|
||||
Модуль config.py содержит функции для управления конфигурацией приложения.
|
||||
"""
|
||||
|
||||
import json
|
||||
import os
|
||||
import logging
|
||||
from typing import Dict
|
||||
|
||||
logger = logging.getLogger('app.config')
|
||||
|
||||
|
||||
def load_config(config_path: str) -> Dict:
|
||||
"""
|
||||
Загружает конфигурацию из JSON-файла.
|
||||
|
||||
Args:
|
||||
config_path: Путь к файлу конфигурации.
|
||||
|
||||
Returns:
|
||||
Словарь с параметрами конфигурации.
|
||||
|
||||
Raises:
|
||||
FileNotFoundError: Если файл конфигурации не найден.
|
||||
json.JSONDecodeError: Если файл конфигурации содержит некорректный JSON.
|
||||
"""
|
||||
try:
|
||||
with open(config_path, "r", encoding="utf-8") as f:
|
||||
config = json.load(f)
|
||||
logger.info(f"Конфигурация успешно загружена из {config_path}")
|
||||
return config
|
||||
except FileNotFoundError as e:
|
||||
logger.error(f"Файл конфигурации не найден: {e}")
|
||||
raise
|
||||
except json.JSONDecodeError as e:
|
||||
logger.error(f"Ошибка при загрузке конфигурации: {e}")
|
||||
raise
|
||||
@@ -0,0 +1,273 @@
|
||||
"""
|
||||
Модуль transcriber.py содержит класс WhisperTranscriber, который использует модель Whisper от
|
||||
OpenAI для транскрибации аудиофайлов в текст. Класс включает в себя методы для загрузки модели,
|
||||
обработки аудио (с использованием класса AudioProcessor), и выполнения транскрибации.
|
||||
Обрабатывает выбор устройства (CPU, CUDA, MPS) для выполнения вычислений и обеспечивает
|
||||
возможность использования Flash Attention 2 для ускорения работы модели на поддерживаемых GPU.
|
||||
"""
|
||||
|
||||
import time
|
||||
import traceback
|
||||
from typing import Dict, Tuple, Union
|
||||
import logging
|
||||
|
||||
import numpy as np
|
||||
import torch
|
||||
from transformers import (
|
||||
WhisperForConditionalGeneration,
|
||||
WhisperProcessor,
|
||||
pipeline,
|
||||
)
|
||||
|
||||
from ..audio.processor import AudioProcessor
|
||||
from ..audio.utils import AudioUtils
|
||||
from ..infrastructure.storage.file_manager import temp_file_manager
|
||||
|
||||
logger = logging.getLogger('app.transcriber')
|
||||
|
||||
|
||||
class WhisperTranscriber:
|
||||
"""
|
||||
Класс для распознавания речи с помощью модели Whisper.
|
||||
|
||||
Attributes:
|
||||
config (Dict): Словарь с параметрами конфигурации.
|
||||
model_path (str): Путь к модели Whisper.
|
||||
language (str): Язык распознавания.
|
||||
chunk_length_s (int): Длина аудиочанка в секундах.
|
||||
batch_size (int): Размер пакета для обработки.
|
||||
max_new_tokens (int): Максимальное количество новых токенов для генерации.
|
||||
return_timestamps (bool): Флаг возврата временных меток.
|
||||
temperature (float): Параметр температуры для генерации.
|
||||
torch_dtype (torch.dtype): Оптимальный тип данных для тензоров.
|
||||
audio_processor (AudioProcessor): Объект для обработки аудио.
|
||||
device (torch.device): Устройство для вычислений.
|
||||
model (WhisperForConditionalGeneration): Загруженная модель Whisper.
|
||||
processor (WhisperProcessor): Процессор для модели Whisper.
|
||||
asr_pipeline (pipeline): Пайплайн для автоматического распознавания речи.
|
||||
"""
|
||||
|
||||
def __init__(self, config: Dict):
|
||||
"""
|
||||
Инициализация транскрайбера.
|
||||
|
||||
Args:
|
||||
config: Словарь с параметрами конфигурации.
|
||||
"""
|
||||
self.config = config
|
||||
self.model_path = config["model_path"]
|
||||
self.language = config["language"]
|
||||
self.chunk_length_s = config["chunk_length_s"]
|
||||
self.batch_size = config["batch_size"]
|
||||
self.max_new_tokens = config["max_new_tokens"]
|
||||
self.return_timestamps = config["return_timestamps"]
|
||||
self.temperature = config["temperature"]
|
||||
|
||||
# Оптимальный тип для тензоров
|
||||
self.torch_dtype = torch.bfloat16
|
||||
|
||||
# Создаем объект для обработки аудио
|
||||
self.audio_processor = AudioProcessor(config)
|
||||
|
||||
# Определяем устройство для вычислений
|
||||
self.device = self._get_device()
|
||||
|
||||
# Загружаем модель при инициализации
|
||||
self._load_model()
|
||||
|
||||
def _get_device(self) -> torch.device:
|
||||
"""
|
||||
Определение доступного устройства для вычислений.
|
||||
|
||||
Returns:
|
||||
Объект устройства PyTorch.
|
||||
"""
|
||||
if torch.cuda.is_available():
|
||||
# Проверяем, доступна ли GPU с индексом 1
|
||||
if torch.cuda.device_count() > 1:
|
||||
logger.info("Используется CUDA GPU с индексом 1 для вычислений")
|
||||
return torch.device("cuda:1")
|
||||
else:
|
||||
logger.info("Доступна только одна CUDA GPU, используется GPU с индексом 0")
|
||||
return torch.device("cuda:0")
|
||||
elif hasattr(torch.backends, "mps") and torch.backends.mps.is_available():
|
||||
logger.info("Используется MPS (Apple Silicon) для вычислений")
|
||||
# Обходное решение для MPS
|
||||
setattr(torch.distributed, "is_initialized", lambda: False)
|
||||
return torch.device("mps")
|
||||
else:
|
||||
logger.info("Используется CPU для вычислений")
|
||||
return torch.device("cpu")
|
||||
|
||||
def _load_model(self) -> None:
|
||||
"""
|
||||
Загрузка модели и процессора.
|
||||
|
||||
Raises:
|
||||
Exception: Если не удалось загрузить модель.
|
||||
"""
|
||||
logger.info(f"Загрузка модели из {self.model_path}")
|
||||
|
||||
try:
|
||||
# Проверка возможности использования Flash Attention 2
|
||||
if self.device.type == "cuda":
|
||||
self.model = WhisperForConditionalGeneration.from_pretrained(
|
||||
self.model_path,
|
||||
torch_dtype=self.torch_dtype,
|
||||
low_cpu_mem_usage=True,
|
||||
use_safetensors=True,
|
||||
attn_implementation="flash_attention_2"
|
||||
).to(self.device)
|
||||
logger.info("Используется Flash Attention 2")
|
||||
else:
|
||||
self.model = WhisperForConditionalGeneration.from_pretrained(
|
||||
self.model_path,
|
||||
torch_dtype=self.torch_dtype,
|
||||
low_cpu_mem_usage=True,
|
||||
use_safetensors=True
|
||||
).to(self.device)
|
||||
except Exception as e:
|
||||
logger.warning(f"Не удалось загрузить модель с Flash Attention: {e}")
|
||||
# Fallback к обычной версии
|
||||
self.model = WhisperForConditionalGeneration.from_pretrained(
|
||||
self.model_path,
|
||||
torch_dtype=self.torch_dtype,
|
||||
low_cpu_mem_usage=True,
|
||||
use_safetensors=True
|
||||
).to(self.device)
|
||||
|
||||
self.processor = WhisperProcessor.from_pretrained(self.model_path)
|
||||
|
||||
self.asr_pipeline = pipeline(
|
||||
"automatic-speech-recognition",
|
||||
model=self.model,
|
||||
tokenizer=self.processor.tokenizer,
|
||||
feature_extractor=self.processor.feature_extractor,
|
||||
chunk_length_s=self.chunk_length_s,
|
||||
batch_size=self.batch_size,
|
||||
return_timestamps=self.return_timestamps,
|
||||
torch_dtype=self.torch_dtype,
|
||||
device=self.device,
|
||||
)
|
||||
|
||||
logger.info("Модель успешно загружена и готова к использованию")
|
||||
|
||||
def transcribe(self, audio_path: str) -> Union[str, Dict]:
|
||||
"""
|
||||
Транскрибация аудиофайла.
|
||||
|
||||
Args:
|
||||
audio_path: Путь к обработанному аудиофайлу.
|
||||
|
||||
Returns:
|
||||
В зависимости от параметра return_timestamps:
|
||||
- Если return_timestamps=False: строка с распознанным текстом
|
||||
- Если return_timestamps=True: словарь с ключами "segments" (список словарей с ключами start_time_ms, end_time_ms, text) и "text" (полный текст)
|
||||
"""
|
||||
logger.info(f"Начало транскрибации файла: {audio_path}")
|
||||
|
||||
try:
|
||||
# Загрузка аудио в формате numpy array
|
||||
audio_array, sampling_rate = AudioUtils.load_audio(audio_path, sr=16000)
|
||||
|
||||
# Транскрибация с корректным форматом данных
|
||||
result = self.asr_pipeline(
|
||||
{"raw": audio_array, "sampling_rate": sampling_rate},
|
||||
generate_kwargs={
|
||||
"language": self.language,
|
||||
"max_new_tokens": self.max_new_tokens,
|
||||
"temperature": self.temperature
|
||||
},
|
||||
return_timestamps=self.return_timestamps
|
||||
)
|
||||
|
||||
# Если временные метки не запрошены, возвращаем только текст
|
||||
if not self.return_timestamps:
|
||||
transcribed_text = result.get("text", "")
|
||||
logger.info(f"Транскрибация завершена: получено {len(transcribed_text)} символов текста")
|
||||
return transcribed_text
|
||||
|
||||
# Если временные метки запрошены, обрабатываем и форматируем результат
|
||||
segments = []
|
||||
full_text = result.get("text", "")
|
||||
|
||||
if "chunks" in result:
|
||||
# Для новых версий модели Whisper
|
||||
for chunk in result["chunks"]:
|
||||
start_time = chunk.get("timestamp", [0, 0])[0]
|
||||
end_time = chunk.get("timestamp", [0, 0])[1]
|
||||
text = chunk.get("text", "").strip()
|
||||
|
||||
segments.append({
|
||||
"start_time_ms": int(start_time * 1000),
|
||||
"end_time_ms": int(end_time * 1000),
|
||||
"text": text
|
||||
})
|
||||
elif hasattr(result, "get") and "segments" in result:
|
||||
# Для старых версий модели Whisper
|
||||
for segment in result["segments"]:
|
||||
start_time = segment.get("start", 0)
|
||||
end_time = segment.get("end", 0)
|
||||
text = segment.get("text", "").strip()
|
||||
|
||||
segments.append({
|
||||
"start_time_ms": int(start_time * 1000),
|
||||
"end_time_ms": int(end_time * 1000),
|
||||
"text": text
|
||||
})
|
||||
else:
|
||||
logger.warning("Временные метки запрошены, но не найдены в результате транскрибации")
|
||||
|
||||
logger.info(f"Транскрибация с временными метками завершена: получено {len(segments)} сегментов")
|
||||
|
||||
# Возвращаем словарь с сегментами и полным текстом
|
||||
return {
|
||||
"segments": segments,
|
||||
"text": full_text
|
||||
}
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Ошибка в процессе транскрибации аудиофайла '{audio_path}': {str(e)}")
|
||||
logger.error(f"Тип исключения: {type(e).__name__}")
|
||||
logger.error(f"Traceback: {traceback.format_exc()}")
|
||||
raise
|
||||
|
||||
def process_file(self, input_path: str) -> Union[str, Dict]:
|
||||
"""
|
||||
Полный процесс обработки и транскрибации аудиофайла.
|
||||
|
||||
Args:
|
||||
input_path: Путь к исходному аудиофайлу.
|
||||
|
||||
Returns:
|
||||
В зависимости от параметра return_timestamps:
|
||||
- Если return_timestamps=False: строка с распознанным текстом
|
||||
- Если return_timestamps=True: словарь с ключами "segments" и "text"
|
||||
"""
|
||||
start_time = time.time()
|
||||
logger.info(f"Начало обработки файла: {input_path}")
|
||||
|
||||
temp_files = []
|
||||
|
||||
try:
|
||||
# Обработка аудио (конвертация, нормализация, добавление тишины)
|
||||
processed_path, temp_files = self.audio_processor.process_audio(input_path)
|
||||
|
||||
# Транскрибация
|
||||
result = self.transcribe(processed_path)
|
||||
|
||||
elapsed_time = time.time() - start_time
|
||||
logger.info(f"Обработка и транскрибация завершены за {elapsed_time:.2f} секунд")
|
||||
|
||||
return result
|
||||
|
||||
except Exception as e:
|
||||
elapsed_time = time.time() - start_time
|
||||
logger.error(f"Ошибка при обработке файла '{input_path}' через {elapsed_time:.2f} секунд: {str(e)}")
|
||||
logger.error(f"Тип исключения: {type(e).__name__}")
|
||||
logger.error(f"Traceback: {traceback.format_exc()}")
|
||||
raise
|
||||
|
||||
finally:
|
||||
# Очистка временных файлов
|
||||
temp_file_manager.cleanup_temp_files(temp_files)
|
||||
@@ -0,0 +1,152 @@
|
||||
"""
|
||||
Модуль transcription_service.py содержит класс TranscriptionService,
|
||||
который отвечает за обработку и транскрибацию аудиофайлов.
|
||||
"""
|
||||
|
||||
import os
|
||||
import uuid
|
||||
import tempfile
|
||||
import time
|
||||
import traceback
|
||||
from typing import Dict, Tuple
|
||||
import logging
|
||||
|
||||
from ..audio.utils import AudioUtils
|
||||
from ..shared.history_logger import HistoryLogger
|
||||
from ..audio.sources import AudioSource
|
||||
from ..infrastructure.validation.validators import FileValidator, ValidationError
|
||||
|
||||
logger = logging.getLogger('app.transcription_service')
|
||||
|
||||
|
||||
class TranscriptionService:
|
||||
"""
|
||||
Сервис для обработки и транскрибации аудиофайлов.
|
||||
|
||||
Attributes:
|
||||
transcriber: Экземпляр транскрайбера.
|
||||
config (Dict): Словарь с конфигурацией.
|
||||
max_file_size_mb (int): Максимальный размер файла в МБ.
|
||||
history (HistoryLogger): Объект журналирования.
|
||||
"""
|
||||
|
||||
def __init__(self, transcriber, config: Dict):
|
||||
"""
|
||||
Инициализация сервиса транскрибации.
|
||||
|
||||
Args:
|
||||
transcriber: Экземпляр транскрайбера.
|
||||
config: Словарь с конфигурацией.
|
||||
"""
|
||||
self.transcriber = transcriber
|
||||
self.config = config
|
||||
self.max_file_size_mb = self.config.get("file_validation", {}).get("max_file_size_mb", 100)
|
||||
|
||||
# Объект журналирования
|
||||
self.history = HistoryLogger(config)
|
||||
|
||||
def transcribe_from_source(self, source: AudioSource, params: Dict = None, file_validator: FileValidator = None) -> Tuple[Dict, int]:
|
||||
"""
|
||||
Транскрибирует аудиофайл из указанного источника.
|
||||
|
||||
Args:
|
||||
source: Источник аудиофайла.
|
||||
params: Дополнительные параметры для транскрибации.
|
||||
file_validator: Валидатор файлов.
|
||||
|
||||
Returns:
|
||||
Кортеж (JSON-ответ, HTTP-код).
|
||||
"""
|
||||
# Получаем файл из источника
|
||||
file, filename, error = source.get_audio_file()
|
||||
|
||||
# Обрабатываем ошибки получения файла
|
||||
if error:
|
||||
logger.warning(f"Ошибка получения файла из источника: {error}")
|
||||
return {"error": error}, 400
|
||||
|
||||
if not file:
|
||||
logger.warning("Не удалось получить аудиофайл из источника")
|
||||
return {"error": "Failed to get audio file"}, 400
|
||||
|
||||
# Валидация файла, если предоставлен валидатор
|
||||
if file_validator:
|
||||
try:
|
||||
file_validator.validate_file(file, filename)
|
||||
except ValidationError as e:
|
||||
# Логирование ошибки валидации
|
||||
logger.warning(f"Ошибка валидации файла '{filename}': {str(e)}")
|
||||
return {"error": str(e)}, 400
|
||||
|
||||
# Извлекаем параметры из запроса, если они есть
|
||||
params = params or {}
|
||||
language = params.get('language', self.config.get('language', 'en'))
|
||||
temperature = float(params.get('temperature', 0.0))
|
||||
prompt = params.get('prompt', '')
|
||||
|
||||
# Проверяем, запрошены ли временные метки
|
||||
return_timestamps = params.get('return_timestamps', self.config.get('return_timestamps', False))
|
||||
# Преобразуем строковое значение в булево, если необходимо
|
||||
if isinstance(return_timestamps, str):
|
||||
return_timestamps = return_timestamps.lower() in ('true', 't', 'yes', 'y', '1')
|
||||
|
||||
# Временно изменяем настройку return_timestamps в транскрайбере
|
||||
original_return_timestamps = self.transcriber.return_timestamps
|
||||
self.transcriber.return_timestamps = return_timestamps
|
||||
|
||||
# Сохраняем файл во временный файл
|
||||
from ..infrastructure.storage.file_manager import temp_file_manager
|
||||
with temp_file_manager.temp_file() as temp_file_path:
|
||||
file.save(temp_file_path)
|
||||
|
||||
# Определяем длительность аудиофайла
|
||||
try:
|
||||
duration = AudioUtils.get_audio_duration(temp_file_path)
|
||||
except Exception as e:
|
||||
logger.error(f"Ошибка при определении длительности файла: {e}")
|
||||
return {"error": f"Не удалось определить длительность аудиофайла: {e}"}, 500
|
||||
|
||||
# Для файлов из внешних источников (URL, base64), закрываем их и выполняем очистку
|
||||
if hasattr(source, 'cleanup'):
|
||||
file.file.close() # Закрываем файловый объект
|
||||
source.cleanup() # Очищаем временные файлы источника
|
||||
|
||||
try:
|
||||
start_time = time.time()
|
||||
result = self.transcriber.process_file(temp_file_path)
|
||||
processing_time = time.time() - start_time
|
||||
|
||||
# Формируем ответ в зависимости от return_timestamps
|
||||
if return_timestamps:
|
||||
response = {
|
||||
"segments": result.get("segments", []),
|
||||
"text": result.get("text", ""),
|
||||
"processing_time": processing_time,
|
||||
"response_size_bytes": len(str(result).encode('utf-8')),
|
||||
"duration_seconds": duration,
|
||||
"model": os.path.basename(self.config["model_path"])
|
||||
}
|
||||
else:
|
||||
# Если не запрашивались временные метки, result - это строка
|
||||
response = {
|
||||
"text": result,
|
||||
"processing_time": processing_time,
|
||||
"response_size_bytes": len(str(result).encode('utf-8')),
|
||||
"duration_seconds": duration,
|
||||
"model": os.path.basename(self.config["model_path"])
|
||||
}
|
||||
|
||||
# Журналирование результата
|
||||
self.history.save(response, filename)
|
||||
|
||||
return response, 200
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Ошибка при транскрибации файла '{filename}': {str(e)}")
|
||||
logger.error(f"Тип исключения: {type(e).__name__}")
|
||||
logger.error(f"Traceback: {traceback.format_exc()}")
|
||||
return {"error": str(e)}, 500
|
||||
|
||||
finally:
|
||||
# Восстанавливаем оригинальное значение return_timestamps
|
||||
self.transcriber.return_timestamps = original_return_timestamps
|
||||
Reference in New Issue
Block a user