Functions
None	CombineCSVInFolder (str folder_name, str combined_file_name, str logger_label="ChEMBL__combine", bool print_to_console=False, bool skip_downloaded_files=False)

None	CreateFolder (str folder_name, str folder_name_for_log="")

None	DeleteFilesInFolder (str folder_name, list[str] except_files=[])

bool	IsFileInFolder (str folder_name, str file_name)

None	PrintException (Exception exception, str logger_label, str color, str file_name="exceptions.log")

None	UpdateLoggerFormat (str logger_label, str color, TextIO\|TextIOWrapper out=sys.stdout)

Function Documentation

◆ CombineCSVInFolder()

None file_and_logger_funcs.CombineCSVInFolder	(	str	folder_name,
		str	combined_file_name,
		str	logger_label = "ChEMBL__combine",
		bool	print_to_console = False,
		bool	skip_downloaded_files = False )

Склеивает все .csv файлы в папке в один

Args:
    folder_name (str): имя папки с .csv файлами
    combined_file_name (str): имя склеенного .csv файла
    logger_label (str, optional): текст заголовка для логирования. Defaults to "ChEMBL__combine".
    print_to_console (bool, optional): нужно ли выводить логирование в консоль. Defaults to False.

                       skip_downloaded_files: bool = False) -> None:
    """
    Склеивает все .csv файлы в папке в один
 
    Args:
        folder_name (str): имя папки с .csv файлами
        combined_file_name (str): имя склеенного .csv файла
        logger_label (str, optional): текст заголовка для логирования. Defaults to "ChEMBL__combine".
        print_to_console (bool, optional): нужно ли выводить логирование в консоль. Defaults to False.
    """
 
    UpdateLoggerFormat(logger_label, "fg #474747")
 
    logger.info(f"Start combining all downloads...".ljust(77))
    logger.info(f"{'-' * 77}")
 
    if IsFileInFolder(folder_name, f"{combined_file_name}.csv") and skip_downloaded_files:
        logger.warning(
            f"File '{combined_file_name}' is in folder, no need to combine".ljust(77))
        return
 
    combined_df = pd.DataFrame()
 
    for file_name in os.listdir(folder_name):
        if file_name.endswith('.csv') and file_name != f"{combined_file_name}.csv":
 
            if print_to_console:
                logger.info(f"Opening '{file_name}'...".ljust(77))
 
            full_file_name: str = os.path.join(folder_name, file_name)
 
            if print_to_console:
                logger.success(f"Opening '{file_name}': SUCCESS".ljust(77))
 
                logger.info(
                    f"Collecting '{file_name}' to pandas.DataFrame()...".ljust(77))
            try:
                df = pd.read_csv(full_file_name, sep=';', low_memory=False)
 
                if print_to_console:
                    logger.success(
                        f"Collecting '{file_name}' to pandas.DataFrame(): SUCCESS".ljust(77))
 
                    logger.info(
                        f"Concatenating '{file_name}' to combined_data_frame...".ljust(77))
 
                combined_df = pd.concat([combined_df, df], ignore_index=True)
 
                if print_to_console:
                    logger.success(
                        f"Concatenating '{file_name}' to combined_data_frame: SUCCESS".ljust(77))
 
            except Exception as exception:
                PrintException(exception, logger_label, "fg #474747")
 
            if print_to_console:
                logger.info(f"{'-' * 77}")
 
    logger.info(
        f"Collecting to combined .csv file in '{folder_name}'...".ljust(77))
    try:
        combined_df.to_csv(
            f"{folder_name}/{combined_file_name}.csv", sep=';', index=False)
        logger.success(
            f"Collecting to combined .csv file in '{folder_name}': SUCCESS".ljust(77))
 
    except Exception as exception:
        PrintException(exception, logger_label, "fg #474747")
 
    logger.info(f"{'-' * 77}")
    logger.success(f"End combining all downloads".ljust(77))
 
 

Here is the call graph for this function:

◆ CreateFolder()

None file_and_logger_funcs.CreateFolder	(	str	folder_name,
		str	folder_name_for_log = "" )

Создает папку, использует логирование
(в случае исключения также выводит об этом в консоль)

Args:
    folder_name (str): путь к папке.
    folder_name_for_log (str, optional): имя папки (для логирования). Defaults to "": имя будет идентично folder_name.

def CreateFolder(folder_name: str, folder_name_for_log: str = "") -> None:
    """
    Создает папку, использует логирование
    (в случае исключения также выводит об этом в консоль)
 
    Args:
        folder_name (str): путь к папке.
        folder_name_for_log (str, optional): имя папки (для логирования). Defaults to "": имя будет идентично folder_name.
    """
 
    if folder_name_for_log == "":
        folder_name_for_log = folder_name
 
    try:
        if not os.path.exists(folder_name):
            logger.info(f"Creating folder '{
                        folder_name_for_log}'...".ljust(77))
            os.mkdir(folder_name)
            logger.success(f"Creating folder '{
                folder_name_for_log}': SUCCESS".ljust(77))
 
    except Exception as exception:
        logger.warning(f"{exception}".ljust(77))
 
 

◆ DeleteFilesInFolder()

None file_and_logger_funcs.DeleteFilesInFolder	(	str	folder_name,
		list[str]	except_files = [] )

Удаляет все файлы в указанной папке, кроме файлов в списке исключений.

Args:
  folder_name (str): путь к папке.
  except_files (list[str], optional): список имен файлов, которые нужно исключить из удаления. Defaults to [].

def DeleteFilesInFolder(folder_name: str, except_files: list[str] = []) -> None:
    """
    Удаляет все файлы в указанной папке, кроме файлов в списке исключений.
 
    Args:
      folder_name (str): путь к папке.
      except_files (list[str], optional): список имен файлов, которые нужно исключить из удаления. Defaults to [].
    """
 
    for file_name in os.listdir(folder_name):
        full_file_name = os.path.join(folder_name, file_name)
 
        if os.path.isfile(full_file_name) and file_name not in except_files:
            os.remove(full_file_name)
 
 

◆ IsFileInFolder()

bool file_and_logger_funcs.IsFileInFolder	(	str	folder_name,
		str	file_name )

Проверяет, существует ли файл в указанной папке.

Args:
  file_name: путь к файлу, который нужно проверить.
  folder_name: путь к папке, в которой нужно проверить наличие файла.

Returns:
  True, если файл существует в папке, в противном случае False.

def IsFileInFolder(folder_name: str, file_name: str) -> bool:
    """
    Проверяет, существует ли файл в указанной папке.
 
    Args:
      file_name: путь к файлу, который нужно проверить.
      folder_name: путь к папке, в которой нужно проверить наличие файла.
 
    Returns:
      True, если файл существует в папке, в противном случае False.
    """
 
    full_file_name = os.path.join(folder_name, file_name)
    return os.path.exists(full_file_name)
 
 

Here is the caller graph for this function:

◆ PrintException()

None file_and_logger_funcs.PrintException	(	Exception	exception,
		str	logger_label,
		str	color,
		str	file_name = "exceptions.log" )

Выводит исключение в консоль и записывает в файл.

Args:
    exception (Exception): исключение
    logger_label (str): текст заголовка для логирования
    color (str): цвет заголовка для логирования
    file_name (str, optional): имя файла. Defaults to "exceptions.log".

                   file_name: str = "exceptions.log") -> None:
    """
    Выводит исключение в консоль и записывает в файл.
 
    Args:
        exception (Exception): исключение
        logger_label (str): текст заголовка для логирования
        color (str): цвет заголовка для логирования
        file_name (str, optional): имя файла. Defaults to "exceptions.log".
    """
 
    logger.error(f"{exception}".ljust(77))
 
    with open(file_name, 'a', encoding='utf-8') as f:
        UpdateLoggerFormat(logger_label, color, f)
 
        logger.error(
            f"{re.sub(r'"(.*?)\",\s+line\s+(\d+)', r'\1:\2', traceback.format_exc())}")
 
    UpdateLoggerFormat(logger_label, color)

Here is the call graph for this function:

Here is the caller graph for this function:

◆ UpdateLoggerFormat()

None file_and_logger_funcs.UpdateLoggerFormat	(	str	logger_label,
		str	color,
		TextIO \| TextIOWrapper	out = sys.stdout )

Обновляет формат вывода логирования

Args:
    logger_label (str): текст заголовка для логирования
    color (str): цвет заголовка для логирования
    out (TextIO | TextIOWrapper, optional): способ вывода. Defaults to sys.stdout.

                       out: TextIO | TextIOWrapper = sys.stdout) -> None:
    """
    Обновляет формат вывода логирования
 
    Args:
        logger_label (str): текст заголовка для логирования
        color (str): цвет заголовка для логирования
        out (TextIO | TextIOWrapper, optional): способ вывода. Defaults to sys.stdout.
    """
 
    logger.remove()
    logger.add(sink=out,
               format="[{time:DD.MM.YYYY HH:mm:ss}]" +
                      f" <{color}>{logger_label}:</{color}>" +
                      " <white>{message}</white>" +
                      " [<level>{level}</level>]")
 
 

Here is the caller graph for this function:

Functions

Function Documentation

◆ CombineCSVInFolder()

◆ CreateFolder()

◆ DeleteFilesInFolder()

◆ IsFileInFolder()

◆ PrintException()

◆ UpdateLoggerFormat()