README_from_modelscope.md

metadata

base_model: MusePublic/wan2.1-1.3b@v1
cover_images:
  - _cover_images_/cover_video.mp4
frameworks:
  - Pytorch
license: Apache License 2.0
tags:
  - LoRA
  - text2video generation
tasks:
  - text-to-video-synthesis
trigger_words:
  - ''
vision_foundation: WAN_VIDEO_2_1_T2V_1_3_B

通义万相2.1-1.3B-LoRA-高分辨率修复-v1

模型介绍

本 LoRA 模型是基于模型通义万相2.1-1.3B和框架 DiffSynth-Studio 训练的LoRA。由于基础模型的训练分辨率为 480P，在清晰度上存在一定缺陷，因此我们进行了额外的训练以修复模型在高分辨率视频上的效果，避免出现画面崩坏、灰暗的问题。本模型建议的使用方式：

1. 高分辨率短视频直出：将分辨率设置为 1024 x 1024，同时适当减少帧数从而避免生成时间过长。
2. 高分辨率视频细节润色：先使用低分辨率生成视频，经超分后再使用本模型进行视频生视频，对画面细节进行润色。

模型效果

二次元动漫

提示词：动漫风格，一个可爱的二次元小美女，黑色短发，头发随风摇曳，少女的头轻轻转动。

负面提示词：色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走

不启用本 LoRA 模型	启用本 LoRA 模型

剑与魔法

提示词：一幅古代神话场景，展现了勇士与龙的对峙，背景是险峻的山崖，勇士身披铠甲，手持闪亮的剑，龙展开巨大翅膀，火焰在口中蓄势待发。

负面提示词：色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走

不启用本 LoRA 模型	启用本 LoRA 模型

使用说明

本模型基于框架 DiffSynth-Studio 训练，请先安装

pip install diffsynth

import torch
from diffsynth import ModelManager, WanVideoPipeline, save_video
from modelscope import snapshot_download


snapshot_download(
    model_id="DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1",
    local_dir="models/DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1",
    allow_file_pattern="*.safetensors"
)
model_manager = ModelManager(device="cpu")
model_manager.load_models(
    [
        "models/Wan-AI/Wan2.1-T2V-1.3B/diffusion_pytorch_model.safetensors",
        "models/Wan-AI/Wan2.1-T2V-1.3B/models_t5_umt5-xxl-enc-bf16.pth",
        "models/Wan-AI/Wan2.1-T2V-1.3B/Wan2.1_VAE.pth",
    ],
    torch_dtype=torch.bfloat16,
)
model_manager.load_lora("models/DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1/model.safetensors")
pipe = WanVideoPipeline.from_model_manager(model_manager, torch_dtype=torch.bfloat16, device="cuda")
pipe.enable_vram_management(num_persistent_param_in_dit=None)

video = pipe(
    prompt="一幅古代神话场景，展现了勇士与龙的对峙，背景是险峻的山崖，勇士身披铠甲，手持闪亮的剑，龙展开巨大翅膀，火焰在口中蓄势待发。",
    negative_prompt="色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走",
    num_inference_steps=50,
    seed=1, tiled=True,
    num_frames=33, height=1024, width=1024, sigma_shift=10,
)
save_video(video, "video.mp4", fps=15, quality=5)