Недавно OpenAi выпустила новую модель Sora 2, которая взорвала интернет благодаря бесплатному доступу и большим лимитом на генерации. Каждый день пользователю доступна генерация 30 видеороликов длительностью по 10 секунд или 15 видеороликов по 15 секунд.
Это привело меня к мысли, что на её основе можно начать раскрутку соцсетей органическим трафиком. Но как выделиться среди других?
Меняем Watermark
Первое, что меня озадачило – это наличие во всех роликах вотермарки Sora. Её наличие отпугивает потенциальных зрителей, демонстрируя низкое качество и потоковость контента.
На Github уже присутствовали решения, скрывающие вотермарку, но я решил написать своё. Для начала я просто написал сравнение по картинке с поиском зоны вотермарки с её последующим перекрытием.
def detect_watermark_zone(frame, watermark_template, threshold=0.3):
result = cv2.matchTemplate(frame, watermark_template, cv2.TM_CCOEFF_NORMED)
_, max_val, _, max_loc = cv2.minMaxLoc(result)
if max_val >= threshold:
h, w = watermark_template.shape[:2]
return (*max_loc, w, h)
return NoneК обнаруженной зоне применялось две функции – blur + overlay. В результате вотермарка соры менялась на вотермарку моего канала.
В процессе тестирования на разных видеороликах выяснилось, что Sora использует 6 разных размеров вотермарки. Для эффективного обнаружения потребовалось добавить в программу все 6 примеров, а также функцию автоматического определения типа вотермарки.
def detect_best_watermark_type(input_path):
cap = cv2.VideoCapture(input_path)
total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
sample_count = min(15, total_frames) # анализируем первые 15 кадров
scores = {t: [] for t in W_TYPES}
for i in range(sample_count):
ret, frame = cap.read()
if not ret:
break
for t, path in W_TYPES.items():
tmpl = cv2.imread(path)
result = cv2.matchTemplate(frame, tmpl, cv2.TM_CCOEFF_NORMED)
_, max_val, _, _ = cv2.minMaxLoc(result)
scores[t].append(max_val)
cap.release()
avg_scores = {t: np.mean(v) if len(v) > 0 else 0 for t, v in scores.items()}
best_type = max(avg_scores, key=avg_scores.get)
if all(val < 0.5 for val in avg_scores.values()):
best_type = 1
print(f"[AutoDetect] Selected: {best_type} ({W_TYPES[best_type]}), score={avg_scores[best_type]:.3f}")
return best_typeИтоговая точность получилась довольно высокая, но для большей эффективности были применены дополнительные оптимизации. В ходе исследования было определено, что позиция вотермарки меняется каждые 67 кадров, поэтому в алгоритм был внедрен автоматический пропуск кадров с простановкой предыдущей зоны, при совпадении зоны на пяти кадрах подрят.
def process_video(input_path, watermark_path, overlay_path, output_path):
cap = cv2.VideoCapture(input_path)
video_clip = VideoFileClip(input_path)
frames = []
audio = video_clip.audio # может быть None
fps = cap.get(cv2.CAP_PROP_FPS)
watermark_template = cv2.imread(watermark_path)
overlay_img = cv2.imread(overlay_path, cv2.IMREAD_UNCHANGED) # RGBA
frame_count = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
positions = {}
last_pos = (0, 0, 0, 0)
ident_count = 0
skip_frames = 0
for i in range(frame_count):
ret, frame = cap.read()
if not ret:
break
if skip_frames > 0:
positions[i + 1] = last_pos
skip_frames -= 1
continue
zone = detect_watermark_zone(frame, watermark_template)
if not zone:
positions[i+1] = (0, 0, 0, 0)
continue
positions[i+1] = zone
if last_pos != zone:
last_pos = zone
ident_count = 0
else:
ident_count += 1
if ident_count >= 5:
next_multiple = ((i + 67) // 67) * 67
skip_frames = min(next_multiple - i, frame_count - i)
ident_count = 0В результате, скорость определения зоны вотермарки выросла почти в 10 раз, без снижения точности поиска.
Наложение субтитров поверх видео
Современная молодежь часто плохо фокусирует внимание и постоянно переключается между разными источниками контента. Для удержания внимания было решено внедрить поверх видео субтитры. В качестве основы использовалась библиотека с Github auto-subtitle . Она автоматически генерирует субтитры из голоса с помощью OpenAi Whisper.
Базовые настройки этой библиотеки не удовлетворяли требованиям, которые обычно используются в Tiktok и Shorts, в результате было применено несколько модификаций. Для субтитров был выбран определенный стиль и размер, распространенные у других создателей контента.
style = (
"Fontname=Bahnschrift SemiCondensed,"
'Fontsize=14,'
"ScaleX=0.8,"
"Bold=1,"
"MarginV=100,"
"MarginL=50,"
"MarginR=50,"
"Outline=1.5,"
'Shadow=0,'
'BorderStyle=1'
)Также был добавлен ограничитель на вывод текста не более 5 слов за раз, чтобы не перегружать видео, и алгоритм раскраски некоторых слов, чтобы субтитры казались более привлекательными.
def color_srt(input_file: str, output_file: str):
colors = ['lime', 'yellow']
def colorize_text(text):
words = text.split()
n = len(words)
if n <= 1:
return text
elif n == 2:
words[1] = f'<font color="{random.choice(colors)}">{words[1]}</font>'
elif n == 3:
# красим центральное слово
words[1] = f'<font color="{random.choice(colors)}">{words[1]}</font>'
else:
indices = list(range(1, n))
to_color = random.sample(indices, random.randint(1, 2) if n >= 5 else 1)
prev_i = None
prev_color = None
for i in to_color:
if prev_i is not None and ((i == prev_i + 1) or (i == prev_i - 1)):
color = prev_color
else:
color = random.choice([c for c in colors if c != prev_color]) if prev_color else random.choice(
colors)
words[i] = f'<font color="{color}">{words[i]}</font>'
prev_i = i
prev_color = color
return ' '.join(words)В результате программа начала стабильно накладывать субтитры поверх каждого видеоролика.
Склейка видео
Алгоритмы youtube shorts и tiktok отдают предпочтения видеороликам продолжительностью 15-30 секунд. Было решено делать видео длительностью 30 секунд на основе двух Sora генераций. Для этого был написан простой модуль на основе Moviepy.
from moviepy import VideoFileClip, concatenate_videoclips
def concat_videos(video_paths, output_path="output.mp4"):
clips = []
for path in video_paths:
clip = VideoFileClip(path)
if clip.duration > 1:
clip = clip.subclipped(0, clip.duration)
clips.append(clip)
final_clip = concatenate_videoclips(clips)
final_clip.write_videofile(output_path, codec="libx264", audio_codec="aac")
for c in clips:
c.close()
final_clip.close()После этого была написана функция, объединяющая эти три операции в одну.
def mounting_video(video_name: str, subt_off=False):
video_count = VIDEO_COUNT
w_types = [0, 0, 0, 0]
fix_only = (False, 3)
for i in range(1, video_count+1):
if fix_only[0]:
i = fix_only[1]
print(f'{i} видео начало обработку')
if w_types[i-1] != -1:
hide_watermark(PATHS.input + f'{i}.mp4', w_types[i-1])
else:
shutil.copy(PATHS.input + f'{i}.mp4', f'./input/m_{i}.mp4')
if not subt_off:
sys.argv = ['mounting_video.py', PATHS.tmp + f'm_{i}.mp4', '-o', PATHS.tmp]
main()
else:
shutil.copy(PATHS.tmp + f'm_{i}.mp4', PATHS.tmp + f'sm_{i}.mp4')
if fix_only[0]:
break
videos = [PATHS.tmp + f'sm_{i}.mp4' for i in range(1, video_count+1)]
concat_videos(videos, PATHS.output + video_name)
if __name__ == '__main__':
timestamp = datetime.datetime.now().strftime("%Y%m%d_%H%M")
filename = f"file_{timestamp}.mp4"
mounting_video(filename)Изначально эта функция была рассчитана на склейку четырех видеороликов по 10 секунд, в процессе оптимизаций было решено заменить их количество на 2 по 15 секунд.
Автоматическая генерация сюжетов
Сначала я вручную писал промпты в чат гпт и вставлял ответы в сору. Через несколько дней мне это надоело, и я начал автоматизировать этот процесс с помощью библиотеки g4f.
def get_sora_prompts(pr_text):
# new_text = prompt_modifications(pr_text)
new_text = pr_text
good_providers = [
OIVSCodeSer0501
]
print('Generate new prompt')
response = client.chat.completions.create(
model=g4f.models.default,
provider=random.choice(good_providers),
messages=[{"role": "user", "content": new_text}],
web_search=False
)
print(f'Selected provider: {response.provider}')
answer = response.choices[0].message.content
start = answer.find('{')
end = answer.rfind('}') + 1
if start == -1 or end <= 0:
return False
js_text = answer[start:end]
try:
data = json.loads(js_text)
except json.JSONDecodeError:
return False
required_keys = {"prompts", "title", "description", "tags"}
if not required_keys.issubset(data.keys()):
return False
if not isinstance(data["prompts"], list) or len(data["prompts"]) != 2:
return False
for item in data["prompts"]:
if not isinstance(item, str):
return False
print('Prompt successfully validated')
save_correct_prompt(data)
return TrueПромпт составлен так, чтобы нейросеть возвращала ответ в следующем формате:
{
"prompts": [
"текст первого промпта",
"текст второго промпта"
],
"title": "кликбейтное название для видео + 3 тега через #",
"description": "описание видео",
"tags": "теги через запятую без #"
}Это позволяет легко распарсить полученный json и провести несколько тестов на валидацию, что нейросеть не прислала в ответ отсебятину. Результат сохраняется в файл для дальнейшего использования.
Автоматическая генерация Sora
После автоматизации промптов напрашивалось автоматическое управление сайтом Sora, чтобы не тратить время на ручной ввод и загрузку результатов. Автоматизация проводилась средствами Python Playwright с аддоном stelth для обхода защиты cloudflare. Код получился довольно громоздким, посмотреть его вы можете на моем github. В программу заложена отказоустойчивость на случай перегрузки сервера или блокировки генерации за нарушение правил.
Написанный модуль использует два аккаунта параллельно через куки файлы, вводит в них промпты и качает полученные видео. Таким образом он делает 4 видеоролика по 15 секунд каждые 5 минут. Возможно дальнейшее масштабирование через увеличение количества аккаунтов.
Объединение модулей
После написания всех модулей я объединил их одной общей функцией, которая генерирует 10 видеороликов на одну кнопку.
import asyncio
import os
import time
from datetime import datetime
import shutil
from constants import PATHS, VIDEO_COUNT, FOLDER_VID_COUNT
from gpt_module import create_new_prompts
from sora_module import create_sora_videos
from mounting_video import mounting_video
def generate_video():
subt_off = False
create_new_prompts()
is_all_videos = False
while not is_all_videos:
is_all_videos = asyncio.run(create_sora_videos())
time.sleep(5)
cur_date = datetime.now().strftime("%d%m")
folder_name = cur_date
folder_path = os.path.join(PATHS.sora_videos, folder_name)
for i in range(1, FOLDER_VID_COUNT+1):
result_name = f'{i}_{cur_date}.mp4'
result_file = os.path.join(PATHS.output, result_name)
if os.path.exists(result_file):
print(f'Видео {i} уже создано')
continue
videos_path = os.path.join(folder_path, str(i))
if len(os.listdir(videos_path)) < VIDEO_COUNT:
print(f'Пропуск видео {i}, нехватает кусков')
continue
for filename in os.listdir(videos_path):
source_file = os.path.join(videos_path, filename)
destination_file = os.path.join(PATHS.input, filename)
shutil.copy(source_file, destination_file)
mounting_video(result_name, subt_off)
if __name__ == '__main__':
generate_video()В результате всего одно нажатие приводит к созданию 10 видеороликов длительность по 30 секунд каждый, с неповторяющимися уникальными сюжетами.
Создание всех видеороликов занимает примерно 30 минут. Основное время уходит на ожидание генераций от Sora2. При желании это можно масштабировать и параллелить, используя больше аккаунтов и проксей.
Автоматическая загрузка на YouTube
Последним шагом для полной автоматизации напрашивается загрузка видеороликов на Youtube и Tiktok. Это позволит запустить систему на удаленном сервере и забыть о ней на пол года, пока аккаунты набирают аудиторию без участия человека.
В автоматизации Youtube есть две методики. Первая это использование официального Api. Есть официальный репозиторий с подобным кодом. У этого метода есть недостаток – все видео попадают в черновик, а попытка публикации через Api приводит к автоматической блокировке видео. Это можно обойти договорившись с техподдержкой, но делать это я не пробовал.
Второй метод это автоматизация средствами Selenium или Playwright, в настоящее время я ещё не написал этот модуль, но он планируется к внедрению в ближайшие недели.
Итоги
В данный момент я веду каналы на Youtube и Tiktok, загружая в них по 10 видеороликов в день. Проект существует с 5 октября, поэтому качественной статистики пока нет. Алгоритм ютуб в среднем рекомендует 3 видео из 10, обеспечивая им примерно тысячу просмотров. Некоторые видео начинают рекомендоваться после задержки в несколько недель, повышая общие просмотры. В тикток рекомендуется почти каждое видео, но средние просмотры держатся в районе 300.
Проект пока недоступен на github, каждый день в него вносятся сильные корректировки. Также меняется системный промпт для тематики видеороликов, в поисках более качественных тем для повышения просмотров.
Автор: Mashinow
