fix(short): el prompt pedía tres cosas que no podían cumplirse a la vez
El modelo declaraba menos segundos de los que su propia línea necesitaba en 3 o 4 de cada 5 planos narrados — entre 3,8 y 8,2 s de deriva por Short. El vídeo salía con la duración correcta porque shortsmith estira, pero el ritmo visual que el spec escribía no era el que se renderizaba. No era pereza del modelo: era un juego de reglas insatisfacible. El prompt pedía a la vez líneas de hasta 18 palabras, planos de 6 s como mucho, y tiempo declarado suficiente para la propia voz. 18 palabras piden 7,3 s, así que las tres juntas son imposibles y el modelo rompía la única que nadie comprobaba. Tres capas, las tres deterministas y sin gastar una generación: - La regla enseñada llevaba el mismo error de clase que el estimador tenía antes del 2026-08-12: palabras por segundo a secas, sin el término de las pausas. Medida contra las 28 líneas que el bot ha narrado de verdad, `words/2.75 + 0.5` se quedaba corta en 14 y hasta 2,27 s — obedecerla al pie de la letra seguía infradeclarando. Ahora es de dos términos, como la voz, y el peor caso baja a 1,27 s en 5 de 28. - El tope de palabras por línea se DERIVA del plano más largo (`max_words_in`) en vez de escribirse a mano. La contradicción no puede volver. - El ejemplo de referencia incumplía su propia regla en 2 de sus 6 líneas, y el ejemplo es la señal más fuerte del prompt: le estábamos enseñando el fallo. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
+74
-5
@@ -134,7 +134,9 @@ def test_the_worked_example_narrates_most_of_its_shots():
|
||||
def test_the_worked_example_declares_time_for_its_own_narration():
|
||||
"""Un plano que se queda corto para su propia voz enseña a infradeclarar: el
|
||||
render no corta la voz, alarga el plano, y el total se va del objetivo."""
|
||||
from src.generator.spec_contract import NARRATION_WORDS_PER_SECOND, spoken_seconds
|
||||
from src.generator.spec_contract import (
|
||||
NARRATION_PAD, sentence_count, spoken_seconds, teachable_seconds,
|
||||
)
|
||||
|
||||
example = json.loads(EXAMPLE.read_text())
|
||||
for i, shot in enumerate(example["shots"]):
|
||||
@@ -142,10 +144,14 @@ def test_the_worked_example_declares_time_for_its_own_narration():
|
||||
if not narration:
|
||||
continue
|
||||
# La cuenta que el prompt le pide al modelo, aplicada al ejemplo que le
|
||||
# pone delante. Si no cuadran, la regla en prosa pierde.
|
||||
rule = len(narration.split()) / NARRATION_WORDS_PER_SECOND + 0.5
|
||||
assert shot["duration"] >= rule, f"shot {i} declara menos de lo que habla"
|
||||
assert shot["duration"] >= spoken_seconds(narration), \
|
||||
# pone delante. Si no cuadran, la regla en prosa pierde: el ejemplo es
|
||||
# la señal más fuerte. Dos de estas seis líneas NO cumplían — y ese es
|
||||
# exactamente el defecto que el modelo copiaba.
|
||||
rule = teachable_seconds(len(narration.split()), sentence_count(narration))
|
||||
assert shot["duration"] >= rule - 1e-9, \
|
||||
f"shot {i} declara menos de lo que su propia regla pide"
|
||||
# Y contra la voz medida, no sólo contra la regla que la aproxima.
|
||||
assert shot["duration"] >= spoken_seconds(narration) + NARRATION_PAD - 1e-9, \
|
||||
f"shot {i} se quedaría corto para su propia voz"
|
||||
|
||||
|
||||
@@ -187,6 +193,69 @@ def test_the_worked_example_obeys_the_budget_it_preaches():
|
||||
assert round(sum(lines) / len(lines)) == NARRATION_WORDS_PER_LINE
|
||||
|
||||
|
||||
def test_the_longest_line_allowed_fits_in_the_longest_shot_allowed():
|
||||
"""La contradicción que hacía infradeclarar, convertida en test.
|
||||
|
||||
El prompt pedía a la vez líneas de hasta 18 palabras, planos de 6 s como
|
||||
mucho, y tiempo declarado suficiente para la propia voz. Las tres juntas son
|
||||
imposibles — 18 palabras piden 7,3 s — y el modelo rompía la única que nadie
|
||||
comprobaba. Si alguien vuelve a subir el tope de palabras a mano, esto salta.
|
||||
"""
|
||||
from src.generator.shortspec import (
|
||||
MAX_SHOT_DURATION, NARRATION_WORDS_PER_LINE_MAX,
|
||||
)
|
||||
from src.generator.spec_contract import teachable_seconds
|
||||
|
||||
# En el caso malo: una línea al tope, partida en dos frases (dos pausas).
|
||||
assert teachable_seconds(NARRATION_WORDS_PER_LINE_MAX, 2) <= MAX_SHOT_DURATION
|
||||
|
||||
# Y el tope es apretado, no una holgura cómoda que esconda otra vez el fallo:
|
||||
# una palabra más ya no cabría.
|
||||
assert teachable_seconds(NARRATION_WORDS_PER_LINE_MAX + 1, 2) > MAX_SHOT_DURATION
|
||||
|
||||
|
||||
def test_the_prompt_rule_counts_the_pauses_and_not_only_the_words():
|
||||
"""Palabras por segundo a secas es el mismo error que tenía el estimador.
|
||||
|
||||
Medido contra las 28 líneas que el bot ha narrado de verdad, `words/2.75 +
|
||||
0.5` se quedaba corta en 14 y hasta 2,27 s: obedecerla al pie de la letra
|
||||
seguía infradeclarando media docena de planos. La regla del prompt tiene que
|
||||
llevar el término por frase, y tiene que ser LA MISMA que aplican los tests.
|
||||
"""
|
||||
w, _ = writer("{}")
|
||||
prompt = w.build_prompt("Caso X", "material", None, "X.TEST")
|
||||
|
||||
assert "× sentences" in prompt
|
||||
assert "count the sentences" in prompt
|
||||
|
||||
# Una línea troceada cuesta más que una seguida con las mismas palabras.
|
||||
from src.generator.spec_contract import teachable_seconds
|
||||
assert teachable_seconds(12, 3) > teachable_seconds(12, 1)
|
||||
|
||||
|
||||
def test_the_worked_arithmetic_in_the_prompt_is_actually_right():
|
||||
"""Un ejemplo numérico equivocado enseña la cuenta equivocada, y se lee antes
|
||||
que la fórmula."""
|
||||
import re as _re
|
||||
from src.generator.spec_contract import sentence_count, teachable_seconds
|
||||
|
||||
w, _ = writer("{}")
|
||||
prompt = w.build_prompt("Caso X", "material", None, "X.TEST")
|
||||
example = json.loads(EXAMPLE.read_text())
|
||||
|
||||
worked = _re.findall(
|
||||
r"[Ss]hot (\d+) speaks \w+ words in \w+ sentences?, so [^=]+= ([\d.]+)",
|
||||
prompt)
|
||||
# Sin esto el test pasa en vacío si alguien reescribe el párrafo.
|
||||
assert len(worked) == 2, f"no se encontraron las cuentas trabajadas: {worked}"
|
||||
|
||||
for index, claimed in worked:
|
||||
narration = example["shots"][int(index)]["narration"]
|
||||
real = teachable_seconds(len(narration.split()), sentence_count(narration))
|
||||
assert abs(real - float(claimed)) < 0.05, \
|
||||
f"el prompt dice {claimed}s para shots.{index}, la regla da {real:.2f}s"
|
||||
|
||||
|
||||
def test_prompt_says_out_loud_that_there_is_no_article_yet():
|
||||
w, _ = writer("{}")
|
||||
assert "No article URL yet" in w.build_prompt("X", "m", None, "X.TEST")
|
||||
|
||||
Reference in New Issue
Block a user