Teletekst uit VHS halen

[Koen]

Kijk, dit is lollig. Twee Britten die er in slagen teletekstsignalen uit VHS-opnames te halen.

 

Verhaal hier: http://www.alphr.com/life-culture/1002880/the-teletext-salvagers-how-vhs-is-bringing-teletext-back-from-the-dead/page/0/2

 

Software hier: https://github.com/ali1234/vhs-teletext

 

En wat voorbeeldjes: http://teletext76.blogspot.be/

 

Mij te technisch, maar misschien iets voor wie eens wat anders wil herontdekken... volgens mij is dit onder bandenzoekers volkomen onontgonnen terrein!

[djkoelkast]

Samba-boy doet het regelmatig, met een gewone tv. Ik zelf heb het nooit gedaan.

[OudeTVfreak]

Ook ik doe dit regelmatig met een gewone televisie. Gewoon op het AV-kanaal op Teletekst zetten, werkt ook bij Betamax en (volgens mij) ook bij Video2000. Daar werd tijdens het opnemen de Teletekst data ook opgenomen. Zo kun je heel makkelijk de uitzenddatum achterhalen. Bij VCR werkt het niet volgens mij. 

[samba-boy]

Datum checken, inderdaad. Werkt bij kwalitatief goeie tapes uitmuntend (dan zie ik zelfs de klok nog lopen... uiteraard wel met wat storingen), bij sommige tapes is er bijna geen begonnen werk aan.

[Koen]

Het trucje om de datum te bepalen ken ik, al pas ik dat uit luiheid zelden toe - videorecorders zijn aan een DVD-recorder gekoppeld, die dan weer op de TV is aangesloten - en blijkbaar wordt door die 'luskoppeling' het teletekstsignaal helemaal uitgeschakeld. Maar veel meer dan de bovenste regel - plus, met een beetje geluk, een paar woorden op een pagina die je lang laat openstaan - kom ik toch niet, terwijl die Britten dus zomaar het hele TT-aanbod van een VHS plukken. Ik vond het opmerkelijk, maar aan de commentaren te zien is dat nu ook weer niet zo heel erg bijzonder. :-)

[samba-boy]

...Wacht eens, ik heb eens het artikel nog eens goed doorgelezen en zoals ik het hier lees is dit wel gewoon heel briljant. Hoe langer de opname, hoe meer 'error correctie' je hebt. Met 5 minuten zou je de gehele teletekst-database van dat moment moeten hebben (weliswaar met veel errors, videoband-kwaliteit kennende) maar hoe langer je opneemt, hoe vaker je dat signaal dus op de band hebt... Damn, impressive dit.

 

 

Unfortunately, extracting text pages is hard work. Once the video has been captured from a tape, it takes about a day for a computer to crunch through a 5GB data file. But the future of teletext archaeology could be about to receive a massive speed boost.

 

 

Toch maar zelf eens mee gaan experimenteren, denk ik. Kijken of ik er iets mee kan binnenhalen.

15 maart 2016 aangepast door samba-boy

[djkoelkast]

Ik wil het ook best eens proberen (ik heb het artikel nog niet gelezen), ik denk dat je het meest kans hebt met goed opgenomen HiFi-banden, dat waren over het algemeen ook goede en stabiele recorders.

[Koen]

Ja, heel erg kort samengevat komt het er dus op neer dat je, met de software waar ik naar gelinkt heb, in staat zou moeten zijn om de hele 'database' op het moment van opname binnen te hengelen. Belangrijkste voorwaarde, even afgezien dan van de kwaliteit van de opname, is dat de software blijkbaar geschreven is voor een specifieke capture-methode, al geeft de programmeur wel aan dat een handige collega de nodige aanpassingen zou moeten kunnen schrijven om zijn trucje ook met andere capture-software te laten werken:

"The software has only been tested with bt8x8 capture hardware, but should work with any VBI capture hardware if you write a new configuration file (see config_bt8x8_pal.py)."

Beetje googelen zou me wellicht wat wijzer maken, maar zoals het er nu staat is dit Chinees voor mij. Engels Chinees dan nog. Komt uit de readme die je kan vinden bij de tweede link in mijn eerste bericht. Daar staat volgens mij alle technische info die iemand met kennis van zaken nodig heeft om ermee aan de slag te gaan; de andere links zijn een journalistiek stukje dat de technische kant slechts zijdelings behandelt en de website van iemand die hier mee bezig is.

 

Ik las ergens in een van de links dat de 'ontdekker' van dit aardigheidje hier een Raspberry Pi voor gebruikt. Ik ben onvoldoende onderlegd om dan te kunnen zeggen of dat betekent dat je ook enkel daarmee die software kan draaien. Koelkast?

 

Mij lijkt het in het bijzonder leuk als je opnames tegenkomt van dagen waarop iets bijzonders gebeurd is. Of gewoon voor echt hele oude opnames. *Neemt zich voor eens op te zoeken wanneer teletekst in Nederland en Vlaanderen begonnen is.*

15 maart 2016 aangepast door Koen

[djkoelkast]

BT8x8 is een bepaalde chipset, die x kan verschillen per kaart. Het zijn echt oudere PCI capturekaarten en waarschijnlijk moet je het signaal dan via de kabelingang invoeren en niet via S-Video of composite. Op zich wel logisch ergens. 

Zo'n kaart heb ik vast nog wel, maar dat betekent ook meteen dat die op Win 98 moet gaan draaien voor het beste resultaat. Succes

 

Op een Raspberry eh? Dan zullen er ook BT8x8-kaarten in USB-vorm gemaakt zijn

Programma is gechreven in Python (vandaar .py) dus dat moet je of met een interpreter draaien of compilen. Het is in elk geval geen 1-click-and-go-oplossing.

[Koen]

Windows 98? Kan dat niet gewoon met een app, ja?

 

Bedankt voor de info, maakt toch weer een aantal dingen duidelijker. Misschien nog eens een hobbyprojectje voor iemand als jij - zelf hoef ik hier echt niet aan te beginnen. :-)

 

Nu ik eraan denk. Een hoogst enkele keer heb ik het volgende meegemaakt. Sommige TV-zenders zonden in de analoge tijd een of andere vorm van informatie mee waardoor je TV, als je op het kanaal in kwestie afstemde, in een balkje de naam kon laten zien van het programma dat werd uitgezonden. Die info werd ook opgepikt door DVD-recorders van Panasonic (andere merken misschien ook) die zo een opname automatisch labelden met de naam van het programma dat je net had opgenomen. Welnu, ik heb het minstens één keer meegemaakt dat ik een uitzending van VHS naar DVD kopieerde, en de DVD-recorder uit die VHS-opname de naam van het programma wist te halen. Vond ik wel een leuke stunt, maar is me verder bijna (?) nooit overkomen...

[djkoelkast]

Windows 98? Kan dat niet gewoon met een app, ja?

 

Bedankt voor de info, maakt toch weer een aantal dingen duidelijker. Misschien nog eens een hobbyprojectje voor iemand als jij - zelf hoef ik hier echt niet aan te beginnen. :-)

 

Nu ik eraan denk. Een hoogst enkele keer heb ik het volgende meegemaakt. Sommige TV-zenders zonden in de analoge tijd een of andere vorm van informatie mee waardoor je TV, als je op het kanaal in kwestie afstemde, in een balkje de naam kon laten zien van het programma dat werd uitgezonden. Die info werd ook opgepikt door DVD-recorders van Panasonic (andere merken misschien ook) die zo een opname automatisch labelden met de naam van het programma dat je net had opgenomen. Welnu, ik heb het minstens één keer meegemaakt dat ik een uitzending van VHS naar DVD kopieerde, en de DVD-recorder uit die VHS-opname de naam van het programma wist te halen. Vond ik wel een leuke stunt, maar is me verder bijna (?) nooit overkomen...

 

Het is uiteindelijk allemaal onderdeel van het signaal geweest en dat werd mee opgenomen, net als VPS-triggers als ik het me goed herinner (die lieten een recorder langer door-opnemen als een programma uitliep zodat je niks miste). Kan ook anders geheten hebben. En natuurlijk index marks op banden. Allemaal info die er wel op staat, maar die je niet direct ziet.

[samba-boy]

Nu ik eraan denk. Een hoogst enkele keer heb ik het volgende meegemaakt. Sommige TV-zenders zonden in de analoge tijd een of andere vorm van informatie mee waardoor je TV, als je op het kanaal in kwestie afstemde, in een balkje de naam kon laten zien van het programma dat werd uitgezonden. Die info werd ook opgepikt door DVD-recorders van Panasonic (andere merken misschien ook) die zo een opname automatisch labelden met de naam van het programma dat je net had opgenomen. Welnu, ik heb het minstens één keer meegemaakt dat ik een uitzending van VHS naar DVD kopieerde, en de DVD-recorder uit die VHS-opname de naam van het programma wist te halen. Vond ik wel een leuke stunt, maar is me verder bijna (?) nooit overkomen...

Één keer. Dat was een combi van een kwalitatief verdomd goede videoband, een destijds ogenschijnlijk goede recorder en een optimale digitalisatie-aansluiting die het allemaal kon doorgeven; één opname die ik, toen ik nog opnames op dvd zette via de harddisk-recorder werd zo automatisch voorzien van een label. 'De Leeuw in de knoop' stond ineens vermeld, en het was Paul de Leeuw die de 10 Jaar Knoop in je Zakdoek-uitzending presenteerde. Duidelijk zat.

[Koen]

Haha, jij ook één keertje. Ik wist niet wat ik zag toen het me overkwam. Bij mij was het een aflevering van een Vlaamse Molreeks.

PDC was leuk, destijds vaak gebruikt. Zou leuk zijn als iets dergelijks ook digitaal werd meegezonden, nu moet je altijd bestandjes gaan bijknippen.

[T4600C]

Ik zou dit graag willen proberen met mijn banden. VHS om te beginnen.

 

Wat zijn de beste keuzes qua capture card, opnamen-instelligen en filter-chain (tbc, ruis filters) ? Mijn vraag aan iemand met ervaring

 

Enig idee of er teletext te halen is van Philips LVC banden?

[samba-boy]

Grappig dat je dit topic omhoog schopt, @T4600C. Ik had het hier eerder deze week toevallig nog met @djkoelkast over. Ik heb hem in de afgelopen jaren veelvuldig gevraagd of hij er eens wat mee kon proberen. 1 van de problemen waar hij vervolgens regelmatig tegenaan liep is dat er geen en/en-mogelijkheden zijn om in één run een degelijke digitale capture te maken van zowel de daadwerkelijke beeldopname op een tape, als van het teletekst-signaal; slechts of/of. Voor dat teletekst-signaal moet dan gebruik worden gemaakt van een recorder die speciaal is aangesloten op een computer die helemaal in de mode staat om dat signaal binnen te laten komen, die je bij zo lang mogelijke opnames moet laten 'cappen', waarna de foutcorrectie kan worden toegepast (die dacht ik ook nog eens heel erg is toegespitst op de Engelse taal).

 

Per formaat is ook gebleken dat het heel, heel erg kan wisselen in resultaat. Als het tv-signaal bij de opname ook al niet sterk was kun je het eigenlijk al vergeten, en VHS (dacht ik) is verrassend genoeg een formaat waar het nog helemaal niet zo lekker op werkt, waar het bij betamax er weer prima (of totaal niet) uit kan komen.

 

Kort gezegd: zwaar tijdrovend, computer die je ervoor gebruikt is nergens anders voor te gebruiken, vaker niet dan wel resultaat en áls je al resultaat hebt, moet je nog heel veel handmatig afstellen op leesbare tekst. Heel vaak veel tijd kwijt voor... Mja, net helemaal niks. Maargoed, misschien kan djkoelkast bijspringen om de mogelijk foute info die ik ongetwijfeld geef in dit berichtje te verbeteren en nog wat aan te vullen

 

Er is hoe dan ook dus nog flink wat ruimte voor improvement en ik word er graag over op de hoogte gehouden als er iets aan ontwikkeling gebeurt, want ik vind dit hele proces nog steeds erg interessant. Teletekst heeft bijvoorbeeld ook veel informatie qua metadataover optredende artiesten en gasten in programma's van de commerciële zenders; uitgebreidere informatie die je vaak niet (meer) in de gidsen of de kranten van toen kan terugvinden.

Als iemand dus iets handzaams uitvogelt... Laat het vooral weten.

1 december 2021 aangepast door samba-boy

[Spiny Norman]

Maar "verrassend genoeg" is sarcasme, toch? VHS nam immers i.t.t. betamax maar een gedeelte van het signaal op. Kopie van VHS naar VHS werd dan ook steeds minder. Ze demonstreren dat heel duidelijk in "Secret life of machines".

[T4600C]

Ik heb gezien dat de software nog in 2020 een grote update heeft gehad naar 3.0

 

Blijkbaar wordt er nu gebruik gemaakt van de GPU en kan het draaien in Pyton3 in windows. Geen Linux meer nodig.

 

De software kan de GPU gebruiken om de lijndata de vergelijking met een teletext database om zo errorcorrectie uit te voeren. (onmogelijk characters kunnen omgezet worden naar het meest voor de hand liggende legale character.) Dus wellicht werkt het nu beter. 

Ik heb nog wat vragen:

 

Zit het teletekst signaal alleen in de RF/TV uitgang of ook in composiet/component.

 

Moet een aparte TBC toegepast worden of haalt die het signaal juist weg?

 

Op wat voor resolutie moet PAL worden gecaptured hiervoor?

 

 

[djkoelkast]

Het werkt alleen met een specifieke (oude) capturekaart met een specifieke chipset. Zie mijn post eerder in dit topic.

Het werkt het beste met composite

Er moet juist geen TBC of wat dan ook worden ingezet

Het werkt het beste met een recorder zonder poespas, dus geen fancy S-VHS met TBC/DNR/3D weet ik wat. Gewoon een solide VHS-recorder, liefst met een 'edit'-mode.

De editmode schakelt alle beeldverbetering uit. Als je bijvoorbeeld de scherpte omhoog zet krijg je al minder resultaat.

 

Dan moet je eerst de opname volledig capturen

Daarna moet je via de scripts de teletekst er uit halen (dat is 3-delig en duurt uren, ook met CUDA)

Daarna voer je nog OCR uit (ik had die van mij zo aangepast dat hij ook een NL woordenboek had)

Daarna maakte ik er oo nog html van.

 

En dan valt het resultaat tegen vond ik, voor de hoeveelheid werk.

 

Voorbeelden van mij (in sommige gevallen zijn de pagina's klikbaar)

 

https://www.seriesnl.nl/duinenbeta/100.html

 

https://www.seriesnl.nl/bassie/100.html

 

https://www.seriesnl.nl/rtl4_95/100.html

 

https://www.seriesnl.nl/voo6_95/100.html

 

https://www.seriesnl.nl/tv1/100.html

 

https://www.seriesnl.nl/vcc/100.html (van Video 2000 was het helemaal niet te doen)

 

https://www.seriesnl.nl/zg/100.html

 

Ik heb best veel geprobeerd hoor

[samba-boy]

Die van rtl 4-95 blijft een pareltje, net als die écht oude uit 1987 (Stop en Stap Show vermeld in de gids). Zoals ik zeg; als het niet zo ziek veel werk zou kosten met een specifieke inlaadwijze die zorgt dat je er niks anders mee kan, zou het een supervet project zijn om dit a là Internet Archive te conserveren. Maar ik denk dat dit voor nu echt nog een brug te ver is...

 

Dus wie gaat het verbeteren en bruikbaar maken?

[samba-boy]

Een kick, want dit onderwerp en dit gehele project kan ik maar níet loslaten. Ik heb een reeks videobanden van commerciële TV (Lees, RTL 4) uit de mid-90s en juist omwille van metadata die daar nog in de teletekstgegevens kan staan (Welke gasten er op welke dag in doordeweekse programma's waren als De 5 uur Show of Koffietijd, nieuwsartikelen en andere zaken) die vandaag de dag niet of niet gemakkelijk meer te achterhalen zijn, weiger ik deze tapes weg te doen. En toen kwam ik déze presentatie tegen. Het is een uitgebreide, het geluid staat op één kanaal dus het is even uitzitten, maar het is zo verdomd interessant.

 

 

Ik wil dit gewoon kunnen. Ja, oké, het signaal is in geval van VHS niet optimaal (en al stukken beter bij betamax), maar het moet toch kunnen? Toch?