"Gespeicherte EPG-Daten regelmäßig einlesen" - Intervall?

[Joerg]

Ich glaube mehr als 150.000 Events lässt den RAM überlaufen.

nö, mag vielleicht mal ein Problem gewesen sein, aber ist es zumindest nicht mehr. Zufälligerweise hab ich noch enentsprechendes Log von der Konsolenausgabe wo ich das heute nacht mal mitlaufen lassen habe, selbst auf der alten Trinity-Box sind ü150tsnd Events kein Problem. Auf der Trinity hab ich sogar "nur" 580 Favoriten und ebenfalls nur 7 Tage eingestellt, da ich auf der Trinity nicht alle Kabelsender als Webchannel in den Favoriten habe, z.B. die öffentlch-rechtlichen habe ich nicht als Webchannel von der E4HD auf der Trinity konfiguriert, NRWision und andere hingegen schon, ansonsten empfängt die Trinity Astra 1+2 via Sat. Über das Log halt zu erkennen, dass im aktiven Modus die Box den EPG alle 5 Minuten bereinigt.

Code: Alles auswählen

My-Trinity login: root
Password:
/var/root # setconsole
**************************** CChannelList::zapToChannel me 0x1a165f8 All services tuned 296 new t.schau -> ad74040f00012887
CNeutrinoApp::showChannelList: nNewChannel 5
CVFD::showServicename: t.schau
key: 0160 value 0, translate: 0160 -ok-
2023-12-28 01:00:19.520 [sectionsd] Reading data finished after 132815 ms (22366 events) from http://192.168.178.120/control/xmltv.xml?mode=tv
CSAPI (HDMI-CEC): Initiator: 04, Destination 03, Opcode 0083
CSAPI (HDMI-CEC): Opcode: 83, Function: [Give Physical Address]
CSAPI (HDMI-CEC): Device free (Logical Address: 03)
....
CSAPI (HDMI-CEC): Opcode: 9F, Function: [Get CEC Version]
2023-12-28 01:03:10.255 [sectionsd] Removed 7210 old events (169703 left), zap detected 0.
...
2023-12-28 01:08:13.401 [sectionsd] Removed 64 old events (169639 left), zap detected 0.
...
2023-12-28 01:13:16.590 [sectionsd] Removed 59 old events (169580 left), zap detected 0.

@Bualicher
zu deinem Screenshot mit der Nummerierung:
der Schieberegler wo du die 2 dran hast, dass ist die Option dafür, dass nur EPG-Daten von Sendern aus den persönlichen Favoriten eingelesen werden und nicht sämtliche Sender aus den Provider-Bouquets (idR alle verfügbaren Sender des Satelliten).

Aufgrund deiner Einrahmung "von 2" ist die Abschnittstrennung zu den letzten beiden Zeilen nicht sichtbar, aber die letzte Zeile (die von dir mit der Zahl 1 markierte Option) des Menüs bezieht sich nur auf das Verhalten bezüglich der vorletzten Option in dem Menü = wie sich der Hintergrundscan verhalten soll (so überhaupt aktiviert), deswegen würde trotzdem das gesamte Provider-Bouquet gescannt werden bei "alle Favoriten", was sich doch auch so zeigen sollte bei dir.

[Don de Deckelwech]

Hi,
@ Joerg: das mit dem epg="0" bzw epg="1" in der (u)bouquets.xml bezieht sich aber auch auf den Hintergrundscan und nicht allgemein auf das Lesen des EPGs. Steht ja im Menu genau drunter ("Markierte Bouquets") im letzten Menupunkt...
Kannst du übrigens auch über die GUI einstellen (ohne die Xml editieren zu müssen):
OK->Gelb , dann Rot für Favoriten oder auch Grün für die Bouquets.xml, auf das per Hintergrundscan zu scannende Bouquet gehen und dort die Menu-Taste drücken, dann "Hintergrundscan EPG" anschalten (oder auch wieder abschalten).
Dies setzt dann genau diese Parameter in der entsprechenden .xml .

Ciao,
DdD.

[Joerg]

na da bin ich aber mal gespannt wie sich das auswirken wird, bin aber noch sehr zuversichtlich.
Erst mit der Auswahl "Selected" für den Hintergrundscan war das überhaupt verfügbar und wird jetzt in dem von dir genannten Menü der Favoriten-Liste auch direkt angezeigt mit Icon, dass diese Bouquets vom EPG-Scan berücksichtigt werden.
Bei der Trinity, welche selber nicht scannt, die Option Hintergrundscan also abgeschaltet ist, wirkt "Selected" als Einstellung nach Reboot erstmal nicht. Da kommen die EPG-Daten von der E4HD aber nach Reboot wird weiterhin auch von den Bouquets die ich vom EPG-Scan ausgenommen habe, wird der EPG angezeigt. OK, die Box scannt nicht selber den EPG, hier hätte ich aber dennoch erwartet, dass auch nur EPG-Daten entsprechend den Vorgaben überhaupt eingelesen werden, also auch nicht aus einem externen Cache runtergeladen werden. Aber ich bleibe mal hoffnungsvoll, im schlimmsten Fall ändert sich nichts.
Ja bei der scannenden Box, der E4HD hab ich die gleichen Bouquets auch deaktiviert (sowas wie Bouquets für die FreeTV-Sender = deutsche Privatsender in SD, oder PrayTV, diese ganzen religiösen Sender die man bei langer Weile zur Belustigung mal durchzappen kann, aber keinen EPG benötigen usw), aber da will ich die vorhandenen EPG-Daten nicht löschen, da warte ich also lieber ein paar Tage ab und gucke wie es sich verhält. Sollte es funktionieren, würde das ja parallel auch für die Trinity gelten.

[Don de Deckelwech]

Hi,
vllt hab ich mich nicht eindeutig genug ausgedrückt, aber die "Markierten Bouquets" sind aussschliesslich für den EPG-Hintergrundscan relevant.

Ciao,
DdD.

[Joerg]

also für mich ist das erstmal sehr eindeutig und ich dachte ebenbfalls eindeutig zu sein: epg="1" nach dem Bouquet-Namen wird gescannt in Zukunft aber offensichtlich, wie vom Verhalten her sichtbar, nicht automatisch direkt gelöscht aus dem Speicherort und ich warte weiterhin mal ab, dieses paranormale Fragen aufwerfende Posting ändert da erstmal nichts dran

[Joerg]

es sieht doch nicht so gut aus, wenn ich z.B. Sender sehe wie Astro-TV auf 12663h dann sehe ich auch heute noch EPG für 7 Tage = bis Freitag 5.01. inklusive = offensichtlich heute noch ein Tag hinzu gekommen, das Limit 7 Tage hatte ich ja per se schon genutzt. Und z.B. 12663h ist eine Transponder, da ist kein aktiv genutzter Sender drauf den ich je anwähle (möchte die Sender dennoch in den Favoriten haben, aber am liebsten ohne EPG *g*).
@DdD: war dir das irgendwie bewusst ? ich kann dein letztes Posting nicht wirklich verstehen: ja OK, nur für den Hintergrundscan gilt die Limitierung die ausgewählten Bouquets zu umgehen (bzw. nur die ausgewählten zu scannen und die anderen nicht). Wo ich die Sender nie direkt anwähle gibt es für diese Sender aber auch nichts weiter wie den EPG-Scan durch den Hintergrundscan. Hört sich sogar optimal an = sollte man doch mal auf einen dieser Sender gehen würde der EPG wohl geladen, so verstehe ich dein letztes Posting und das wäre ja nicht verkehrt, nach 7 Tagen ohne Nutzung des Senders wäre der EPG dann wieder weg (wo ich nur 7 Tage einlesen lasse).
Ist da was kaputt, oder wo liegt der Denkfehler ?
Machte hat so einen passenden Eindruck, konnte ich über das Menü den Scan der einzelnen Bouquets erst konfigurieren, nachdem ich in den Einstellungen > EPG "ausgewählte Transponder"/selcted im englischen eingestellt hatte, ansonsten wird die Zeile nicht angezeigt.

[Don de Deckelwech]

Hi,
hm, tja, wie soll ich das sagen, hmm, so wie ich das verstehe:
wir reden von mindestens 3 wenn nicht sogar 4 verschiedenen Sachen.

Die Box liest immer den EPG ein! Das wäre ansonsten ja auch widersinnig! Jeder 10Euro Baumarktreceiver macht das.
Aber: wenn du es unbedingt möchtest, kannst du es in unseren Neutrinoboxen zumindest mit Gewalt abgewöhnen, siehe epgfilter.xml. Ja, das ist lästig und deswegen macht es kaum einer.

Also sobald du auf einen Sender zapst, wird der EPG eingelesen, aber halt nicht nur unbedingt für diesen Sender alleine, sondern für die "ganze Senderfamilie", also zB alle ARD-Sender, oder auch alle ZDF-Sender, oder oder... Das kann man nicht beeinflussen, das bestimmen die Sender selbst. (Ausser kleinteilig durch einzelne Einträge in der, ja genau, epgfilter.xml, lol)

So, die Box liest also freudig jeden EPG ein, den sie finden kann, und hält den im Ram vor.

Um das "was sie finden kann" zu maximieren, wurde der EPG-Hintergrundscan entwickelt.
Also bei Doppeltunerboxen wie Neo² und Tank, aber evtl auch bei Singletunerboxen wie Neo oder Zee zumindest im Nichtgebrauch (Soft-Standby), werden periodisch die Transponder abgegrast um dadurch den EPG einzusammeln. Kann man ja entsprechend einstellen.

Und dann noch das Abspeichern des EPG auf ein externes Speichermedium:
ich kann mich noch genau daran erinnern im Tuxboxforum damals, wie sich das ein User wünschte:
Ähh, das braucht man doch nicht, wieso sollte man die Box aus und wieder anschalten, man hat den EPG doch sowieso wieder schnell vorhanden und und und ...
Da war von einem zentralen Speicher für mehrere Boxen noch keine Rede. Naja, nichtsdestowenigertrotz (<-geiles Wort!) hats dann einfach einer gemacht!

So, und jetzt kommt ihr. Mit meinem Wissen finde ich eure "Probleme" manchmal ein wenig seltsam, entschuldigt bitte.

Ciao,
DdD.

PS: wie ich oben iwo schonmal gesagt habe, stehen auf meiner Tank meine Max-Events auf unglaubliche 250.000, was ja angeblich den Ram sprengen würde.
Komischerweise sagt mir der "Event count" (Info) im EPG-Menu gerade einmal 25.960. Ja, es ist Kabel, ja da ist nicht so viel los wie auf Astra.

Aber dann erklär mir mal bitte jemand, der sich damit auskennt, warum ich nach ca 1 Woche trotzdem den EPG auf einigen Sendern verliere! Am Ram liegts jedenfalls nicht!

[Joerg]

Die Box liest immer den EPG ein! Das wäre ansonsten ja auch widersinnig! Jeder 10Euro Baumarktreceiver macht das.
Aber: wenn du es unbedingt möchtest, kannst du es in unseren Neutrinoboxen zumindest mit Gewalt abgewöhnen, siehe epgfilter.xml. Ja, das ist lästig und deswegen macht es kaum einer.

Also sobald du auf einen Sender zapst, wird der EPG eingelesen, aber halt nicht nur unbedingt für diesen Sender alleine, sondern für die "ganze Senderfamilie", also zB alle ARD-Sender, oder auch alle ZDF-Sender, oder oder... Das kann man nicht beeinflussen, das bestimmen die Sender selbst. (Ausser kleinteilig durch einzelne Einträge in der, ja genau, epgfilter.xml, lol)

nun das Einlesen, auch noch im Umfang (Tage, Langtext/Kurztext konfigurierbar) möchte ich ja nicht anders, wie jeder andere auch. Logischweise hängt das was eingelesen wird von dem ab was der Sender anbietet, die ÖR-Sender haben (alle, zumindest mittlerweile viele, war mal anders) immer den EPG für den Transpoder + Now&Next der anderen Transponder im Angebot. Persönlich halte ich Transponderweise EPG-Daten für den Standard, zumindest bei Astra-1. Selbst wenn unterschiedliche Anbieter eine Frequenz nutzen wird der EPG für alle Sender dieses Transponders eingescannt, sowohl Hintergrund-mässig wie auch beim direkten Zugriff auf ein Programm. Bei Astra-2 und dem Freesat-EPG werden alle Sender die dazu gehören eingelesen wenn man ein Programm schaut - also nur ein Programm, einen Sender/Transponder. Kann zwar 20-30 Minuten dauern, aber dann sind sämtliche Transponder die zum Freesat-EPG gehören eingelesen ganz ohne das man umschalten musste. Parallel zum Freesat-EPG gibt es auch noch ein BSkyB-EPG-System, welches Neutrino nicht unterstützt (oder zumindest das NI nicht, meines Wissens ist das grundsätzlich für Neutrino verfügbar, aber ich musste schon so viel Fragen um den Freesat-EPG zu bekommen, der auch fast alle unkodierten Sender abdeckt.
Mit der epgfilter.xml kenne ich mich aus, habe ich lange als Positivliste genutzt, heisst aber auch, dass man jeden neuen Sender eintragen muss sonst gibt es nur Now&Next, ich meine sogar, dass es zum Eintrag auch einen Reboot braucht, das manuelle Einlesen der Senderlisten hilft da leider nicht.

So, die Box liest also freudig jeden EPG ein, den sie finden kann, und hält den im Ram vor.

Sehe ich auch so, wo du das nochmal so schreibst kann man es nochmal hervorheben = für die Box welche die Daten scannt hat das Abspeichern auf einem Stick, oder NAS ausschliesslich den Vorteil, dass die EPG-Daten nach Reboot komplett alle verfügbar sind. Heisst dann unterm Strich auch, dass "wenn das manuelle Einlesen aus dem EPG-Datenspeicher die Menge an EPG-Daten vergrössert, dann kollidiert die Konfiguration", ich denke halt maximale Anzahl Events zu niedrig eingestellt = es wird erst freudig eingelesen wie konfiguriert nach Tagen und dann aufgrund der max-Events wieder reduziert um auch diese Vorgabe zu halten.

Um das "was sie finden kann" zu maximieren, wurde der EPG-Hintergrundscan entwickelt.
Also bei Doppeltunerboxen wie Neo² und Tank, aber evtl auch bei Singletunerboxen wie Neo oder Zee zumindest im Nichtgebrauch (Soft-Standby), werden periodisch die Transponder abgegrast um dadurch den EPG einzusammeln. Kann man ja entsprechend einstellen.

Und dann noch das Abspeichern des EPG auf ein externes Speichermedium:
ich kann mich noch genau daran erinnern im Tuxboxforum damals, wie sich das ein User wünschte:
Ähh, das braucht man doch nicht, wieso sollte man die Box aus und wieder anschalten, man hat den EPG doch sowieso wieder schnell vorhanden und und und ...
Da war von einem zentralen Speicher für mehrere Boxen noch keine Rede. Naja, nichtsdestowenigertrotz (<-geiles Wort!) hats dann einfach einer gemacht!

So, und jetzt kommt ihr. Mit meinem Wissen finde ich eure "Probleme" manchmal ein wenig seltsam, entschuldigt bitte.

Naja ist ja auch deutlich vorteilhafter, kann ich jetzt ja nix zu, dass das irgendwann mal einige Leute für unnötig gehalten haben. Erst gab es nur das Abspeichern der EPG-Daten, also EPG-Daten die beim aktiven Schauen eingelesen wurden abspeichern was schon nett war. Die dbox2 hatte doch nicht mal die Möglichkeit eines Speichermediums, oder nur mit Umbau, von daher war es zumindest für mich immer Netzlaufwerk, aber dementsprechend war das auch nur für einen Teil nutzbar, die anderen werden weniger Interesse daran gehabt haben. Bis der Hintergrundscan (Scan im Soft-Standby) damals so richtig funktioniert hat, ist auch einige Zeit ins Land gegangen, noch mehr Probleme hat doch der parallele Hntergrundscan im Betrieb bei Mehrtunerboxen verursacht, mittlerweile tuts das aber korrekt. Ich würde sagen wenigstens das erste Jahr war das eine Option, welche man besser abgeschaltet hatte, weil verdammt instabil und die Receiver auch dadurch gerne mal abgestürzt sind. Ebenfalls muss man anmerken, beschreibst du mit dem EPG-Daten-speichern als solches hier eine Situation aus dem letzten Jahrtausend. Da war das Angebot an Sendern doch noch deutlich reduziert = da musste man auch deutlich weniger Transponder einscannen um alle gewünschten EPG-Daten eingelesen zu haben

Ich bin JETZT nur aufgrund deines Hinweises auf die Idee gekommen diese deutlich einfacherer Methode zum Reduzieren der EPG-Daten zu nutzen anstelle der epgfilter.xml. Man mag einen Widerspruch sehen, aber ich hab halt gerne Sender wie die unkodierten deutschen Privatsender in einem Favoriten-Bouquet sortiert und gespeichert, auch wenn ich im allgemeinen ausschliesslich die HD+Versionen der Sender nutzen (das soll jetzt bitte keine HD+Diskussion auslösen!) und ähnliches, auch die ca. 500 Varianten an 3. Programmen (allen voran WDR) wegen der Regionalversionen habe ich grundsätzlich gerne als Favoriten, brauche aber nicht wirklich den EPG für die Varianten wo ich vielleicht alle 3 Jahre mal das Lokalprogramm abrufe.

PS: wie ich oben iwo schonmal gesagt habe, stehen auf meiner Tank meine Max-Events auf unglaubliche 250.000, was ja angeblich den Ram sprengen würde.
Komischerweise sagt mir der "Event count" (Info) im EPG-Menu gerade einmal 25.960. Ja, es ist Kabel, ja da ist nicht so viel los wie auf Astra.

Aber dann erklär mir mal bitte jemand, der sich damit auskennt, warum ich nach ca 1 Woche trotzdem den EPG auf einigen Sendern verliere! Am Ram liegts jedenfalls nicht!

Nunja, wenn der EPG-Speicher eh nur so um die 25tsnd, sagen wir unter 50.000 liegt, könntest du wahrscheinlich auch 50 Millarden Events konfigurieren in den Einstellungen. Wo nicht mal eine 6stellige Anzahl an Events erreicht wird (dann hast du aber noch weitere Limitierungen auf nur wenige Tage, oder nur sehr wenige Favoriten die du scannst ?) kann dann per se nix überlaufen. Aber ich kann das auch nicht bestätigen, habe beim Überprüfen über diesen mir neuen Info-Taste Abruf halt sowas wie 140.000 rum gesehen, aber doch auch hier ein Log-Ausschnitt gepostet wo klar zu erkennen war, dass es ca. 168tsnd Events waren, welche nach dem Löschen von XY alten EPG-Daten noch verfügbar waren, weil ich als Anzahl 0 (in Worten: Null) = unbegrenzt konfiguriert habe und dieser 168tsnder Logausschnitt war sogar von einer alten Trinity (v1) die damit klar kommt.

Was das verlieren angeht habe ich das schon im letzten Posting sowie hier weiter oben erklärt: die Box überholt sich selbst = erst werden nach Vorgabe der EPG-Einstellungen die ganzen EPG-Daten eingelesen und dann sieht Neutrino zu die nächste Vorgabe/Begrenzung einzuhalten = max Anzahl an Events und fängt munter an die in den RAM eingelesenen Daten bei der Bereinigung wieder zu löschen, da mögen die eingelesenen Daten aber erstmal schon extern abgespeichert worden zu sein. Das sehe ich zumindest bei der geringen Anzahl an max-Events bei @Bualicher so noch dazu mit "für 14 Tage speichern" und das bei allen Transpondern/nicht nur Favoriten. Oder hast du das ebenfalls bei deinem Kabel-EPG und den vielleicht 30tsnd Einträgen bei 250tsnd konfigurierten max-Events ? also mir ist das noch nicht aufgefallen, also nicht mal das EPG-Daten fehlen. Obwohl ich den EPG auf Sticks speicere je Box (bzw. die Trinity den EPG von der E4HD abruft) bin ich auch noch nie auf die Idee gekommen die Daten vom Stick zu laden, welche von eben dieser Box gespeichert wurden.

Also ich hätte das Feature den Scan von EPG-Daten Bouquets-weise zu konfigurieren gerne genutzt. Diesen Eintrag (epg="1") in der ubouquet.xml (mit den normalen Bouquets scheint das auch zu gehen, zumindest lässt es sich konfigurieren) kannte ich jetzt nur aus einer Information zum Aufbau dieser XML-Dateien des zapit-Ordners (und z.B. der epgfilter.xml, epgmap.xml usw), dass es Konfigurationsmässig aus den Einstellungen vom Hintergrundscan kommt und sich auch noch über ein Menü konfigurieren lässt war mir nicht bewusst (das Menü zum aktivieren/deaktivieren der einzulesenden Bouquets sieht man aber auch nur bei entsprechender Einstellung des Hinterrundscans, hat man dort Favoriten ausgewählt gibt es die Zeile im Menü nicht, also nicht mal ausgegraut/inaktiv gesetzt)

Wenn ich mir das nochmal ansehe bei mir, so könnte es sein, dass ich vielleicht nicht auf den Sender in einem Bouquet zugreife dessen EPG-Daten ich nicht speichern möchte. Ja das ich auch eindeutig nicht auf die Frequenz/den Transponder zugreife, allerdings ist es zumindest beim angeführten Beispiel Astro-TV einen anderen (wenn auch nicht aufgerufenen) Sender in einem Bouquet habe, welches gescannt werden soll (in diesem Fall ServusTV SD-Version, eventuell auch noch Radiosender) = das könnte dazu führen, dass die Frequenz doch gescannt wird und damit auch AstraTV im EPG landet, denn mir ist schon klar, dass diese simplere und deutlich einfacher zu konfigurierende Variante keine epgfilter.xml Datei ersetzt. Müsste ich für die anderen Sender bzw Transponder deren EPG-Daten ich eigentlich nicht haben möchte aber nochmal prüfen. Na wäre ja auch zu schön gewesen