Neue Forensuche - Elastic Search

Dieses Thema im Forum "Fragen & Probleme" wurde erstellt von André, 25 Januar 2017.

  1. André

    André Administrator Administrator

    Beiträge:
    47.014
    Likes:
    3.219
    Ich stelle aktuell die Forensuche auf Elastic Search um. Ich habe das Addon gekauft, und auf dem Server installiert, da es einige Vorteile mit sich bringt:
    • Entlastung des Datenbankservers von allen Textsuchen, somit weniger Belastung des Servers
    • Schnellere Suchergebnisse
    • Stemming
    • Suche auch nach kurzen Wörtern problemlos möglich, z.B. nach "BMW" oder "Hi"
    Aktuell gibt es aber noch ein Problem, und deshalb funktioniert die Suche aktuell nicht. Ich bin aber mit dem Hoster und dem Xenforo Support dran und hoffe dass ich die neue Suche schnell ans laufen bekomme.

    Optisch verändert sich für euch nichts. Die Suchergebnisse werden schneller, besser und belasten den Server weniger. Die alte Suche wird durch die neue einfach ersetzt. Also quasi unter der Haube. ;)
     
    Flankengeber gefällt das.
  2. Anzeige für Gäste


    um diese Anzeige auszublenden!.
  3. Oldschool

    Oldschool Spielgestalter Moderator

    Beiträge:
    19.127
    Likes:
    3.276
    Wenn ich stemming unter Wikipedia aufrufe, versteh ich nümmes, bei uns im Pott sagt man "ich versteh nur "Bahnhoff" :gruebel: :weißnich:
     
  4. KGBRUS

    KGBRUS SF-Ultra

    Beiträge:
    8.651
    Likes:
    1.018
    und Koffer klauen :)
     
    Zuletzt bearbeitet: 25 Januar 2017
    Oldschool gefällt das.
  5. HoratioTroche

    HoratioTroche Zuwanderer

    Beiträge:
    19.942
    Likes:
    1.577
    Also nach 2 Zeilen aus dem link verstehe ich: Suchst du "Wortes" und ich "Wörter", kriegen wir dasselbe Ergebnis, weil die Maschine 2x nach "Wort" sucht.
     
  6. André

    André Administrator Administrator

    Beiträge:
    47.014
    Likes:
    3.219
    Genau das geht in die Richtung.

    Der Porter-Stemmer-Algorithmus ist ein verbreiteter Algorithmus der Computerlinguistik zum automatischen Zurückführen von Wörtern auf ihren Wortstamm (Stemming). Der Algorithmus basiert auf einer Menge von Verkürzungsregeln, die so lange auf ein Wort angewandt werden, bis dieses eine Minimalanzahl von Silben aufweist. Der ursprünglich für Wörter der englischen Sprache entwickelte Algorithmus kann relativ leicht für andere Sprachen portiert werden.

    Ich habe aber auch diverse Steuermöglichkieten, müssen wir mal gucken wie es läuft und notfalls nachoptimieren.

    Aber erst mal generell ans Laufen bekommen. Ich liebe es wenn Nerds mir irgendwas erklären von dem sie wissen was das heißt, aber ich immer noch nicht weiß was ich tun soll. :fress::floet:
     
  7. HoratioTroche

    HoratioTroche Zuwanderer

    Beiträge:
    19.942
    Likes:
    1.577
    Nerds lieben es, wenn jemand etwas machen will von dem er nix versteht und sie es ihm so erklären sollen damit er sich nicht so blöd vorkommt wie er ist ...
     
    André gefällt das.
  8. André

    André Administrator Administrator

    Beiträge:
    47.014
    Likes:
    3.219
    So die Suche läuft erstmal. Stemming habe ich deaktiviert und die Suchergegnisse werden nach Datum sortiert und nicht nach Relevanz. Hatte zunächst Relevanz aktiviert, aber wenn man dann was sucht findet man nur Threads aus 2006 bis 2009.

    Könnt ihr mal bitte testen ob das so passt?
    Falls nicht gibt es noch diverse Optimierungsmöglichkeiten, aber dafür müsste ich dann wieder ein anderes Script aktivieren was zur zeit leider nicht funktioniert.

    Da gäbbe es noch die Möglichkeit nach Relevanz zu suchen, aber die Threads der letzten 365 Tage höher zu gewichten.

    Bezüglich Stemming: Kuchen und Küchen wird hier vermischt. Deshalb macht das aus meiner Sicht für DE keinen großen Sinn, für englischen Foren könnte es besser passen, aber ich denke das führt zu vielen unguten Suchergebnissen.

    Freue mich über euer Feedback. :top:
     
    Rupert gefällt das.
  9. HoratioTroche

    HoratioTroche Zuwanderer

    Beiträge:
    19.942
    Likes:
    1.577
    Eigentlich sollte ich Fachleute schreiben, Nerd ist so negativ und wird eben häufig von Laien verwendet die das Fachwissen nerdig finden.
     
  10. HoratioTroche

    HoratioTroche Zuwanderer

    Beiträge:
    19.942
    Likes:
    1.577
    So wie ich das mit dem stemming verstanden habe, ist das unabhängig von der Sprache, du kannst nur kein englisches tool in ein deutsches Forum setzen und erwarten dass es keine Sprachschwierigkeiten hat.

    Da steht ja, dass es nicht verifizierbar ist und in der Praxis getestet werden muss. Sprich, eigentlich muss das tool zu jedem Wort den Stamm kennen.
     
  11. Rupert

    Rupert Friends call me Loretta

    Beiträge:
    40.654
    Likes:
    3.980
    Haut hin bei mir.
    Bitte keine höhere Gewichtung der neueren Threads; die Treffer einfach in der historischen Reihefolge anzeigen und gut is.
     
    André gefällt das.
  12. André

    André Administrator Administrator

    Beiträge:
    47.014
    Likes:
    3.219
    Ja ist auch so. Mann kann unterschiedliche Sprachpakete wählen. Also hab das natürlich auf deutsch gestellt. Dann ist aber wie gesagt die Gefahr groß dass völlig unrelevante Themen in den Suchergebnissen angezeigt werden.

    Aber ich denke dass das aktuelle Setup ganz gut passen sollte.

    Und so wird sich jetzt auch das Forum nicht mehr wegen einer überfüllten mysql Tabelle ständig aufhängen. Ist in den letzten 10 Tagen 2 mal passiert. Das war ja auch der Hauptgrund für den Wechsel, und natürlich dass es schneller ist und nun auch nach Wörtern oder Abkürzungen mit weniger als 4 Buchstaben gesucht werden kann.
     
  13. André

    André Administrator Administrator

    Beiträge:
    47.014
    Likes:
    3.219
    So jetzt habe ich auch die Monstertabelle des alten Suchindex aus der Datenbank gelöscht. Die Datenbank ist somit nun quasi halbiert. Noch 1,5 statt 3 Gigabyte. :) :top:
     
  14. André

    André Administrator Administrator

    Beiträge:
    47.014
    Likes:
    3.219
    So läuft alles super. Keine Fehlermeldungen über Nacht, Backups sind deutlich kleiner und laufen schneller durch, Server wird entlastet und schnell ist für die neue Suche gar kein Ausdruck:

    elastic-search-schnell.png

    0,00xx Sekunden ist schon ordentlich. :fress::top:
     
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden