Elasticsearch 6.0: Nicht so neu, aber recht verbessert

0

Elasticsearch ist eine Open-Source-Plattform, die weit mehr als nur sucht. Es beinhaltet einen ganzen Stapel von Lösungen und wächst schnell. Heute ist die neue Version erschienen und der CEO diskutiert den Weg nach vorne.

Shay Banon wurde als eine Person bezeichnet, die mehr Code geschrieben hat als das, was menschlich möglich ist. Das hat ihn dazu gebracht, in seiner Freizeit an einer Suchlösung zu arbeiten und mit Kunden wie eBay und Verizon ein Open-Source-Framework und ein globales Unternehmen aufzubauen.

loading...

Elasticsearch hat einen langen Weg zurückgelegt und bei Elastic geht es um mehr als nur Suchen. Heute kündigt Elastic die Version 6.0 an, die nun einen kompletten Stack um die Kernprämisse der Suche bildet, und Banon als der kürzlich ernannte CEO besprach mit ZDNet die Vergangenheit, Gegenwart und Zukunft von Elasticsearch und die Trends, die die Branche prägen.

Elasticsearch als ein System der Aufzeichnung

Unsere Konversation begann nicht mit den neuen Funktionen der Version 6.0. Wenn Sie Teil der Elastic Community sind, kennen Sie sie vielleicht bereits. Wenn nicht, werden Sie vielleicht auf den ersten Blick nicht sehr beeindruckt sein. Das ist an und für sich interessant, aber wir dachten, es wäre eine gute Idee, etwas Licht ins Dunkel zu bringen, was Elasticsearch tun kann und was nicht, bevor eine detaillierte Diskussion über neue Features beginnt.

Als Banon anfing, an Elasticsearch zu arbeiten, ging es vor allem darum, JSON zu speichern und eine leistungsfähige Suchsprache zu haben. Das war vor 8 Jahren und als er feststellte: „NoSQL war der letzte Schrei. Für mich war Elasticsearch etwas, worüber ich leidenschaftlich war, also wollte ich nicht Teil eines Hype-Zyklus sein. Das würde den Fokus vom Wert Elasticsearch verlagern.“ kann als sehr leistungsfähige Suchlösung bringen.

Leute haben gefragt – kann ich meine MongoDB oder meine Oracle-Datenbank durch Elasticsearch ersetzen? Kann es als Aufzeichnungssystem funktionieren? Meine Antwort war schon immer: Wenn Sie Elasticsearch neben einem dieser Systeme platzieren, sei es Cassandra oder Hadoop oder was auch immer, wird es einen Wert bringen. Es hat diesen Winkel, wie man Herausforderungen unter einem Suchprisma löst, das kein anderes System hat. Aber unser Ziel ist es nicht, diese Systeme zu ersetzen. “

Dieses „System of Record“ -Diskussion war ein andauerndes über Elasticsearch. In früheren Versionen gab es Arbeiten im Zusammenhang mit dem Jepsen-Projekt, die Bedingungen aufzeigten, unter denen Datenverlust in Elasticsearch auftreten kann. Sogar heute sagt Kyle Kingsbury, Jepsens Mastermind: „Ich würde dies nicht als ein System von Datensätzen verwenden, also würden Sie Ihre Daten in S3 oder Postgres speichern und ein Replikationswerkzeug haben, so dass es die Daten wiederholt.“

image54.png

Banon scheint damit auf seine Art einverstanden zu sein. Er erkennt den Beitrag von Kingsbury an, der Mängel in Elasticsearch Sharding aufzeigt, und sagt, dass sie mit ihm gearbeitet haben, um zu versuchen, sie anzusprechen, und diese Arbeit hat viel Fortschritt gemacht und wird offen dokumentiert. Und wenn jemand Elasticsearch als ein Kernsystem verwenden möchte, um Finanztransaktionen zu speichern, würde Banon ihnen nicht raten, dies zu tun.

Am Ende gibt Banon zu, dass Elasticsearch nicht so lange existiert hat wie die Orakel der Welt, und das bedeutet, dass es per Definition weniger reif ist. Natürlich, wenn er feststellt, dass Ihre Daten über Elasticsearch verloren gehen oder beschädigt werden, führt dies zu einer schlechten Benutzererfahrung, daher arbeiten sie an Resilienz.

Für Banon geht es bei Resilienz jedoch nicht nur um verteilte Algorithmen und Sharding, sondern auch um Dinge wie Stabilität und Speicherbedarf: „Wenn Sie am Ende in ein System schreiben, das Ihre Laufzeit zum Stillstand bringt, ist es von einer Netzwerkpartition nicht zu unterscheiden. schwer in diesem Bereich und es gibt viele Verbesserungen in 6.0. “

Elasticsuchen 6.0

Eine solche Verbesserung, die Banon hervorhebt, basiert auf so genannten Sequenz-IDs. Es ist die Fähigkeit, einen Konsens über die Reihenfolge der Operationen zwischen einem primären und einem Replikat-Shard zu haben. Banon sagt, dass dies die Fähigkeit, die Kohärenz zwischen Daten beizubehalten, stark verbessert und hilft, eine Lücke zu schließen, die Elasticsearch in der Vergangenheit gehabt hat.

Ein anderer Bereich, den Banon hervorhebt, ist, was er Leistungsschalter nennt. Dabei geht es darum, die Erkennung von Anforderungen zu verbessern, die am Ende viele Ressourcen verbrauchen, damit sie isoliert werden können, ohne einen Cluster zu zerstören. Er sagt, dass viel Arbeit in die Fähigkeit gesteckt wurde, Abfragen zu verfolgen und zu stoppen, wenn sie benötigt werden, sowie mit Java Off-Heap-Gedächtnistechniken und -strukturen zu arbeiten. Infolgedessen ist der Speicherbedarf heute viel kleiner als früher.

Viele andere Verbesserungen sind auch in dieser Kategorie – Dinge, die Expertenwissen erfordern, nicht nur um zu implementieren, sondern auch um die Auswirkungen von zu verstehen und zu bewerten. Funktionen wie die Index-Sortierung, die die Handelszeit bei der Indexierung von Dokumenten beeinträchtigen, können die Leistung der Abfragezeit erheblich steigern. Ein weiteres Feature, Sparse-Doc-Werte, ändert die Art und Weise, wie dünn besetzte Felder gespeichert werden. Dies führt zu 30 bis 70 Prozent weniger Speicherplatz.

firstdiag.png

firstdiag.png

Am Ende, wenn Sie sich nicht die Zeit nehmen, um diese neuen Funktionen zu nutzen, besteht eine gute Chance, dass Sie von Elasticsearch 6.0 unbeeindruckt bleiben. Obwohl Banon sagt, dass sie die neue Version als etwas sehen, das nach und nach mit der Community über eine Reihe von Blogposts geteilt und erklärt wurde, erkennt er die Tatsache an, dass nicht jeder notwendigerweise die Zeit und Energie dafür hat.

Zur Erinnerung: Weitere neue Features in Elasticsearch 6.0 sind über den Elastic-Stack verteilt, der aus Kibana, Beats und Logstash besteht. Dies sind die Lösungen von Elasticsearch für Visualisierung und Dashboards, Datenaufnahme bzw. Protokollspeicherung. Der Elastic-Stack wird durch X-Pack ergänzt, eine erstklassige Reihe von Funktionen, die ua grafische Visualisierung und Anomalieerkennung durch maschinelles Lernen umfassen.

Zuhörern zuhören, in die Zukunft stürmen

Elasticsearch begann als eine bescheidene Lösung, die Lucene, das Open-Source-Framework für Indizierung und Suche, das bis heute stark genutzt wird, für die effiziente Suche auf JSON nutzbar macht. Diskutiert man mit Banon die Entwicklung, die zum heutigen Standort Elasticsearch geführt hat, wird deutlich, dass das, was er als Schlüssel zum Erfolg von Elasticsearch ansieht, auch der Grund dafür ist, dass Sie von den neuen Features unbeeindruckt bleiben.

Für Banon ging es immer darum, sich mit der Community zu verbinden und ihr zuzuhören. „Eines der Dinge, die ich über den Aufbau eines erfolgreichen Open-Source-Unternehmens gelernt habe, ist, dass man ein guter Zuhörer sein muss“, sagt er. „Nach der Freigabe von core Elasticsearch war klar, dass die Leute Visualisierung und Dashboards zusätzlich haben wollten. Also haben wir Kibana ins Haus geholt und es zum Out-Stack gemacht.

Als ich anfing, an Elasticsearch zu arbeiten, hätte ich mir nie vorstellen können, dass es eines Tages sein würde, Protokolle zu speichern. Aber die Leute fingen an, das zu tun, und heute sind wir die Open-Source-Lösung Nummer Eins und in der Tat ein Aufzeichnungssystem dafür. Die Leute sind damit zufrieden, unsere Lösung funktioniert viel besser als beispielsweise Splunk. “

Lektionen-gelernt-im-Bereitstellen-der-elk-Stapel-elasticsearch-logstash-und-kibana-13-638.jpg

Lektionen-gelernt-im-Bereitstellen-der-elk-Stapel-elasticsearch-logstash-und-kibana-13-638.jpg

Das ist so ziemlich die Geschichte davon, wie Elasticsearch gewachsen ist und auch weiterhin sein wird. Banon glaubt nicht daran, wegzugehen und mit radikal neuen Dingen zurück zu kommen, die die Leute vielleicht dazu auffordern, auf sie zu wetten, sondern eher progressive Schritte zu unternehmen. Elasticsearch hat Dinge wie die Cloud oder maschinelles Lernen angenommen, geht aber auch nicht auf sie ein.

Banon erklärt, dass Elasticsearch von Anfang an für die Zusammenarbeit mit AWS konzipiert wurde und dies hat viel zu seinem Erfolg beigetragen. Heute läuft Elasticsearch auch auf Azure und Google Cloud, mit denen es auch eine Partnerschaft gibt, sowie mit Alibaba Cloud. Es gibt nicht viele Unternehmenssoftwareanbieter, die in China so groß sind, und Banon sieht dies als Bestätigung der Strategie.

Dennoch betont er, dass es für sie nur darum geht, die Benutzer zu befähigen: „Als wir vor drei Jahren eine verwaltete Version in der Cloud anbieten wollten, war es nicht unsere Benutzer zu zwingen, sondern für sie da zu sein. kann Elasticsearch auf jeder beliebigen Cloud ausführen oder unsere verwaltete Version verwenden oder vor Ort ausgeführt werden.Wir wollen niemanden zurücklassen, und mit Elastic Cloud Enterprise führen wir denselben Code wie unsere Benutzer aus „.

Was den Umstieg auf IPaaS-Plattformen und das maschinelle Lernen (ML) angeht, sagt Banon, IPaaS stehe im Einklang mit dem, was sie tun. Der Fortschritt in Richtung Analyse findet auch in Elasticsearch statt, wobei die jüngste Übernahme von Prelerts ML-Technologie in den Stack integriert wurde. Anfänglich wird dies für die Erkennung von Anomalien verwendet, und Banon sagt, dass es bereits eine große Akzeptanz findet und der nächste Schritt darin besteht, Prognosemöglichkeiten hinzuzufügen.

Weitere Bereiche, auf die sich Elasticsearch als nächstes konzentrieren wird, sind die Überwachung der Anwendungsleistung und die Erkennung von Betrug, Sicherheitsanalysen und die Visualisierung. Dies verschiebt sich eindeutig zu domänenspezifischen Anwendungen, was neue Herausforderungen mit sich bringen kann, da Elasticsearch mit etablierten Unternehmen konkurrieren muss. Banon glaubt jedoch an die Strategie, die sich bislang bezahlt gemacht hat:

„Vor fünf Jahren waren wir ein kleines Unternehmen mit einem relativ populären Open-Source-Produkt und schauen, wo wir heute stehen. Wir haben es so gesehen, dass wir Nutzer umarmen und ihnen zuhören und sicherstellen, dass Plattform, das wird bald den Weg zur Plattform finden. Wenn wir uns als Unternehmen so verhalten, wie wir waren, habe ich keine Sorgen. “

loading...
Share.

Leave A Reply

loading...