<img height="1" width="1" style="display:none;" alt="" src="https://dc.ads.linkedin.com/collect/?pid=412841&amp;fmt=gif">
Erfahren Sie alles Wissenswerte über die erste Snowflake Summit 2019 aus San Francisco

Erfahren Sie alles Wissenswerte über die erste Snowflake Summit 2019 aus San Francisco

Am 3.6.2019 war es soweit, die erste Snowflake Summit in San Francisco. Die dreitägige Konferenz umfasste sieben Vortragsreihen und über 80 Kundensitzungen, praktische Schulungen. Wir von bimanu waren leider nicht vor Ort, haben aber für Sie alle Neuigkeiten herangetragen. Viel Spass beim Lesen.

Snowflake_Summit_1_2019

Über Snowflake Computing

Snowflake ist ein amerikanisches Unternehmen mit Sitz in San Mateo, Silicon Valley, in 2012 selbst als Start-Up gegründet und seit Januar im europäischen Markt vertreten. In der letzten Finanzierungsrunde in 2018 wurde das Unternehmen mit unglaublichen 1,5 Mrd. US$ bewertet.

Snowflake hat bereits über 2.000 zahlende Kunden. CEO Frank Slootman berichtete während der Keynote, das 300 bis 400 weitere Kunden pro Quartal hinzukommen.

So jetzt aber zu den Snowflake Neuigkeiten......

Neue Verbesserungen an den SNOWFLAKE DATA PIPELINES

Snowflake Data Pipelines wird um weitere Funktionen wie Auto-Ingest, Streams & Task sowie einen Kafka - Snowflake Connector erweitert. Das Ziel dieser neuen Funktionen, dem Kunden weitere Möglichkeiten für die Datenbeladung nach Snowflake anzubieten und nicht jedes mal ein weiteres Werkzeug dafür einzusetzen.

Auto-Ingest

AWS und Azure bieten Mechanismen, um Benutzer zu benachrichtigen, wenn ein Objekt erstellt wird. Auto-Ingest verwendet diese Mechanismen und legt sie auf einen sogenannten Ingest-Dienst. Dieser Dienst ist für eine automatisierte und zuverlässige Datenaufnahme verantwortlich und reduziert die Latenzzeiten für Abfragen deutlich.

Table Streams and Tasks

Die Funktion "Table Streams and Tasks" wird für den Aufbau von End-to-End-Datenpipelines in Snowflake eingesetzt. Während Kunden Snowpipe oder ihren ELT-Anbieter ihrer Wahl nutzen können, beschränkt sich dieser Ansatz auf das Laden von Daten in Snowflake. "Streams and Tasks" zielt darauf ab, einen Batchplan anzubieten, damit Kunden nicht mehr auf externe Job-Scheduling Programme für ihre Snowflake SQL-Jobs zurückgreifen müssen. Die neue Funktionalität ermöglicht es dem Kunden auch, seine Staging-Tabellen und nachgelagerten Zieltabellen mit einer regelmäßig ausgeführten Logik zu verbinden.

Snowflake_Summit_5_2019

Snowflake Connector für Kafka

Apache Kafka ist eine Open Source Software für die Verarbeitung und Speicherung von Datenströmen, ursprünglich von LinkedIn als Nachrichten-Queue entwickelt, jetzt als Projekt der Apache Software Foundation zu einer großen Streaming-Plattform weiterentwickelt.

Snowflake_Summit_3_2019

Der neue Snowflake Connector für Apache Kafka vereinfacht die Datenbeladung von Streaming Daten nach Snowflake. Der Snowflake Connector für Kafka ist bereits verfügbar und kann über das Maven Central Repository (Link) kostenlos heruntergeladen werden. Nach der Installation in einen Kafka Connect Cluster, können die Instanzen des Kafka Connectors entweder über eine JSON-Konfiguration oder über das Confluent Controll Center erzeugt werden.

Snowflake_Summit_4_2019

Wir von bimanu werden in einem der nächsten Blogbeiträgen den Kafka Connector näher vorstellen. Also schauen Sie bald wieder vorbei.

Snowflake Materialized Views (MV's)

Snowflake bietet nun einen modernen Ansatz für den Einsatz von Materialized Views innerhalb der Datenbank an, der die Schwierigkeiten herkömmlicher Ansätze vermeidet.

  • Sicherstellung einer optimalen Abfragegeschwindigkeit
  • Aktuelle und konsistente Abfrageergebnisse über MV's, auf Basis der darunterliegenden Quelltabelle
  • hohe Benutzerfreundlichkeit über einen automatisierten Wartungsdienst, der die MV's im Hintergrund überwacht und aktualisiert
  • Definition zahlreicher MV's mit unterschiedlichen Clustering-Schlüsseln, was zu einer verbesserten Abfrageleistung für verschiedene Zugriffsmuster führt.
  • Materialisieren von einzelnen Tabellenaggregationen
  • Materialisieren von Abfrageergebnissen und Analysen anhand semi-strukturierter Daten mit FLATTEN-Abfragen. FLATTEN ist eine SQL Funktion für zusammengesetzte Werte in mehrere Zeilen.

Microsoft Azure Government

Snowflake ist erstmalig auf Microsoft Azure Government verfügbar. Mit Snowflake on Azure Government erhalten US-Regierungsbehörden die Vorteile von Snowflake eines leistungsfähigsten Cloud-Data Warehouse und erfüllen gleichzeitig strenge staatliche Sicherheits- und Compliance-Anforderungen in allen regulatorischen Standards

Snowflake Data Exchange

Auf der Summit wurde Data Exchange in Form eines kostenloser Marktplatz vorgestellt, der es Snowflake-Kunden ermöglicht, sich mit Daten von Anbietern zu verbinden, um Daten nahtlos zu entdecken, darauf zuzugreifen und Erkenntnisse aus Daten zu gewinnen. Die Technologie markiert den nächsten Schritt in der weit verbreiteten Nutzung von Daten als Unternehmenswert, indem sie Barrieren durch das sichere, Cloud-basierte Data Warehouse von Snowflake überwindet. Der Datenaustausch ist derzeit in einer privaten Umgebung verfügbar, wobei die öffentliche Umgebung noch in diesem Jahr starten soll.

Quelle: Snowflake

Im Gegensatz zu anderen Technologien nutzt Snowflake Data Exchange die eigene Secure Data Sharing-Technologie. Konkret es besteht keine Notwendigkeit mehr, die Daten über APIs zu komprimieren oder Cloud-Speicher zu verwenden. Das senkt die Kosten und erhöht die Sicherheit. In kürzester Zeit kann der Kunde mit der Veröffentlichung von Datensets beginnen und gleichzeitig sicherstellen, dass die aktuellen Daten in Echtzeit zur Verfügung stehen.

Snowflake startet mit der Datenbankreplikation und Failover

Für Unternehmen in Branchen wie Finanzen, Technologie, Gesundheitswesen und Einzelhandel sind Hochverfügbarkeit und schnelle Datenwiederherstellung besonders wichtig. Die vollständige Wiederherstellung von Daten und Systemen kann jedoch lange dauern. Die finanziellen Auswirkungen von Ausfallzeiten von nur wenigen Minuten können erheblich sein.

Um Kunden bei der Bewältigung dieser Herausforderungen zu unterstützen, hat Snowflake Snowflake Database Replication and Snowflake Database Failover angekündigt, eine neue Lösung, die eine hohe Verfügbarkeit und schnelle Wiederherstellung von Daten garantiert, unabhängig davon, wo und über welchen Cloud-Anbieter Ihr Unternehmen tätig ist. Kunden können Änderungen an einer Backup-Region oder einem Cloud-Provider synchronisieren und so die Datenbeständigkeit und Verfügbarkeit jederzeit sicherstellen. Die Änderungen mit einer Backup-Region oder einem Cloud-Provider synchronisiert und der Datenbestand kann in Echtzeit wiederhergestellt werden. Die Operationen können sofort und ohne Zeitverlust auf replizierte Daten aus einer anderen Region oder einem anderen Cloud-Service umgestellt werden. Zudem ist die Backupzeit bis zur Wiederherstellung unabhängig von der Datenmenge.

Data Lake: External Tables, Credential-less External Stages, und Hive Metastore Integration

External Tables verweisen auf Datendateien in einem Cloud-Speicher (z.B. AWS S3, Google Cloud Storage oder Microsoft Azure) und speichern Metadaten auf Dateiebene über die Datendateien, wie z.B. den Dateipfad, eine Versionskennung und Partitionsinformationen. Auf diese Weise können Daten, die in Dateien in einem Datensee gespeichert sind, wie in einer Datenbank abgefragt werden.

Die Integration von "Hive-Metastores" wird mit Snowflake über externe Tabellen gelöst. Der Hive-Connector in Snowflake wartet auf Metastore-Ereignisse und überträgt diese an Snowflake, um die externen Tabellen mit dem Hive-Metastore zu synchronisieren. Dies ermöglicht es Benutzern, ihre Tabellen in Hive zu verwalten, während sie sie von Snowflake aus abfragen.

Die "Credential-less external stages" bietet eine Möglichkeit, bei der Kunden keine geheimen Schlüssel oder Zugriffstoken für Speicherkonten übergeben müssen. Diese können auf Cloud-Speicherkonten aus GCP-, Azure- und AWS-Clouds erstellt werden. Darüber hinaus können Administratoren von Kundenkonten die Verwendung externer Stufen für bestimmte Cloud-Speicherorte einschränken und so die Datenweitergabe verhindern.

Neue Partnerschaft zwischen Google und Snowflake

Neben Microsoft Azure und Amazon Aws wird es im Frühjahr 2020 möglich sein, die Snowflake auch in der Google Cloud Plattform Umgebung zu nutzen.

Snowflake_Summit_2_2019

Zusätzlich wird Snowflake in weiteren Regionen verfügbar sein. Für AWS: Canada Central, US-Central (Ohio) und Japan. Für MS Azure: Government (wie oben erwähnt), Canada Central, Singapore und US West 2.

Nachtrag

Sollten wir weitere Neuigkeiten rund um Snowflake erhalten, werden wir diesen Blogbeitrag entsprechend erweitern und anpassen.

Kostenloser Snowflake Zugang

Wenn Sie jetzt die Snowflake kennenlernen  wollen, probieren Sie die Plattform im Wert von 400 US - Dollar kostenlos aus. Hierfür stellen wir einen Link zur Verfügung.

Beim Aufruf müssen die Kontaktinformationen und Produktinformationen eingegeben werden. Im Anschluss erfolgt per Email die Bereitstellung der Zugangsdaten für die Snowflake-Plattform.

snowflake

Snowflake - kostenlose Testversion

Sie wollen die Snowflake Plattform einführen? Sie sind unsicher, wie eine eine solche Architektur aufgebaut werden kann?

Gerne unterstützen wir Sie bei Ihrem Vorhaben oder verschaffen Sie sich einen Überblick über unser Snowflake Leistungsspektrum. Wir von bimanu sind seit Anfang an zertifizierte Snowflake Partner und besitzen die Expertise, die Sie benötigen.

Jetzt Preise & Verfügbarkeiten anfragen

Zudem basiert unsere eigene Lösung - die bimanu Cloud, ein automatisiertes Data Warehouse für Unternehmensdaten, Marketing Informationen und IoT  - auf der Snowflake Technologie, damit können wir einen hohen Praxisbezug aufweisen.

Mehr über bimanu Cloud