hi my dears, I have an issue at work where we have to work with millions (150 mln~) of product data points. We are using SQL server because it was inhouse available for development. however using various tables growing beyond 10 mln the server becomes quite slow and waiting/buffer time becomes >7000ms/sec. which is tearing our complete setup of various microservices who read, write and delete from the tables continuously down. All the stackoverflow answers lead to - its complex. read a 2000 page book.

the thing is. my queries are not that complex. they simply go through the whole table to identify any duplicates which are not further processed then, because the processing takes time (which we thought would be the bottleneck). but the time savings to not process duplicates seems now probably less than that it takes to compare batches with the SQL table. the other culprit is that our server runs on a HDD which is with 150mb read and write per second probably on its edge.

the question is. is there a wizard move to bypass any of my restriction or is a change in the setup and algorithm inevitable?

edit: I know that my questions seems broad. but as I am new to database architecture I welcome any input and discussion since the topic itself is a lifetime know-how by itself. thanks for every feedbach.

dem forum nach zu urteilen trifft man hier einen wunden punkt der arbeitnehmer. :)

wie würdet ihr 10k investieren? was meint ihr bzgl. währungsverfall/risiko dollar & euro? wie hat sich euer anlagehorizon mit familie verändert?

i geh mal davon aus das a paar vo euch scho im hafen der ehe san bzw. a paar polterabende scho durchlebt hobts^^

hättets ihr lustige ideen fürs poltern?

bitte danke. :*

also net location etc. sondern afoch iwelche aktionen, aktivitäten de ma an junggesellen aufbinden könenn.

Weil u/Doompickaxe anscheinend noch auf urlaub is übernehm ich mal den obersuderer und wünsche allen ein frohes neues jahr.

Als follow up zur geschundenen Seele dessen Freundin seinen Geburtstag letztes Monat vergessen hat (spoiler: Its me):

Wir haben uns getrennt und ich hab heute damit beginnen dürfen mich um einen neue bleibe zu kümmern.

Also wer bietet mehr?

Liebe Community!

Attenzione ATTENZIONE!

Wie letztens angekündigt wollte ich mit themenbasierten diskussionen ein bisserl Bewegung in die Community bringen.

Der Post erzeugte genügend Upvotes um zu den Top posts in letzter Zeit gezählt zu werden und somit dachte ich mir man kanns mal versuchen.

Ich hätte mir vorgestellt man kommentiert einfach mit Themen, Stichworten oder kurzen Beschreibungen, die User stimmen mit upvotes ab bzw. Interagieren/diskutieren.

In der darauffolgenden Woche versuche ich das Thema ein wenig aufzubereiten (ich hoffe mehr tun zu können als den dazugehörigen Wikipedia Artikel zu zitieren) mittels mehrerer verteilter Posts.

Das Ziel ist es mehr posts zu generieren und somit Aktivität hier auf c/austria zu erzwingen.

Ich sehe oftmals 10-20 Upvotes jedoch Kommentare im maximal einstelligen Bereich.

Ich hoffe wir lernen alle ein bisserl was dabei, jeder ist herzlich eingeladen mit abzustimmen oder Theme vorzuschlagen.

Danke fürs lesen!

Ich weiß es ist die besinnliche Zeit im Jahr und der Jahresabschluss hängt wie ein Damoklesschwert über unseren Köpfen.

Aber um ein bissl Wind in die Community zu bringen ein Vorschlag:

Passend zum Wöchentlichen Sudermontag könnte man ja auch vl an einem anderen Tag einen arbiträren themen/diskussionspost bringen wo jeder einfach seinen senf dazugibt?

Die klassischen standardartikel Posts erzeugen nur bedingt Resonanz mit den Leuten hier.

Dafür hätt ich halt gmeint in einem post schreibt jeder was ihm so durch den kopf geht oder sonstige Themem die interessant und diskussionswürdig sind und das meist gevotete thema wird dann einfach die darauffolgende Woche thematisiert?

Wsl wäre österreich bezug von vorteil, aber als weltoffene community nehm ich an man muss da net so strikt bleiben.

Und wos is mit die franzosen überhaupt los?

Ich bin, wie immer, nicht einer meinung mit der ÖVP.

Aber das traurige. Selbst wenn man Sobotka entmachtet und ihn aus der Politik treibt. So wird er weiter in einer blase leben die ihn als ehemaligen Nationalratspräsidenten hochleben lässt und in der er dem türkisen gedankengut bis zum tode fröhnen kann.

Denn so sind wir. Im herzen leistungsträger mit dem herzen buchstäblich am rechten fleck.

Ps: ich hoffe wenigstens auf gelegentlich und obligatorische Krapfen vor seiner Haustür.

Da karli is stolz das ma wieder die richtigen kriminellen probleme unseres landes angehen.

Frei nachm Schneckerl: "Do san a poar huankinder dabei...

ESTERREICH, ESTERREICH ESTERREICH!!!

wos is as beste kebap in wien?

I moch heut an firm-ausflug nach wien und mei firmling wünscht sich original an kebap.

I hob bis jz nur ranz kebaps in wien gfunden somit bin i über empfehlungen dankbar.

Es wurde Ferhat. Nach einer stunde anstehen in der schlange mit gfühlt 100 leuten und staunen über wie groß ein döner spieß eig sein kann, fazit:

Ist gut. Ist viel, aber den hype nicht wert. ^^

Danke dennoch für die Tipps. Ich werde mir die anderen merken.

Ein werter Johann Potakowskyj stellte folgendes Wahlbersprechen als Bundeskanzler auf: ( Kontext ist nicht relevant)

1. Es gibt eine private Einkommensobergrenze von € 100.000 im Jahr. Für jede Million, die man mehr verdient, bekommt man eine Prämie von € 10.000.

Das entspricht genau der Prämie für Empfänger der Mindestsicherung, die gern arbeiten. Sie erhalten pro € 100, die sie verdienen, eine Prämie von € 1, wobei das Arbeitseinkommen eingezogen wird.

Find ich als diskussionsthema einen spannenden einwurf.

Ob die Övp sich doch keine neuwahlen zutrauen und jz plötzlich den grünen etwas zucker geben ehe sie wieder die Peitsche rausholen?

gibts andere communities mit österreich/DACH kontext, bzw. könnt welche andere aufregende communities empfehlen?

die meisten geporteten von reddit sind recht ruhig und das finden von anderen communities is mäßig erfolgreich für mich.

wer ist nun eigentlich alles von reddit nach lemmy mitgezogen?

Die masse dürfte es ja augenscheinlich nicht gewesen sein.

nun die frage haben wir die jungen verloren die teure jacken an zäunen ruinieren und sind bloß ein kleiner nerdiger haufen an generation y leuten die an eine bessere welt glauben?

oder haben wir den representativen schnitt der gesellschaft der zu 90 % aus gut verdienenden ITlern besteht erhalten (nicht)

?

was macht ihr mit eurer zeit wenn reddit doomscrolling nicht mehr möglich ist?