Magistrala PCI Express (PCIe) jest następcą PCI i PCI-X.

Wprowadza szeregowe łącza różnicowe typu point-to-point, które zastępują współdzieloną równoległą magistralę PCI.

Każda linia (lane) PCIe składa się z dwóch par różnicowych (nadawanie i odbiór), co umożliwia transmisję pełnego dupleksu.

Karty sieciowe PCI Express oferują przepustowość od 1 Gbps (Gigabit Ethernet) do 100 Gbps i wyższych.

W przeciwieństwie do kart PCI, karty PCIe mogą być hot-plug (wymiana bez wyłączania komputera) oraz posiadają zaawansowane funkcje wirtualizacji (SR-IOV) i odciążania CPU (offload).

W ramach wykładu omówimy również konfigurację zaawansowanych funkcji NIC w systemie Linux (ethtool, tc, RSS) oraz na przełącznikach Cisco.

Karty 40/100 GbE wymagają PCIe x16 Gen3 lub Gen4.

Każdy TLP zawiera nagłówek, dane i sumę kontrolną CRC.

PCI Express to magistrala szeregowa, w której dane są przesyłane za pomocą par różnicowych (dwa przewody na kierunek).

Zegar jest kodowany w sygnale (embedded clock), co eliminuje problemy ze synchronizacją typowe dla równoległych magistral PCI.

Każda linia (lane) PCIe oferuje przepustowość 250 MB/s w każdą stronę dla Gen1, 500 MB/s dla Gen2 i 1 GB/s dla Gen3.

Karty sieciowe Gigabit Ethernet (1 Gbps = 125 MB/s) z łatwością mieszczą się w jednej linii PCIe Gen1 (250 MB/s).

Karty 10 GbE (10 Gbps = 1250 MB/s) wymagają PCIe x4 Gen2 (2 GB/s) lub PCIe x8 Gen1 (2 GB/s).

Ważną cechą PCIe jest użycie pakietów (Transaction Layer Packets – TLP) do transmisji danych zamiast współdzielonej magistrali.

Przełączniki PCIe (switch) przekazują pakiety między urządzeniami, tworząc topologię drzewa.

Rodzaje pakietów TLP w PCIe: Memory (odczyt/zapis pamięci), I/O (dostęp do portów), Configuration (konfiguracja urządzeń), Message (przerwania MSI/MSI-X, zarządzanie energią).

PCIe stosuje protokół przepływu oparty na kredytach (credit-based flow control). Każde urządzenie na początku deklaruje pojemność swoich buforów (kredyty), a nadawca może wysyłać tylko tyle, na ile ma kredyty.

Wirtualne kanały (Virtual Channels – VC) pozwalają na tworzenie do 8 niezależnych ścieżek komunikacyjnych (VC0-VC7) z osobnymi kolejkami i niezależną kontrolą przepływu. Klasy ruchu (Traffic Classes – TC0-TC7) mapowane są na VC, co umożliwia QoS na poziomie magistrali PCIe.

PCIe obsługuje również kolejność transakcji (Transaction Ordering) – reguły określające, które pakiety mogą wyprzedzać inne (np. zapisy mogą wyprzedzać odczyty w celu poprawy wydajności).

Są niezbędne w środowiskach SDN i NFV.

Karty Realtek RTL8111 są powszechnie stosowane na płytach głównych konsumenckich – oferują podstawową funkcjonalność Gigabit Ethernet za niski koszt, ale mają ograniczone możliwości odciążania CPU.

Karty Intel I210 i I350 są standardem w serwerach korporacyjnych.

Oferują sprzętową obsługę RSS (równomierne rozłożenie ruchu sieciowego na wiele rdzeni CPU), TSO (odciążenie segmentacji TCP), a także obsługę VLAN i VXLAN w sprzęcie.

Intel I350 dodatkowo wspiera SR-IOV, umożliwiając wirtualizację karty sieciowej na wiele niezależnych funkcji wirtualnych (VF).

Karty Mellanox ConnectX są używane w zastosowaniach wymagających wysokiej przepustowości (HPC, centra danych).

Oferują obsługę RDMA (bezpośredni dostęp do pamięci zdalnej pomijający CPU) oraz DPDK (framework do szybkiego przetwarzania pakietów w przestrzeni użytkownika).

Intel E810 (Ethernet 800 Series): Karta 100/50/25 GbE z obsługą PCIe Gen4 x16, ADQ (Application Device Queues), VXLAN/GENEVE offload, PTP (IEEE 1588), iRDMA.

Mellanox ConnectX-6 (HDR, 200 GbE) / ConnectX-7 (NDR, 400 GbE): Karty z PCIe Gen4/5 x16, obsługą RoCEv2, VXLAN/GENEVE offload, SR-IOV (do 1000 VF), ASAP2 (accelerated switching).

Broadcom BCM575xx (NetXtreme E-Series): Karty 10/25/50/100 GbE z TrueFlow (programowalna pipeline), TruFlow, VXLAN/NVGRE offload, RoCE, DPDK.

RSS (Receive Side Scaling) rozwiązuje problem skalowania odbioru na wielu rdzeniach CPU.

Karta oblicza hash z nagłówka pakietu (IP src/dst, port src/dst) i na jego podstawie kieruje pakiet do odpowiedniej kolejki Rx.

Każda kolejka jest obsługiwana przez inny rdzeń CPU, co pozwala na równoległe przetwarzanie ruchu.

Stan funkcji offload można sprawdzić poleceniem ethtool -k eth0.

Funkcje offload w kartach sieciowych PCIe przenoszą zadania przetwarzania pakietów z CPU do sprzętu karty.

TSO (TCP Segmentation Offload) pozwala aplikacji wysłać duży blok danych (np. 64 KB) do karty, która dzieli go na mniejsze segmenty (zazwyczaj 1460 bajtów każdy) i dodaje nagłówki TCP/IP.

Bez TSO CPU musiałby wykonać tę segmentację, co przy szybkościach 10 GbE może konsumować znaczną część jego mocy obliczeniowej.

VXLAN offload: Sprzętowa enkapsulacja/dekapsulacja ramek VXLAN (RFC 7348) – karta dodaje/usuwa nagłówek VXLAN, UDP, IP i oblicza sumy kontrolne. Eliminuje obciążenie CPU w sieciach overlay chmur obliczeniowych.

NVGRE i GENEVE offload: Podobne do VXLAN offload – karta sprzętowo enkapsuluje pakiety w NVGRE (RFC 7637) lub GENEVE (RFC 8926). Wspólne oznaczenie w ethtool: tx-udp_tnl-segmentation, rx-udp_tnl-csum-offload.

IPSec offload: Sprzętowe szyfrowanie/deszyfrowanie ruchu IPsec (ESP/AH) bez angażowania CPU. Stosowane w routerach VPN nowej generacji i kartach z akceleratorem kryptograficznym.

ntuple-filters (Flow Director): Kierowanie wybranych strumieni (wg IP, portów, protokołu) do konkretnych kolejek RSS. Konfiguracja: ethtool -N eth0 flow-type tcp4 src-ip 10.0.0.1 dst-port 80 action 2.

Polecenie ethtool -k (lub ethtool --show-features) wyświetla listę wszystkich funkcji offload obsługiwanych przez kartę sieciową wraz z ich bieżącym stanem (on/off).

W zależności od modelu karty i sterownika lista może zawierać od kilku do kilkudziesięciu pozycji.

Wyłączenie TSO (ethtool -K eth0 tso off) może być przydatne w diagnostyce problemów sieciowych – jeśli problem znika po wyłączeniu TSO, może to wskazywać na błąd w sterowniku lub karcie.

Wyłączenie checksum offload bywa konieczne w przypadku niektórych sieci VPN lub tuneli.

RSS (Receive Side Scaling) konfiguruje się poleceniem ethtool -X.

Opcja equal 4 rozkłada ruch na 4 kolejki (i tym samym 4 rdzenie CPU).

Można też ustawić niestandardowy klucz haszowania (hkey) dla lepszego rozłożenia ruchu.

W systemach z wieloma rdzeniami RSS jest krytyczny dla wydajności odbioru.

W przypadku SR-IOV hypervisor (np. KVM, VMware ESXi, Hyper-V) nie uczestniczy w przetwarzaniu pakietów sieciowych między VM a kartą.

Karta Intel I350 obsługuje do 8 VF, a karty Mellanox ConnectX-5 do 512 VF.

W systemie Linux VF są widoczne jako osobne interfejsy sieciowe, które można przypisać do maszyn wirtualnych za pomocą PCI passthrough (vfio-pci).

Polecenie ip link show pokazuje PF i VF jako oddzielne urządzenia.

SR-IOV (Single Root I/O Virtualization) to standard PCI-SIG definiujący mechanizm wirtualizacji urządzeń PCIe na poziomie sprzętowym.

Pozwala jednej fizycznej karcie sieciowej PCIe na udostępnienie wielu lekkich funkcji wirtualnych (VF), które mogą być bezpośrednio przypisane do maszyn wirtualnych.

Każda VF posiada własną pamięć, deskryptory pakietów oraz adres MAC, co zapewnia izolację i wysoką wydajność (linerate throughput).

DPDK (Data Plane Development Kit), rozwijany przez fundację Linux Foundation, to zestaw bibliotek i sterowników umożliwiających szybkie przetwarzanie pakietów w przestrzeni użytkownika.

DPDK eliminuje narzut związany z obsługą przerwań i kopiowaniem danych między jądrem a aplikacją.

W tradycyjnym modelu jądra pakiet przechodzi przez: kartę → przerwanie IRQ → sterownik DMA → pamięć jądra → stos sieciowy → gniazdo (socket) → kopia do przestrzeni użytkownika.

DPDK redukuje tę ścieżkę do: karta → pamięć współdzielona (hugepages) → aplikacja (polling z pierścienia DMA).

DPDK najczęściej wykorzystuje karty sieciowe ze wsparciem dla wielu kolejek (RSS, Flow Director) i SR-IOV, choć działa również na prostszych kartach w trybie podstawowym.

Karty Intel I210/I350 oraz Mellanox ConnectX są powszechnie używane w środowiskach DPDK.

Biblioteka oferuje również funkcje QoS, kryptografii sprzętowej, kompresji i synchronizacji czasu (IEEE 1588).

Polecenie tc qdisc add dodaje dyscyplinę kolejkowania.

Agregacja łączy (bonding) w systemie Linux pozwala na połączenie wielu fizycznych kart sieciowych w jeden logiczny interfejs.

Tryb 802.3ad (LACP – Link Aggregation Control Protocol) wymaga wsparcia po stronie przełącznika i umożliwia równoważenie obciążenia oraz redundancję.

QoS (Quality of Service) na karcie sieciowej konfiguruje się za pomocą tc (traffic control).

Przykład z tbf (Token Bucket Filter) ogranicza przepustowość do 100 Mbps.

Bardziej zaawansowane konfiguracje obejmują klasy HTB (Hierarchical Token Bucket) do priorytetyzacji ruchu.

Network namespaces pozwalają na izolację stosu sieciowego w systemie Linux.

Każda przestrzeń nazw ma własne interfejsy, tabele routingu i reguły firewalla.

Jest to podstawowa technologia wirtualizacji sieci w kontenerach Docker i Kubernetes.

Storm-control chroni przed burzami rozgłoszeniowymi.

EtherChannel (zwany również Port Channel lub LAG) w Cisco IOS łączy od 2 do 8 fizycznych portów w jeden logiczny interfejs.

Tryb active włącza negocjację LACP (IEEE 802.3ad), która automatycznie uzgadnia agregację z partnerem (serwerem lub innym przełącznikiem).

Gdy ruch broadcast przekroczy 50% przepustowości portu, przełącznik odrzuca nadmiarowe ramki.

Wartości można ustawić dla broadcast, multicast i unicast (unknown unicast).

Spanning Tree PortFast to funkcja przyspieszająca przejście portu w stan Forwarding.

Stosuje się ją na portach końcowych (podłączonych do stacji roboczych, serwerów), które nie uczestniczą w topologii STP.

PortFast eliminuje opóźnienie 30-50 sekund związane z nasłuchem i nauką STP.

Polecenie lspci jest podstawowym narzędziem do identyfikacji urządzeń na magistrali PCI/PCIe.

Opcja -vv (very verbose) wyświetla szczegółowe informacje, w tym: Vendor ID (producent), Device ID (model), Subsystem (producent karty), wersję PCIe, przepustowość (LnkCap/LnkSta) oraz obsługiwane funkcje (MSI, MSI-X, Power Management).

Interpretacja LnkCap (Link Capability): Speed 2.5 GT/s, Width x1 oznacza, że karta obsługuje PCIe Gen1 z pojedynczą linią. LnkSta (Link Status) pokazuje aktualnie negocjowaną szybkość połączenia.

W przypadku kart Gigabit Ethernet PCIe x1 Gen1 (2.5 GT/s) w zupełności wystarcza.

Logi jądra (dmesg) dostarczają informacji o inicjalizacji karty, załadowanym sterowniku, adresie MAC i funkcjach offload.

W przypadku problemów (np. karta nie jest wykrywana), logi jądra są pierwszym miejscem do sprawdzenia.

Architektura nowoczesnej karty PCI Express różni się znacząco od starszych kart PCI.

Najważniejszą różnicą jest warstwa PCIe Core, która implementuje protokół PCIe składający się z trzech warstw: Transaction Layer (TLP – pakiety z danymi), Data Link Layer (DLLP – potwierdzenia, kontrola przepływu) i Physical Layer (kodowanie 8B/10B lub 128B/130B).

Silnik DMA w kartach PCIe obsługuje wiele pierścieni deskryptorów (descriptor rings) dla transmisji i odbioru.

Karty z SR-IOV mają osobne pierścienie dla każdej funkcji wirtualnej (VF), co zapewnia izolację między maszynami wirtualnymi.

RSS dystrybuuje pakiety do różnych kolejek na podstawie hasza z nagłówków pakietów.

Warstwa MAC w nowoczesnych kartach oferuje sprzętowe odciążenie: checksum offload (obliczanie sum kontrolnych w locie), TSO/GRO (segmentacja/łączenie pakietów) oraz VLAN offload (dodawanie/usuwanie tagów 802.1Q).

Wszystkie te funkcje redukują obciążenie CPU i zwiększają przepustowość.

Narzędzia takie jak lspci, ethtool, ip i tc pozwalają na pełną kontrolę nad funkcjami karty.

Znajomość tych narzędzi jest wymagana na egzaminach certyfikacyjnych (LPIC, RHCE) i w codziennej pracy administratora sieci.

Karty sieciowe PCI Express są fundamentem nowoczesnej infrastruktury sieciowej.

Zrozumienie ich architektury – od warstwy fizycznej PCIe przez funkcje offload i SR-IOV po DPDK – jest niezbędne dla inżynierów projektujących i utrzymujących systemy o wysokiej wydajności.

W przeciwieństwie do starszych kart PCI, gdzie przepustowość magistrali była wąskim gardłem, współczesne karty PCIe oferują przepustowość wielokrotnie przewyższającą możliwości sieci.

Głównym wyzwaniem staje się efektywne dostarczenie danych do aplikacji z jak najmniejszym obciążeniem CPU i opóźnieniem, co osiąga się poprzez offload, SR-IOV i DPDK.

W PCIe każdy port ma dedykowane bufory dla każdego typu pakietu: NP (posted – zapisy), P (non-posted – odczyty), Cpl (completions). Dla każdego typu są osobne kredyty.

Inicjalizacja łącza PCIe obejmuje negocjację szybkości (LTSSM – Link Training and Status State Machine), która przechodzi przez stany: Detect, Polling, Configuration, L0 (pełna praca), L0s, L1 (oszczędzanie), L2 (zasilanie pomocnicze).

Pakiety DLLP (Data Link Layer Packet) są używane do potwierdzeń (ACK/NAK), kontroli przepływu (InitFC, UpdateFC) oraz zarządzania energią (PM_Enter_L1, PM_Active_State_Nak).

Mechanizm ACK/NAK na warstwie łącza zapewnia bezstratną transmisję TLP między sąsiednimi urządzeniami PCIe. Każdy TLP otrzymuje sekwencyjny numer, a odbiorca potwierdza (ACK) lub żąda retransmisji (NAK).

W systemie Linux informacje o PCIe można odczytać z sysfs (/sys/bus/pci/devices/) oraz przez lspci z opcjami -vv, -xxx, -t (topologia drzewa).

W chmurach obliczeniowych (AWS, Azure, Google Cloud) każde środowisko dzierżawcy (tenant) wymaga izolacji sieciowej. Tradycyjny VLAN (4094 sieci) nie wystarcza – VXLAN rozszerza to do 16 milionów sieci.

VXLAN offload na karcie sieciowej pozwala hypervisorowi na enkapsulację/dekapsulację bez angażowania CPU. Karta dodaje nagłówek VXLAN+UDP+IP+MAC, oblicza sumy kontrolne i segmentuje jak zwykły TSO.

NVGRE (RFC 7637) używa GRE z kluczem 24-bitowym (VSID). Różni się od VXLAN brakiem portu UDP – używa EtherType 0x6558. Niektóre karty sieciowe obsługują oba protokoły.

GENEVE (RFC 8926) to najnowszy standard enkapsulacji – elastyczny nagłówek z opcjami TLV. Karty Intel E810 i Mellanox ConnectX-6+ obsługują GENEVE offload.

W środowiskach SDN (Software-Defined Networking) offload tuneli na kartach PCIe jest kluczowy dla wydajności – bez niego CPU musiałoby wykonać enkapsulację programowo, co drastycznie obniża przepustowość.

ASPM jest zarządzany przez BIOS/system operacyjny. W przypadku kart sieciowych o niskim opóźnieniu (np. w środowiskach HFT – High-Frequency Trading) ASPM często wyłącza się w BIOS, ponieważ przejścia między stanami L0-L1 mogą wprowadzać dodatkowe opóźnienia mikrosekundowe.

W Linux stan ASPM można kontrolować przez: echo performance > /sys/module/pcie_aspm/parameters/policy (polityka jądra: powersave, performance, powersupersave).

EEE (IEEE 802.3az) na linii Ethernet zmniejsza pobór mocy nawet o 70% w okresach bezruchu. Gdy nie ma ramek do wysłania, karta wysyła sygnał LPI (Low Power Idle) i przechodzi w stan oszczędzania. Po pojawieniu się ramki karta budzi się w ciągu kilku mikrosekund.

Wake-on-LAN wykorzystuje sygnał PME (Power Management Event) na magistrali PCIe do wybudzenia systemu. W ethtool: Wake-on: d (disabled), p (PHY activity), u (unicast), m (multicast), b (broadcast), g (magic packet).

Energooszczędność kart PCIe jest istotna w centrach danych – tysiące kart x kilka watów oszczędności na każdej daje znaczące oszczędności energetyczne.

W testach wydajności kart sieciowych PCIe kluczowe jest zidentyfikowanie wąskiego gardła: magistrala PCIe, sterownik karty, przerwania IRQ, rozmiar buforów pierścieniowych (ring buffer).

Rozmiar bufora pierścieniowego (ring buffer) można regulować: ethtool -G eth0 rx 4096 tx 4096 – większe bufory zmniejszają ryzyko utraty pakietów przy skokach ruchu, ale zwiększają opóźnienie.

Rzeczywista przepustowość karty Gigabit Ethernet (1 GbE) powinna osiągać ~940-980 Mbps (narzut nagłówków TCP/IP, Ethernet). Dla 10 GbE: 9.4-9.8 Gbps.

W systemie Linux do strojenia wydajności sieci służy narzędzie tuned (np. tuned-adm profile network-throughput), które optymalizuje ustawienia jądra (buforowanie, kolejkowanie, przerwania).

Narzędzie perf (perf stat -e cycles,instructions,cache-misses) pozwala na profilowanie wydajności karty na poziomie sprzętowym – identyfikacja nadmiernych przerwań, braków pamięci cache przy obsłudze pakietów.

Przy testach 10 GbE i wyższych należy uwzględnić opóźnienia PCIe – karta 25 GbE na PCIe Gen2 x8 może być ograniczona przez magistralę (4 GB/s ~ 32 Gbps, więc 25 GbE jest OK, ale przy dwóch portach 25 GbE już nie).

SmartNIC-e rewolucjonizują centra danych. Tradycyjna karta NIC tylko przesyła pakiety – SmartNIC przetwarza je: firewall, NAT, load balancing, szyfrowanie, kompresja, monitorowanie, a wszystko to bez obciążania CPU hosta.

NVIDIA BlueField-3 oferuje: 16 rdzeni ARM Cortex-A78, 400 GbE, 32 GB RAM, akceleratory kryptograficzne i kompresji. Używany w chmurach (AWS Nitro, Azure Boost) do odciążenia infrastruktury.

Intel IPU (Mount Evans – ASIC, Oak Springs Canyon – FPGA) współpracuje z Intel Xeon, oferując: zarządzanie pamięcią masową (NVMe virtualizacja), przetwarzanie sieci (VXLAN, telemetry) i bezpieczeństwo (IPSec, TLS).

PCIe Gen6 wprowadza PAM-4 (4 poziomy sygnału) i kodowanie FLIT (512B+20B FEC) zamiast tradycyjnego 128B/130B. Zapewnia opóźnienie poniżej 10 ns na mostek i przepustowość 64 GT/s na linie, czyli 128 GB/s w konfiguracji x16 (pełny dupleks).

Prędkości Ethernet rosną: 200 GbE (IEEE 802.3bs), 400 GbE (IEEE 802.3bs), 800 GbE (IEEE 802.3df) i 1.6 TbE w planach. Każda nowa generacja wymaga szybszych kart PCIe.

Kolejnym krokiem jest P4-programowalność kart (Intel Tofino, NVIDIA Spectrum) – przepływ pakietów definiowany przez programistę w języku P4, nie przez sztywny układ ASIC.

eBPF/XDP w Linux umożliwia programowalne przetwarzanie pakietów w jądrze, a z offload na kartę (XDP offload) – wykonanie programów eBPF bezpośrednio w karcie sieciowej, co daje wydajność DPDK z elastycznością programowalnego przetwarzania.

Wybór między 10GBASE-T a SFP+ zależy od odległości i istniejącej infrastruktury. 10GBASE-T działa na Cat6a/Cat7 do 100 m, ale generuje więcej ciepła (2-4 W na port) i ma większe opóźnienie (2-4 us) niż SFP+ (0.5-1 W, <1 us).

25 GbE stał się standardem w centrach danych jako ekonomiczna alternatywa dla 10 GbE – dwukrotnie wyższa przepustowość przy podobnym koszcie okablowania. Karty 25 GbE obsługują również 10 GbE (downshift), co ułatwia migrację.

DAC to najpopularniejsze połączenie w szafach rack – niski koszt (20-50 USD za kabel 3 m), małe opóźnienie (0.1 us), brak konwersji optoelektronicznej. Wady: ograniczony zasięg (max 7 m), sztywność kabla.

Karty 25 GbE wymagają PCIe Gen3 x8 (8 GB/s > 3.125 GB/s) lub Gen4 x4 (8 GB/s). Dwa porty 25 GbE (6.25 GB/s łącznie) mieszczą się w PCIe Gen3 x8 (8 GB/s).

W systemie Linux karty 10/25 GbE korzystają ze sterowników: mlx5_core (Mellanox), i40e (Intel XL710/XXV710), ena (Amazon ENA), bnxt_en (Broadcom).

Split-cable (breakout) pozwala podzielić jeden port 100 GbE na 4 porty 25 GbE za pomocą kabla MPO-4xLC lub QSFP28-4xSFP28. Jest to ekonomiczny sposób na zwiększenie gęstości portów w przełącznikach i serwerach.

PAM4 (Pulse Amplitude Modulation 4-level) to technika kodowania stosowana od 200 GbE – przesyła 2 bity na symbol (00,01,10,11) kosztem mniejszego marginesu szumu. Wymaga niższego tłumienia kanału i zaawansowanych korekcji błędów (FEC – RS-FEC, FC-FEC).

RS-FEC (Reed-Solomon Forward Error Correction) jest obowiązkowy dla 25 GbE i wyższych. Wprowadza narzut ~3% (544/514 kodowanie) i opóźnienie ~100 ns, ale poprawia stosunek sygnału do szumu o ~2 dB.

Karty 100 GbE (Intel E810, Mellanox ConnectX-5/6) są standardem w serwerach HPC i chmurze. Karta Intel E810 oferuje 2 porty 100 GbE na PCIe Gen4 x16 (32 GB/s wystarcza dla 2×12.5 GB/s = 25 GB/s).

Okablowanie MPO/MTP (wielowłóknowe) jest standardem dla SR4/SR8 – jeden kabel MPO-12 zastępuje 6 kabli duplex LC. MPO-16 dla 400GBASE-SR8 wymaga precyzyjnego ułożenia włókien (polaryzacja typu A, B lub C).

RDMA eliminuje trzy główne źródła opóźnienia w tradycyjnym przetwarzaniu sieciowym: kopiowanie między przestrzenią jądra a użytkownika (zero-copy), przełączanie kontekstu (context switch) i przetwarzanie stosu TCP/IP (kernel bypass).

RoCEv2 enkapsuluje pakiety RDMA w UDP (port 4791). Dla poprawnego działania wymaga włączonego PFC (Priority Flow Control – 802.1Qbb) na przełącznikach, aby uniknąć utraty pakietów (RDMA jest wrażliwy na straty – retransmisja odbywa się na poziomie transportu).

NVMe over Fabrics (NVMe-oF) to zastosowanie RDMA do dostępu do pamięci masowej – serwer NVMe-oF może obsłużyć miliony IOPS z opóźnieniem poniżej 10 us. To standard w nowoczesnych macierzach all-flash.

W systemie Linux stos RDMA obsługuje biblioteka rdma-core (librdmacm, libibverbs). Narzędzia: ibv_devinfo, ibv_rc_pingpong, rdma link show, rping (test iWARP).

InfiniBand pozostaje liderem w HPC (Top500) – oferuje najniższe opóźnienia (<0.6 us MPI latency) i najwyższe przepustowości. Jednak koszt infrastruktury (przełączniki, kable) jest znacznie wyższy niż w przypadku Ethernet.

MACsec działa na warstwie 2, przez co jest transparentny dla wyższych warstw – nie wymaga zmian w aplikacjach. Każda ramka otrzymuje nowy wektor inicjalizacyjny (PN – Packet Number) i znacznik ICV (Integrity Check Value). Idealne do szyfrowania ruchu między centrami danych (DCI).

IPsec offload na karcie sieciowej przyspiesza szyfrowanie VPN. W Linux konfiguracja odbywa się przez strongSwan/libreswan z XFRM. Karta przejmuje obliczenia kryptograficzne (AES-GCM, SHA-256), co na CPU daje wzrost wydajności nawet 5-10x w porównaniu do szyfrowania programowego.

Bezpieczeństwo firmware karty sieciowej jest krytyczne – atak na firmware NIC (np. Bootkit przez DMA) może pozwolić attackerowi na odczyt pamięci hosta. Intel i Mellanox stosują podpisywanie firmware i Secure Boot na karcie.

NC-SI (Network Controller Sideband Interface) i MCTP (Management Component Transport Protocol) pozwalają na zarządzanie kartą przez BMC (IPMI, Redfish) nawet gdy host jest wyłączony – to dodatkowa powierzchnia ataku wymagająca zabezpieczenia.

W środowiskach chmurowych karty z MACsec/IPsec offload są niezbędne do szyfrowania ruchu między dzierżawcami (tenant isolation) bez obciążania CPU serwera.

MSI-X jest kluczowe dla nowoczesnych kart wielordzeniowych – każda para kolejek Tx/Rx może mieć własny wektor przerwania, co pozwala na rozłożenie obsługi ruchu sieciowego na wiele rdzeni CPU. Karty z 64 kolejkami (np. Mellanox ConnectX) mogą używać 64 wektorów MSI-X.

W Linux mechanizm XPS (Transmit Packet Steering) i RPS (Receive Packet Steering) umożliwiają programowe kierowanie pakietów do konkretnych rdzeni w jądrze, niezależnie od sprzętowego RSS. Konfiguracja przez /sys/class/net/eth0/queues/.

Adaptive Interrupt Moderation (nazywane też adaptive RX/TX coalescing) konfiguruje się w ethtool: ethtool -C eth0 adaptive-rx on adaptive-tx on. Można też ustawić stałe wartości: rx-usecs 100 (opóźnienie 100 us) dla niższego narzutu CPU kosztem opóźnienia.

Interrupt coalescing grupuje przychodzące pakiety przed wywołaniem przerwania – im dłuższe opóźnienie, tym mniej przerwań na sekundę (więcej pakietów na przerwanie), ale wyższe opóźnienie. Dla 10 GbE przy 64B pakietach: ~14.8 Mpps, przy 1 przerwaniu na 100 pakietów → ~148k IRQ/s na kolejkę.

Busy polling (NAPI) w Linux – tryb, w którym jądro cyklicznie sprawdza nowe pakiety zamiast czekać na przerwanie. Redukuje opóźnienie przy wysokim ruchu kosztem 100% użycia rdzenia. Konfiguracja: echo 2 > /sys/class/net/eth0/gro_flush_timeout.

W dwuprocesorowym serwerze (np. Intel Xeon) karta PCIe w slocie blisko CPU0 jest przypisana do NUMA node 0. Jeśli proces aplikacji (np. serwer WWW) działa na CPU1, a karta jest na node 0, każdy dostęp do bufora pakietów przechodzi przez most UPI (Ultra Path Interconnect) – tracimy 30-70 ns na dostęp.

Aby tego uniknąć, należy: (1) sprawdzić NUMA node karty, (2) uruchomić aplikację na tym samym node (numactl --cpunodebind), (3) przypisać przerwania karty do rdzeni tego node, (4) użyć RSS z haszowaniem rozkładającym ruch równomiernie na dostępne kolejki.

W systemach jednoprocesorowych (socket) NUMA może być wirtualny (Intel Cluster-on-Die, AMD Zen) – podział na logiczne NUMA domeny wewnątrz jednego układu. Różnice w opóźnieniu są mniejsze (10-20%), ale nadal znaczące przy 100 GbE.

Dobór liczby kolejek RSS: optymalnie tyle, ile rdzeni w NUMA node przypisanym do karty. Zbyt dużo kolejek (więcej niż rdzeni) nie poprawia wydajności – przerwania konkurują o te same rdzenie (thundering herd), a przełączanie kontekstu zwiększa opóźnienie.

Zaawansowane strojenie obejmuje: ustawienie buforów pierścieniowych (ethtool -G), wybór polityki zarządzania energią (tuned-adm profile network-throughput), wyłączenie usług zakłócających (irqbalance, chrony), ustawienie priorytetu procesu (chrt -f 99).

Wielkość MTU (jumbo frames – 9000 B) na szybkich kartach zmniejsza liczbę przerwań na sekundę i narzut nagłówków. Dla 10 GbE: 64B pakiety → 14.8 Mpps, 1500B → 0.82 Mpps, 9000B → 0.14 Mpps. Mniej przerwań = niższe obciążenie CPU.