Como posso otimizar a performance da transferência de arquivos pelo Direct Connect?

Última atualização: 11/01/2022

Observo lentidão na transferência de arquivos da minha conexão do AWS Direct Connect.

Resolução

Use as etapas de solução de problemas a seguir para o seu caso de uso.

Observação: se você receber erros ao executar comandos da AWS Command Line Interface (AWS CLI), certifique-se de que é a versão mais recente da AWS CLI que você usa.

Usar métricas do Amazon CloudWatch para conferir a conexão do Direct Connect quanto a utilização e erros

É possível usar métricas do CloudWatch para monitorar conexões do Direct Connect e interfaces virtuais. Para conexões dedicadas do Direct Connect, confira nas métricas ConnectionBPSegress e ConnectionBPSIngress se há valores que excedem as velocidades de porta de rede. Confira a métrica ConnectionErrorCount quanto a erros no nível MAC. Para obter mais informações sobre como solucionar problemas de erros de nível MAC, consulte a seção ConnectionErrorCount em Métricas de conexão do Direct Connect.

Para conexões hospedadas, analise as métricas VirtualInterfaceBPSegress e VirtualInterfaceBPSIngress. Você só pode criar uma interface virtual do Direct Connect para cada conexão hospedada. Essas métricas são uma estimativa da taxa de bits total do tráfego de rede para a conexão hospedada.

Para obter mais informações, consulte Visualização de métricas do Direct Connect CloudWatch.

Otimizar a performance ao carregar arquivos grandes para o Amazon Simple Storage Service (Amazon S3)

Para carregar arquivos grandes para o Amazon S3, uma prática recomendada é aproveitar os carregamentos fracionados. Se você estiver usando a AWS CLI, todos os comandos de alto nível do Amazon S3, como cp e sync, executarão automaticamente carregamentos fracionados no caso de arquivos grandes.

Use os seguintes valores de configuração de AWS CLI do Amazon S3:

  • max_concurrent_requests - o número máximo de solicitações simultâneas. O valor padrão é 10. Verifique se você tem recursos suficientes para dar conta do número máximo de solicitações.
  • max_queue_size - o número máximo de tarefas na fila de tarefas.
  • multipart_threshold - o limite de tamanho que a CLI usa para transferências fracionadas de arquivos individuais.
  • multipart_chunksize - quando se usa transferências fracionadas, é o tamanho do bloco que a CLI usa nas transferências fracionadas de arquivos individuais. Esse valor define o tamanho de cada parte que a AWS CLI carrega para um arquivo individual em um carregamento fracionado. Essa configuração permite dividir um arquivo maior (por exemplo, 300 MB) em partes menores para acelerar o carregamento. O valor padrão é 8 MB, enquanto o valor mínimo que você pode definir é 5 MB.

Nota: um carregamento fracionado requer que um único arquivo seja carregado em no máximo 10.000 partes. Certifique-se de que o tamanho do bloco definido equilibre o tamanho do arquivo e o número de partes.

  • max_bandwidth - a largura de banda máxima que será consumida para carregar e baixar dados de e para o Amazon S3.

Para obter mais informações, consulte Migrar pequenos conjuntos de dados locais para o Amazon S3 usando o AWS SFTP.

Ajuste de performance para servidores de arquivos do Windows Server Message Block (SMB)

Para otimizar a performance da rede para servidores de arquivos do Windows SMB, o protocolo Server Message Block (SMB) 3.0 deverá ser negociado entre cada cliente e servidor de arquivos. Isso ocorre porque os usos do protocolo SMB 3.0 melhoram a performance dos servidores de arquivos SMB, incluindo os seguintes recursos:

  • SMB Direct - esse recurso garante que o SMB detecte interfaces de rede RDMA no servidor de arquivos e use automaticamente o Remote Direct Memory Access (RDMA). O RDMA aumenta a taxa de transferência, fornece baixa latência e baixa utilização da CPU.
  • SMB Multichannel - ao permitir que os servidores de arquivos usem várias conexões de rede simultaneamente, esse recurso fornece maior taxa de transferência.
  • SMB Scale-Out - esse recurso permite que o SMB 3.0, em configurações de cluster, mostre um compartilhamento em todos os nós de um cluster em uma configuração ativa/ativa. Isso garante que a largura de banda máxima do compartilhamento seja a largura de banda total de todos os nós de cluster do servidor de arquivos.

Para clientes SMB, use o recurso de multithread robocopy para copiar arquivos e pastas para o servidor de arquivos por várias conexões paralelas.

Também é possível usar a Explicit Congestion Notification (ECN - Notificação explícita de congestionamento) e o Large Send Offload (LSO - Descarregamento de envio grande) para reduzir a taxa de transferência.

Confira se há perda de pacotes na conexão do Direct Connect

A perda de pacotes ocorre quando os pacotes de dados transmitidos não chegam ao destino, acarretando problemas de performance da rede. A perda de pacotes é consequência de baixa intensidade de sinal no destino, utilização excessiva do sistema, congestionamento da rede e configurações incorretas da rota da rede.

Para obter mais informações, consulte Como posso solucionar problemas de perda de pacotes na minha conexão do Direct Connect?

Isolar e diagnosticar problemas de performance de rede e aplicações

Pode-se usar utilitários como iPerf3, tcpdump e Wireshark para solucionar problemas de performance do Direct Connect e analisar os resultados da rede. Observe as seguintes configurações que afetam a taxa de transferência da rede em um único fluxo TCP:

  • Tamanho da janela de recepção (RWS - Receiver Window Size) - indica o número máximo de bytes que o receptor pode aceitar sem transbordar os buffers.
  • Os remetentes enviam buffers - isso pode limitar o número máximo de bytes que o receptor pode reconhecer. O remetente não pode descartar bytes não reconhecidos até receber a confirmação. Bytes não reconhecidos podem precisar ser retransmitidos após um período de tempo-limite.
  • Tamanho máximo do segmento (MSS - Maximum Segment Size) dos remetentes - número máximo de bytes que um segmento TCP pode ter como carga útil. Quanto menor o MSS, menor a taxa de transferência da rede.
  • Tempo de ida e volta (RTT - Round Trip Time) - quanto maior o RTT entre o remetente e o receptor, menor a largura de banda de rede disponível.

Dica: uma prática recomendada para o remetente é iniciar várias conexões paralelas com o receptor durante as transferências de arquivos.

Para obter mais informações, consulte Como posso solucionar problemas de performance de rede do Direct Connect?


Este artigo ajudou?


Precisa de ajuda com faturamento ou suporte técnico?