Skip to content

Feature/import csv - #130

Open
risaddex wants to merge 21 commits into
SOS-RS:developfrom
risaddex:feature/import-csv
Open

Feature/import csv#130
risaddex wants to merge 21 commits into
SOS-RS:developfrom
risaddex:feature/import-csv

Conversation

@risaddex

@risaddex risaddex commented May 16, 2024

Copy link
Copy Markdown

Criando o parser de arquivos CSV.

Acabei aproveitando e usando como base um POC que tinha feito utilizando WebStreams, por isso talvez esteja meio Overengineering

O serviço aceita opcionalmente a opção de utilizar a API do Gemini para tentar categorizar as categorias dos supplies.

  • Criação do serviço de parse de CSV
  • Testes passando
  • Aceita URLs de csv
  • Aceita Stream de arquivos
  • Implementar Endpoint REST para
    finalizar
@risaddex

Copy link
Copy Markdown
Author

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify
image

@risaddex
risaddex marked this pull request as ready for review May 17, 2024 01:03
@iagxferreira

Copy link
Copy Markdown

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos?
Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

Comment thread .env.example Outdated
Comment thread src/shelter/shelter.controller.ts Outdated
@risaddex

risaddex commented May 21, 2024

Copy link
Copy Markdown
Author

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos?
Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

Então, isso já tem algum tempo. Não sei como está o gerenciamento atual dos abrigos. Pelo tempo da issue, pode ser que ela nem seja mais tão útil para o sistema atual, existe a chance de terem importado as planilhas existentes de forma manual, se o fizeram.

Nessa implementação o arquivo é salvo na pasta temporária do sistema até o fim do parse e dps é deletado. (Poderia se ter um log disso, mas inicialmente apenas Admins possuem acesso a essa feature)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

3 participants