TIL - 웹 지식, reranking

📚 Today's TODO

✅ 모든 개발자를 위한 HTTP 웹 기본 지식 완강 🥳

✅풀스택 GPT 과제 제출하기

📡 새로 알게 된 내용

🗃️ 모든 개발자를 위한 HTTP 웹 기본 지식

• referer: 유입 경로를 알아볼 때 이 값을 사용한다. 특정 url로 들어오기 이전 값을 저장하고 있다.
• user-agent: 애플리케이션, 운영체제, 제조업체 같은 정보를 갖고 있는 헤더 정보
• Cookie vs Session
  • 이게 정말 헷갈렸다. 왜 2개가 필요하지? 왜 자꾸 쿠키값 허용해 달라고 하지?
  • HTTP는 connectionless(연결 지양), stateless(무상태)를 지향한다.
  • Cookie와 Session 모두 stateless 한 HTTP에게 기억을 심어주기 위해 사용한다.
  • Cookie는 클라이언트에서 저장되고 Session은 서버에서 저장한다.
  • Cookie는 Session과 달리 브라우저가 종료되어도 유지될 수 있다.
  • 왜 session이 있는 데 cookie를 사용할까?
    
    • session은 서버에 저장되기 때문에 cookie를 적절하게 사용하여 그 부하를 줄이기 위함.
    • 브라우저를 종료해도 값을 유지하기 위해 cookie 사용
• Etag(Entity tag): 웹 서버가 내용을 확인하고 변하지 않았으면, 웹 서버로 full 요청을 보내지 않기 때문에, 캐쉬가 더 효율적이게 되고, 대역폭도 아낄 수 있습니다. (mdn web docs)
• cache control
  • max-age: 캐시 유효 시간
  • no-cache: 캐시해도 되지만 원 서버에 검증하고 사용 (이런거였군)
  • no-store: 저장하지 않기(메모리 사용 후 빠른 삭제)

🗃️ 풀스택 GPT

• playwright: web app testing framework
• asyncChromiumLoader: url 로부터 HTML page를 가져오는 API, 근데 실제로 그 페이지를 열고 가져오는 거라 반응이 늦을 수 있음
• sitemaploader: 이것을 사용하면 sitemap에 있는 모든 url들을 가져온다.
• Beautiful Soup is a Python library for pulling data out of HTML and XML files.
• reranking: Reranking은 RAG가 생성한 후보 문서들에 대해 질문에 대한 관련성 및 일관성을 판단하여 문서의 우선 순위를 재 정렬 하는 것입니다. (https://aws.amazon.com/ko/blogs/tech/korean-reranker-rag/)
• FAISS: Faiss is a library for efficient similarity search and clustering of dense vectors

🗃️ Github 

• issue 만들어 봤다. 신기하군. 버그 나는 거랑 기능 추가하고 싶은거 이슈로 열어놨다. 브랜치 만들어서 고쳐야지

🎛️ 오늘의 TroubleShooting

• streamlit 배포하다가 python 3.12로 해서 또 에러나서 3.11로 바꿔줬다.
• github에 사진 올리다가 너무 용량이 커서 거부하길래 사이트로 바로 올려줬다.

👻 오늘 하루 복기

아 요즘 영어 귀트이게 한다고 팟캐스트 듣는데 그게 너무 재밌어서 큰일이다. 이제 온갖 속어들만 알게 될 판...ㅋㅋㅋ 드디어 네트워크 기본 지식 강의를 완강했다. 아주 기본이 부족했다고 느꼈는데 조금 채워져서 다행이다. 오늘 동기랑 정처기 설 벼락치기를 계획했다. 아주 설레는 군!!