바늘 찾기: 거의 백만 단위의 방대한 데이터에서 LLM이 정보의 흐름을 따라갈 수 있을까?
LLM의 컨텍스트 길이가 증가함에 따라 다양한 작업에 적용 가능성이 확대되지만, 실제로 LLM이 긴 컨텍스트를 얼마나 효과적으로 활용하는지에 대한 이해는 부족하다. 본 연구에서는 여러 LLM을 대상으로 컨텍스트 창 내에서 정보의 흐름을 따라가는 능력을 평가하는 검색 실험을 수행하고, 컨텍스트 길이가 증가함에 따라 정확도가 감소하는 것을 확인하며, 토크나이저 간의 토큰 계산 방식 차이를 강조하고 작업별 유효 컨텍스트 길이 지표를 제안한다.
Evaluating the True Contextual Limits of Large Language Models: A Deep Dive into Needle Threading Tasks
While large language models (LLMs) boast increasingly large context windows, their ability to effectively utilize this entire context for information retrieval and reasoning tasks diminishes significantly as context length grows, highlighting the need for more nuanced evaluation metrics beyond simple token counts.
SuffixDecoding：一種無需模型、透過預測解碼加速大型語言模型推理速度的方法
SuffixDecoding 是一種基於字尾樹的新型預測解碼方法，無需額外模型或微調，即可有效加速大型語言模型的推理速度，尤其適用於結構化輸出任務和多代理 LLM 流程應用。
SuffixDecoding: 대규모 언어 모델 추론 속도를 높이는 모델 없는 접근 방식
SuffixDecoding은 이전에 생성된 출력에서 구축된 접미사 트리를 활용하여 후보 토큰 시퀀스를 효율적으로 예측함으로써 대규모 언어 모델 추론 속도를 높이는 모델 없는 새로운 추론 방법입니다.
SuffixDecoding：モデルフリーアプローチによる大規模言語モデル推論の高速化
SuffixDecodingは、過去の出力から構築されたサフィックスツリーを活用して候補となるトークンシーケンスを効率的に予測することで、大規模言語モデルの推論を高速化する、モデルフリーな新しい手法である。
SuffixDecoding: A Model-Free Speculative Decoding Method for Accelerating Large Language Model Inference Using Suffix Trees
SuffixDecoding is a novel, model-free approach to speeding up LLM inference by using suffix trees built from previous outputs to efficiently predict and verify candidate token sequences, achieving competitive performance to model-based methods while avoiding their limitations.
估計文本分類中連續相關文學屬性的影響：以數據為中心的假設檢驗方法
本文提出了一種基於假設檢驗的方法，用於評估文本分類中連續相關文學屬性的影響，旨在確定這些相關性何時驅動分類。
텍스트 분류에서 순차적으로 상관된 문학적 특성의 영향 추정: 데이터 중심 가설 검증 접근 방식
텍스트 분류에서 저자 스타일이나 장르적 특징보다는 순차적으로 상관된 문학적 특징(예: 주제별 내용)이 분류 결과에 미치는 영향을 분석하고, 이러한 상관관계가 언제 분류를 주도하는지 식별하는 새로운 가설 검증 접근 방식을 제시합니다.
逐次的に相関する文学的特性がテキスト分類に与える影響の推定：データ中心の仮説検定アプローチ
テキスト分類において、隣接するテキストユニット間の相関が分類結果に影響を与える場合がある一方、そうでない場合もある。本研究では、逐次的に相関する文学的特性がテキスト分類に与える影響を評価するための仮説検定アプローチを導入し、これらの相関が分類を左右する状況を特定する。
A Data-Driven Approach to Assess the Impact of Thematic Content on Text Classification in Stylometry
This research paper introduces a novel hypothesis-testing approach to determine the influence of sequentially correlated literary properties, such as thematic content, on text classification in stylometry, aiming to distinguish stylistic differences from thematic similarities.
© 2024 by Linnk AI